Diese Fragen wiederholen nicht die Verständnisfragen der einzelnen Seiten. Sie prüfen, was zwischen den Methoden liegt: welcher Test bei welcher Situation, welches Modell bei welcher Zielvariable, und welche zwei Grössen regelmässig verwechselt werden. Die Sammlung wächst mit jeder fertigen Themenseite um zwei bis drei Fragen.
Beschreibende Statistik
Ein Merkmal ist auf einer Skala von 1 bis 5 erhoben, wobei 1 für sehr unzufrieden und 5 für sehr zufrieden steht. Der Bericht nennt einen Mittelwert von 3.7. Was ist daran problematisch?
Nichts, das ist übliche Praxis
Üblich ist es tatsächlich, aber das macht es nicht unproblematisch. Die Frage war, was daran wackelt.
Die Abstände zwischen den Stufen sind nicht als gleich gesichert
Richtig. Bei ordinalen Daten ist nur die Reihenfolge definiert. Der Mittelwert unterstellt, dass der Schritt von 1 auf 2 dasselbe bedeutet wie der von 4 auf 5, und das ist eine Annahme, keine Messung.
Der Wert liegt nicht auf der Skala
Dass ein Mittelwert zwischen zwei möglichen Ausprägungen liegt, ist normal und für sich kein Fehler.
Eine Verteilung hat einen Mittelwert von 50 und eine Standardabweichung von 12. Welche Aussage lässt sich daraus ohne weitere Annahmen treffen?
Rund 68 Prozent der Werte liegen zwischen 38 und 62
Das gilt nur für eine Normalverteilung. Ohne diese Annahme sagt die Standardabweichung nichts über konkrete Anteile.
Praktisch nichts über einzelne Anteile
Richtig. Ohne Kenntnis der Verteilungsform beschreibt die Standardabweichung nur die Streubreite insgesamt. Wer Anteile will, braucht Quantile oder eine Verteilungsannahme.
Der Median liegt ebenfalls bei 50
Nur bei symmetrischen Verteilungen. Bei schiefen Daten weichen die beiden voneinander ab.
Wahrscheinlichkeit
Ein Test hat 99 Prozent Sensitivität und 99 Prozent Spezifität. Bei einer Prävalenz von 0.1 Prozent fällt ein Test positiv aus. Wie wahrscheinlich ist die Erkrankung ungefähr?
Rund 99 Prozent
Das ist die Sensitivität, also die Wahrscheinlichkeit eines positiven Tests bei Erkrankten. Gefragt war die umgekehrte Richtung.
Rund 9 Prozent
Richtig. Unter 100000 Personen sind 100 erkrankt, davon 99 richtig positiv. Von den 99900 Gesunden werden ein Prozent falsch positiv, also 999. Damit sind 99 von 1098 tatsächlich erkrankt.
Rund 50 Prozent
Zu hoch. Der Vorhersagewert erreicht die 50 Prozent erst bei deutlich höherer Prävalenz.
Zehn Würfe mit einer fairen Münze ergaben zehnmal Kopf. Wie wahrscheinlich ist beim elften Wurf Zahl?
Genau ein Halb
Richtig. Die Würfe sind unabhängig, die Münze hat kein Gedächtnis. Was sich mit wachsender Zahl ausgleicht, ist der Anteil, und zwar weil die Gesamtzahl wächst, nicht durch Gegenbewegung.
Höher als ein Halb, weil ein Ausgleich fällig ist
Das ist der Spielerfehlschluss. Vergangene Würfe beeinflussen den nächsten nicht.
Niedriger, weil die Münze offenbar unfair ist
Zehnmal Kopf hat bei einer fairen Münze eine Wahrscheinlichkeit von rund 0.1 Prozent. Das ist selten, aber kein Beleg; die Frage setzt eine faire Münze voraus.
In einem Betrieb fallen im Mittel 2.5 Maschinen pro Woche aus. Die beobachtete Varianz der wöchentlichen Ausfallzahlen beträgt 9. Was folgt daraus?
Nichts Besonderes, Varianz und Mittel dürfen abweichen
Bei den meisten Verteilungen ja. Bei der Poissonverteilung nicht, und genau die wäre hier das naheliegende Modell.
Das Poisson-Modell passt nicht
Richtig. Bei ihr sind Erwartungswert und Varianz gleich. Eine fast viermal so grosse Streuung deutet auf Überdispersion hin, etwa weil Ausfälle in Schüben auftreten.
Die Ausfälle sind normalverteilt
Aus der Abweichung folgt nur, dass Poisson nicht passt, nicht welches Modell stattdessen zutrifft.
Schliessende Statistik
Eine Studie berichtet ein 95-Prozent-Konfidenzintervall von 2.1 bis 4.7 für einen Behandlungseffekt. Welche Formulierung ist korrekt?
Der wahre Effekt liegt mit 95 Prozent Wahrscheinlichkeit zwischen 2.1 und 4.7
Das ist die verbreitetste Fehlformulierung. Der wahre Effekt ist eine feste Zahl; zufällig ist das Intervall, nicht er.
Bei wiederholter Anwendung des Verfahrens würden 95 Prozent der so berechneten Intervalle den wahren Effekt überdecken
Richtig. Die Aussage gilt dem Verfahren, nicht diesem einen Intervall.
95 Prozent der Beobachtungen liegen zwischen 2.1 und 4.7
Das wäre ein Streubereich der Einzelwerte. Ein Konfidenzintervall beschreibt die Genauigkeit einer Schätzung, nicht die Streuung der Daten.
Ein Vergleich zweier Gruppen mit je 40000 Beobachtungen ergibt einen Unterschied von 0.2 Punkten bei einer Standardabweichung von 15 und einen p-Wert unter 0.001. Wie ist das zu berichten?
Als deutlicher Unterschied, der p-Wert ist schliesslich sehr klein
Der p-Wert misst nicht die Grösse des Effekts, sondern wie gut er vom Zufall zu unterscheiden ist. Bei dieser Stichprobengrösse wird fast alles signifikant.
Als statistisch nachweisbarer, aber praktisch bedeutungsloser Unterschied
Richtig. 0.2 Punkte bei einer Standardabweichung von 15 sind rund ein Siebzigstel davon. Deshalb gehört zu jedem Testergebnis eine Effektgrösse.
Als nicht signifikant
Signifikant ist er, das ist gerade das Problem an der alleinigen Betrachtung des p-Werts.
Zwanzig Zusammenhänge werden auf dem Fünfprozentniveau geprüft, einer davon wird signifikant. Was ist die naheliegendste Erklärung?
Zufall, denn bei zwanzig Tests ist im Mittel einer falsch positiv
Richtig. Das Signifikanzniveau begrenzt den Fehler erster Art je Test, nicht über eine ganze Serie. Der gefundene Zusammenhang gehört an neuen Daten geprüft.
Ein echter Effekt, sonst wäre er nicht signifikant
Genau dieser Umkehrschluss ist unzulässig. Ein einzelnes signifikantes Ergebnis aus vielen Tests ist schwacher Beleg.
Die Stichprobe war zu klein
Eine zu kleine Stichprobe führt eher dazu, dass echte Effekte übersehen werden, nicht dass falsche auftauchen.
Über Themen hinweg
Wo taucht dieselbe Idee auf: kumulierte Häufigkeit, Verteilungsfunktion und Quantil?
Es ist dreimal dieselbe Frage, einmal in Daten und zweimal im Modell
Richtig. Die kumulierte Häufigkeit fragt, welcher Anteil höchstens einen Wert erreicht. Die Verteilungsfunktion tut dasselbe für ein Modell, und das Quantil ist die Umkehrung dieser Frage.
Die drei haben nichts miteinander zu tun
Sie stammen aus verschiedenen Themengebieten, beschreiben aber denselben Zusammenhang aus verschiedenen Richtungen.
Sie unterscheiden sich nur im Skalenniveau
Der Zusammenhang gilt unabhängig davon; das Skalenniveau entscheidet nur, ob die Frage überhaupt sinnvoll ist.
Der zentrale Grenzwertsatz taucht an mehreren Stellen auf. Wozu wird er gebraucht?
Er zeigt, dass Messdaten in der Regel normalverteilt sind
Das sagt er gerade nicht. Über die Verteilung der Einzelwerte macht er keine Aussage.
Er begründet, warum Konfidenzintervalle und t-Tests auch bei nicht normalverteilten Daten funktionieren
Richtig. Normal wird die Verteilung der Mittelwerte über gedachte Wiederholungen, und auf ihr beruhen beide Verfahren.
Er erlaubt es, aus kleinen Stichproben auf grosse zu schliessen
Der Satz wirkt in die andere Richtung: Er greift, wenn die Stichprobe gross genug ist.
Eine Auswertung zeigt einen deutlichen Zusammenhang zwischen zwei Merkmalen, gefunden beim Durchsehen der Daten. Was ist der nächste Schritt?
Den Zusammenhang mit einem Test an denselben Daten absichern
Das ist der häufigste Fehler an dieser Stelle. Ein an den Daten entdeckter Zusammenhang lässt sich an denselben Daten nicht bestätigen.
Ihn als Hypothese festhalten und an neuen Daten prüfen
Richtig. Genau dafür trennt man Erkunden und Prüfen. Wer lange genug sucht, findet in jedem Datensatz etwas Auffälliges.
Ihn direkt berichten, die Grafik ist eindeutig
Die Grafik zeigt, was in diesen Daten liegt. Ob es sich verallgemeinern lässt, ist eine andere Frage.
Wahl der Methode
Eine Zielvariable ist die Zeit bis zu einem Ereignis, und bei einem Teil der Beobachtungen ist das Ereignis am Studienende noch nicht eingetreten. Welches Verfahren passt?
Lineare Regression auf die beobachtete Zeit
Sie behandelt die noch nicht eingetretenen Fälle als tatsächliche Zeiten und unterschätzt die Überlebensdauer systematisch.
Ein Verfahren der Überlebenszeitanalyse
Richtig. Genau für zensierte Beobachtungen, bei denen die Zeit nur nach unten bekannt ist, sind Kaplan-Meier und das Cox-Modell gebaut.
Logistische Regression auf “Ereignis eingetreten ja oder nein”
Damit verschenkt man die Zeitinformation, und das Ergebnis hängt allein an der Länge der Beobachtungsdauer.
Ein Effekt ist mit p = 0.001 signifikant. Was folgt für seine Relevanz?
Er ist hoch relevant
Der p-Wert misst die Vereinbarkeit der Daten mit der Nullhypothese, nicht die Grösse des Effekts.
Nichts, ohne den Schätzwert und sein Konfidenzintervall zu kennen
Richtig. Bei grossem n wird auch ein praktisch bedeutungsloser Effekt signifikant. Relevanz liest man an der Effektstärke, nicht am p-Wert.
Er erklärt einen grossen Teil der Streuung
Das wäre eine Aussage über das Bestimmtheitsmass und ist vom p-Wert unabhängig.