Erklärung
Vorausgesetzt werden die Verteilung einer Zufallsvariablen, der zentrale Grenzwertsatz und das Prinzip des Schätzens mit Unsicherheit. Wer die Verteilung einer Schätzung nicht vor Augen hat, kann einen p-Wert nicht einordnen.
Die Umkehrung, mit der jeder Test arbeitet
Ein Test beantwortet nicht die Frage, die man eigentlich stellt. Interessant wäre “wie wahrscheinlich ist mein Effekt”, beantwortet wird “wie ungewöhnlich wären meine Daten, wenn es den Effekt nicht gäbe”. Dafür wird zuerst eine Gegenannahme formuliert, die Nullhypothese: kein Unterschied, kein Zusammenhang, kein Effekt. Sie ist präzise, weil sie einen einzigen Wert nennt, und genau deshalb lässt sich unter ihr rechnen.
Der Ablauf ist immer derselbe:
- Nullhypothese und Alternativhypothese festlegen, vor dem Blick in die Daten.
- Signifikanzniveau festlegen, üblicherweise 5 Prozent.
- Eine Teststatistik berechnen, die den beobachteten Effekt an der Streuung der Daten und am Stichprobenumfang misst.
- Die Verteilung dieser Statistik unter der Nullhypothese heranziehen und fragen, wie weit aussen der beobachtete Wert liegt.
- Entscheiden, und zwar nur über die Nullhypothese: verwerfen oder nicht verwerfen. Ein Annehmen der Nullhypothese gibt es nicht.
Die Alternativhypothese entscheidet, ob ein- oder zweiseitig getestet wird. Zweiseitig ist der Standardfall, es interessiert eine Abweichung in beide Richtungen. Einseitig testet nur, wer die Richtung vorher aus der Sache heraus festlegen kann, und halbiert damit den p-Wert. Die Richtung nach dem Blick auf die Daten zu wählen, ist keine Entscheidung, sondern eine Verschiebung des Niveaus.
Zwei Fehler, die sich nicht gemeinsam kleinmachen lassen
| verworfen |
Fehler erster Art, Wahrscheinlichkeit \(\alpha\) |
richtige Entscheidung, Wahrscheinlichkeit \(1-\beta\) (Power) |
| nicht verworfen |
richtige Entscheidung |
Fehler zweiter Art, Wahrscheinlichkeit \(\beta\) |
Der Fehler erster Art ist ein falscher Alarm: ein Effekt wird berichtet, den es nicht gibt. Seine Rate legt man selbst fest, sie ist das Signifikanzniveau. Der Fehler zweiter Art ist ein übersehener Effekt. Seine Rate ergibt sich aus Effektgrösse, Streuung, Stichprobenumfang und Niveau, und sie ist bei kleinen Stichproben regelmässig grösser als 50 Prozent. Wer das Niveau senkt, um falsche Alarme zu vermeiden, erhöht damit direkt die Rate der übersehenen Effekte. Der einzige Weg, beide Fehler gleichzeitig zu senken, ist ein grösserer Stichprobenumfang, siehe Power.
Der p-Wert
Der p-Wert ist die Wahrscheinlichkeit, unter der Nullhypothese ein mindestens so extremes Ergebnis zu beobachten wie das vorliegende. Er ist damit eine Aussage über die Daten unter einer Annahme, nicht über die Annahme. Die beiden Richtungen der Bedingung sind nicht austauschbar: “die Daten sind unter der Nullhypothese unwahrscheinlich” ist nicht dasselbe wie “die Nullhypothese ist unwahrscheinlich”.
Wie gross ein p-Wert wird, hängt an drei Dingen gleichzeitig: an der Effektgrösse, an der Streuung und am Stichprobenumfang. Derselbe Effekt kann bei kleinem n weit von der Schwelle entfernt bleiben und bei grossem n deutlich darunter liegen. Deshalb ist ein p-Wert allein niemals eine Aussage über die Bedeutung eines Ergebnisses.
Was der Test nicht liefert, das Intervall aber schon
Ein Test liefert eine Ja-Nein-Entscheidung. Ein Konfidenzintervall liefert den Bereich der Effektgrössen, die mit den Daten vereinbar sind, und enthält die Testentscheidung als Nebenprodukt: schliesst das 95-Prozent-Intervall den Wert der Nullhypothese ein, ist der zweiseitige Test auf dem 5-Prozent-Niveau nicht signifikant.
Das Intervall sagt zusätzlich, ob ein nicht signifikantes Ergebnis “kein nennenswerter Effekt vorhanden” oder “nichts erkennbar, weil die Stichprobe zu klein ist” bedeutet. Diese beiden Fälle sehen im p-Wert identisch aus, und Beispiel 4 zeigt, wie weit sie inhaltlich auseinanderliegen.
Nach der Erhebung ist der Stichprobenumfang festgelegt, und eine niedrige Power lässt sich nicht mehr reparieren. Eine im Nachhinein aus dem beobachteten Effekt gerechnete Power ist zudem keine unabhängige Information, sondern eine Umrechnung des p-Werts. Nützlich ist die Rechnung nur vorher, mit einer aus der Sache begründeten Mindesteffektgrösse. Ausführlich steht das auf der Seite zu Power und Stichprobenumfang, Beispiel 3.
