Verfahren wählen

Hypothesentests
Regression
Dimensionsreduktion
Interpretation
Entscheidungsbäume und eine Entscheidungstabelle: von der Fragestellung zum passenden Verfahren.

Diese Seite beantwortet eine einzige Frage: Welches Verfahren passt zu meiner Fragestellung und meinen Daten? Sie erklärt keine Methode, sondern führt zu ihr. Jede Endstation verweist auf die Seite, die das Verfahren dann durchrechnet und den Output erklärt.

Die vier Fragen vor jeder Wahl

Bevor ein Diagramm hilft, müssen vier Dinge geklärt sein. Sie stehen bewusst vor den Bäumen, weil ein Baum nur so gut ist wie die Antworten, mit denen man ihn betritt.

Frage Warum sie entscheidet Wo sie beantwortet wird
Was ist die Zielgrösse und welches Skalenniveau hat sie? Metrisch erlaubt Mittelwerte, ordinal nur Ränge, nominal nur Häufigkeiten. Das schliesst die meisten Verfahren bereits aus. Skalenniveaus
Geht es um einen Unterschied, einen Zusammenhang oder um Struktur? Unterschiede führen zu Tests, Zusammenhänge zu Korrelation und Regression, Struktur zu Reduktion und Clustering. die drei Bäume unten
Sind die Beobachtungen unabhängig oder gehören sie paarweise zusammen? Gepaarte Daten ungepaart auszuwerten verschenkt Information und findet echte Effekte oft nicht. gepaarter t-Test
Sind die Voraussetzungen des Verfahrens erfüllt? Sie entscheiden zwischen Hauptverfahren und Ausweichverfahren. die jeweilige Methodenseite

Die Antworten stehen fest, bevor ein p-Wert gerechnet wird. Wer beide Verfahren rechnet und danach das mit dem angenehmeren Ergebnis berichtet, hat kein Testniveau mehr, sondern eine Erzählung. Zulässig ist es, ein zweites Verfahren als Sensitivitätsanalyse zu zeigen, solange das Hauptverfahren vorab benannt wurde.

Unterschiede zwischen Gruppen

Die Frage lautet: Unterscheiden sich zwei oder mehr Gruppen in einer Grösse? Das ist das Feld der Hypothesentests.

flowchart LR
    M{"Wie viele Gruppen?"}

    M -->|"eine, gegen Sollwert"| M1{"Voraussetzungen<br>erfüllt?"}
    M -->|"zwei, unabhängig"| M2{"Voraussetzungen<br>erfüllt?"}
    M -->|"zwei, gepaart"| M3{"Voraussetzungen<br>erfüllt?"}
    M -->|"mehr als zwei"| M4{"Voraussetzungen<br>erfüllt?"}

    M1 -->|"ja"| E1["t-Test für<br>eine Stichprobe"]
    M1 -->|"nein"| E2["Wilcoxon-<br>Vorzeichen-Rangtest"]
    M2 -->|"ja"| E3["t-Test für zwei<br>Stichproben, Welch"]
    M2 -->|"nein"| E4["Mann-Whitney-U-Test"]
    M3 -->|"ja"| E5["gepaarter t-Test"]
    M3 -->|"nein"| E6["Wilcoxon-<br>Vorzeichen-Rangtest"]
    M4 -->|"ja"| E7["Varianzanalyse"]
    M4 -->|"nein"| E8["Kruskal-Wallis-Test"]

    E7 --> P["Post-hoc-Vergleiche<br>mit Korrektur"]
    E8 --> P
Abbildung 1: Metrische Zielgrösse: von der Gruppenzahl zum Test.

Ist die Zielgrösse nicht metrisch, endet dieser Weg sofort. Ordinale und nominale Zielgrössen gehen den zweiten Weg:

flowchart LR
    N{"Skalenniveau?"}

    N -->|"ordinal"| O["rangbasiert vergleichen:<br>Mann-Whitney, Wilcoxon,<br>Kruskal-Wallis"]
    N -->|"nominal"| K{"Wie viele Merkmale?"}

    K -->|"eines, gegen<br>erwartete Verteilung"| E9["Chi-Quadrat-<br>Anpassungstest"]
    K -->|"zwei, Frage nach<br>Unabhängigkeit"| K2{"Erwartete Häufigkeiten<br>überall mindestens 5?"}

    K2 -->|"ja"| E10["Chi-Quadrat-<br>Unabhängigkeitstest"]
    K2 -->|"nein"| E11["exakter Test<br>nach Fisher"]
Abbildung 2: Ordinale und nominale Zielgrösse: Rangtests und Häufigkeitstests.
Datenlage Verfahren Wenn Voraussetzungen verletzt
Metrisch, eine Gruppe gegen einen festen Sollwert t-Test für eine Stichprobe Wilcoxon-Vorzeichen-Rangtest
Metrisch, zwei unabhängige Gruppen t-Test für zwei Stichproben, Welch-Variante als Standardfall Mann-Whitney oder Bootstrap
Metrisch, dieselben Objekte zweimal gemessen gepaarter t-Test auf den Differenzen Wilcoxon
Metrisch, mehr als zwei Gruppen Varianzanalyse, danach Post-hoc mit Korrektur Kruskal-Wallis
Ordinale Zielgrösse rangbasierte Verfahren, siehe nichtparametrische Tests entfällt, sie sind bereits die Ausweichvariante
Ein kategoriales Merkmal gegen eine erwartete Verteilung Chi-Quadrat-Anpassungstest exakte Varianten bei kleinen Häufigkeiten
Zwei kategoriale Merkmale, Frage nach Unabhängigkeit Chi-Quadrat-Unabhängigkeitstest exakter Test nach Fisher

Zwei Abzweigungen werden regelmässig falsch genommen. Die erste ist die Paarung: Vorher- und Nachher-Messungen an denselben Objekten sind gepaart, auch wenn die Tabelle sie in zwei Spalten führt. Die zweite ist der Schritt von zwei auf mehr als zwei Gruppen. Drei Gruppen paarweise durchzutesten erhöht die Rate falscher Alarme; dafür gibt es die Varianzanalyse und anschliessend Korrekturen für multiples Testen.

Zusammenhang und Vorhersage

Die Frage lautet: Hängen zwei Grössen zusammen, und lässt sich die eine aus der anderen vorhersagen? Der Unterschied zwischen beiden Teilen ist die Richtung. Ein Zusammenhang ist symmetrisch, eine Vorhersage nicht.

flowchart LR
    Z{"Gibt es eine Zielgrösse,<br>die vorhergesagt<br>werden soll?"}

    Z -->|"nein, nur die Enge<br>des Zusammenhangs"| C{"Linear und ohne<br>starke Ausreisser?"}
    C -->|"ja"| C1["Korrelation<br>nach Pearson"]
    C -->|"nein"| C2["Korrelation<br>nach Spearman"]
    C1 --> C3["Korrelationstest"]
    C2 --> C3

    Z -->|"ja"| Y{"Art der<br>Zielgrösse?"}
    Y -->|"metrisch"| Y1{"Wie viele<br>Einflussgrössen?"}
    Y -->|"binär"| Y2["logistische<br>Regression"] --> G["Klassifikationsgüte"]
    Y -->|"Zeit bis zum Ereignis,<br>teils zensiert"| Y3{"Was wird<br>gefragt?"}
    Y -->|"über die Zeit erhoben"| Y4{"Werte zeitlich<br>abhängig?"}

    Y1 -->|"eine"| R1["einfache lineare<br>Regression"] --> D["Regressions-<br>diagnostik"]
    Y1 -->|"mehrere"| R2["multiple lineare<br>Regression"] --> D

    Y3 -->|"Verlauf<br>beschreiben"| U1["Kaplan-Meier"]
    Y3 -->|"zwei Gruppen<br>vergleichen"| U2["Log-Rank-Test"]
    Y3 -->|"Einflussgrössen<br>einbeziehen"| U3["Cox-Modell"]

    Y4 -->|"ja"| T1["Zeitreihenmodelle,<br>ARIMA"]
    Y4 -->|"nein"| R2
Abbildung 3: Von der Art der Zielgrösse zum passenden Modell.
Fragestellung Verfahren Anschluss
Wie eng hängen zwei metrische Grössen zusammen? Korrelation, Pearson bei linearem Zusammenhang, sonst Spearman Korrelationstests
Wie ändert sich y je Einheit von x, mit einer Einflussgrösse? einfache lineare Regression Regressionsdiagnostik
Dasselbe mit mehreren Einflussgrössen, oder eine soll konstant gehalten werden multiple lineare Regression Modellauswahl
Zielgrösse ist ja oder nein logistische Regression Klassifikationsgüte
Zeit bis zu einem Ereignis, nicht alle Fälle beobachtet Zensierung und Überlebensfunktion, dann Kaplan-Meier Log-Rank, Cox-Modell
Messwerte über die Zeit, zeitlich voneinander abhängig Zeitreihen-Grundlagen, Stationarität Glättung, ARIMA

Die häufigste Fehlabzweigung liegt ganz rechts: Messwerte, die über die Zeit erhoben wurden, sind fast nie unabhängig. Eine gewöhnliche Regression unterstellt Unabhängigkeit, meldet aber nichts, wenn sie fehlt; die Standardfehler werden dann zu klein und die p-Werte zu optimistisch. Der Durbin-Watson-Wert im Modelloutput ist der erste Hinweis darauf.

Struktur ohne Zielgrösse

Die Frage lautet: Was steckt in den Daten, wenn es gar keine Zielgrösse gibt? Diese Verfahren heissen unüberwacht, weil ihnen niemand sagt, was richtig ist. Entsprechend gibt es hier keinen p-Wert und keine Entscheidung, sondern nur eine mehr oder weniger brauchbare Beschreibung.

flowchart LR
    W{"Was soll zusammen-<br>gefasst werden?"}

    W -->|"Variablen<br>verdichten"| V{"Was ist<br>das Ziel?"}
    W -->|"Beobachtungen<br>gruppieren"| B["Distanzmass und<br>Standardisierung<br>festlegen"]

    V -->|"Varianz verdichten,<br>neue Kennzahlen"| V1["Haupt-<br>komponentenanalyse"]
    V -->|"dahinterliegende<br>Ursachen modellieren"| V2["Faktorenanalyse"]
    V1 --> V3{"Alle Eigenwerte<br>nahe 1?"}
    V3 -->|"ja"| V4["nichts zu verdichten,<br>Analyse abbrechen"]
    V3 -->|"nein"| V5["Komponenten deuten<br>und benennen"]

    B --> B1{"Anzahl Gruppen<br>vorab bekannt?"}
    B1 -->|"ja"| B2["k-Means"] --> B4["Clustergüte prüfen"]
    B1 -->|"nein"| B3["hierarchisches<br>Clustering"] --> B4
Abbildung 4: Verdichten oder gruppieren: die beiden Wege ohne Zielgrösse.
Ziel Verfahren Worauf zu achten ist
Viele korrelierte Variablen zu wenigen verdichten Hauptkomponentenanalyse ohne Standardisierung entscheidet die Einheit; sind alle Eigenwerte nahe 1, gibt es nichts zu verdichten
Dahinterliegende, nicht direkt messbare Grössen modellieren Faktorenanalyse anderes Ziel als die Komponentenanalyse, nicht nur eine andere Rechnung
Beobachtungen in Gruppen einteilen, Anzahl bekannt k-Means setzt etwa gleich grosse, kugelförmige Gruppen voraus
Beobachtungen gruppieren, Anzahl unbekannt hierarchisches Clustering die Anzahl wird am Dendrogramm abgelesen, nicht vorgegeben
In beiden Fällen zuerst Distanzmasse die Wahl von Distanz und Skalierung bestimmt das Ergebnis stärker als der Algorithmus
In beiden Fällen danach Clustergüte ein Algorithmus liefert immer Gruppen, auch in strukturlosen Daten

Was der Baum nicht leistet

Ein Entscheidungsbaum ist eine Landkarte, kein Autopilot. Vier Dinge bleiben ausserhalb:

  • Er ersetzt die Voraussetzungsprüfung nicht. Der Knoten “Voraussetzungen erfüllt?” ist im Diagramm eine Verzweigung und in der Praxis ein Blick auf Streudiagramm, Boxplot, QQ-Plot und Residuen.
  • Er kennt die Fragestellung nicht. Ob ein Unterschied oder ein Zusammenhang interessiert, ist eine inhaltliche Entscheidung, keine statistische.
  • Er sagt nichts über die Datenqualität. Fehlende Werte, Ausreisser und Erhebungsfehler entscheiden häufiger über das Ergebnis als die Wahl des Verfahrens.
  • Er endet, wo die Arbeit anfängt. Nach der Wahl folgen Durchführung, Interpretation jedes einzelnen Werts und der Ergebnissatz. Dafür sind die Methodenseiten da.

Verständnisfragen

Vorher- und Nachher-Werte von 30 Personen liegen in zwei Spalten einer Tabelle. Welcher Weg im Baum ist richtig?

Metrisch, zwei gepaarte Messungen
Richtig. Die beiden Spalten gehören zu denselben Personen. Die Form der Tabelle sagt darüber nichts; massgeblich ist, ob dieselben Objekte zweimal gemessen wurden.
Metrisch, zwei unabhängige Gruppen
Das wäre der Fall, wenn es zwei verschiedene Personengruppen wären. Hier verschenkt dieser Weg Information und findet echte Effekte oft nicht.
Metrisch, mehr als zwei Gruppen
Es sind zwei Messzeitpunkte, nicht mehr.

Der Umsatz je Monat über fünf Jahre soll aus der Werbeausgabe vorhergesagt werden. Was spricht gegen eine gewöhnliche lineare Regression?

Monatswerte sind zeitlich voneinander abhängig
Richtig. Die Regression unterstellt unabhängige Beobachtungen. Bei Zeitreihen ist das fast nie erfüllt; die Standardfehler werden zu klein und die p-Werte zu optimistisch. Der Durbin-Watson-Wert im Output ist der erste Hinweis.
Der Umsatz ist nicht normalverteilt
Die Normalverteilungsannahme betrifft die Residuen, nicht die Zielgrösse selbst.
Es gibt zu wenige Beobachtungen
60 Monatswerte sind für eine Regression nicht wenig; das Problem liegt in ihrer Abhängigkeit.

Der Baum führt bei nicht erfüllten Voraussetzungen zum Rangtest. Darf man zuerst beide Tests rechnen und dann entscheiden?

Nein, die Wahl fällt vor dem Blick auf die p-Werte
Richtig. Wer nach Ergebnis auswählt, hält das Testniveau nicht mehr ein. Beide Ergebnisse zu zeigen ist als Sensitivitätsanalyse zulässig, aber das Hauptverfahren muss vorab benannt sein.
Ja, man berichtet einfach beide
Beide zu berichten ist erlaubt, die Auswahl nach dem Ergebnis nicht. Der Unterschied liegt in der Reihenfolge.
Ja, der kleinere p-Wert ist der genauere
Ein kleinerer p-Wert ist nicht genauer, sondern nur kleiner.

Eine Komponentenanalyse liefert sechs Eigenwerte zwischen 0.9 und 1.1. Wohin führt der Baum?

Zum Abbruch: es gibt nichts zu verdichten
Richtig. Gleichverteilte Eigenwerte bedeuten unkorrelierte Variablen. Zwei Komponenten zu behalten würde zwei Drittel der Information verwerfen, ohne etwas zu gewinnen.
Zur Faktorenanalyse
Sie setzt gemeinsame Struktur ebenso voraus und scheitert an denselben Daten.
Zum Clustering
Das ist eine andere Frage: Gruppen von Beobachtungen statt Verdichtung von Variablen. Es ist keine Ausweichvariante.

Verlinkte Ressourcen