Die Stichprobe vervierfachen, um das Intervall zu halbieren

Wohin die Wurzel das Budget schickt

Genauigkeit wird schneller teuer, als die Intuition erwartet. Von einer Marge von 5,37 auf 2,68 zu kommen kostet neunzig zusätzliche Beobachtungen; von 2,68 auf 1,34 weitere 360. Jede Halbierung vervierfacht die Kosten — deshalb streiten ernsthafte Studien über die Breite, die sie wirklich brauchen, statt die schmalste zu verlangen, die sie bezahlen können; und deshalb berichtet eine Umfrage, die ihre Stichprobe verdoppelt und ein dramatisch besseres Ergebnis vermeldet, meist über etwas anderes als Genauigkeit. Lege die Breite fest, die die Entscheidung verlangt, und löse nach n auf; die umgekehrte Reihenfolge liefert eine Zahl, die niemand verteidigen kann.

z setzt eine normale Stichprobenverteilung voraus, keine normalen Daten

Die 1,96 stammt aus der Normalverteilung, und die nötige Annahme betrifft die Verteilung der Stichprobenmittel, nicht die einzelnen Beobachtungen. Der zentrale Grenzwertsatz leistet das meiste: Der Mittelwert einer hinreichend großen Stichprobe ist annähernd normal, selbst wenn die Rohdaten stark schief sind — deshalb hält diese Rechnung bei Einkommen, Wartezeiten und Klickraten. Zwei Lagen brechen sie: eine kleine Stichprobe aus einer schiefen Grundgesamtheit, wo dreißig bei weitem nicht reicht, und Daten mit schweren Rändern, wo ein einzelner Extremwert Mittelwert und Standardabweichung zugleich verschiebt und das Intervall sich still um die falsche Mitte weitet.

Häufige Fragen

z oder t?

Streng genommen t, sobald die Standardabweichung der Grundgesamtheit unbekannt und aus der Stichprobe geschätzt ist — also fast immer. Der praktische Unterschied schrumpft rasch mit der Größe: Bei n = 30 beträgt der t-Faktor 2,045 gegen 1,96 bei z, die Marge läge hier bei 5,60 statt 5,37, rund vier Prozent breiter. Unterhalb von etwa dreißig zählt der Abstand und t ist die richtige Wahl; darüber stimmen beide Antworten so weit überein, dass die Annahmen über die Daten lange vor dem Faktor versagen.

Zwei Intervalle überlappen — heißt das, es gibt keinen Unterschied?

Nein, und das ist einer der häufigsten Lesefehler bei Diagrammen. Überlappende Intervalle können sehr wohl von einem Unterschied stammen, den ein direkter Test als signifikant ausweist, denn der richtige Vergleich ist ein Konfidenzintervall für die Differenz der beiden Mittelwerte, nicht der Augenschein zweier getrennter Intervalle. Umgekehrt gilt: Nicht überlappende Intervalle bedeuten tatsächlich einen signifikanten Unterschied — die Regel trägt also nur in eine Richtung. Wenn gefragt ist, ob zwei Gruppen sich unterscheiden, rechne das Intervall der Differenz und lies dieses.