Quadruplicare il campione per dimezzare l'intervallo

Dove la radice quadrata manda il budget

La precisione diventa cara più in fretta di quanto l'intuito preveda. Passare da un margine di 5,37 a 2,68 costa novanta osservazioni in più; passare da 2,68 a 1,34 ne costa altre 360. Ogni dimezzamento quadruplica il costo, ed è per questo che gli studi seri discutono la larghezza di cui hanno davvero bisogno invece di chiedere la più stretta che possano permettersi — e perché un sondaggio che raddoppia il campione annunciando un risultato spettacolarmente migliore sta di solito annunciando qualcosa di diverso dalla precisione. Fissa la larghezza che la decisione richiede, poi risolvi in n; l'ordine inverso produce un numero che nessuno può difendere.

z presuppone una distribuzione campionaria normale, non dati normali

L'1,96 viene dalla distribuzione normale, e l'ipotesi di cui ha bisogno riguarda la distribuzione delle medie campionarie, non le singole osservazioni. Il teorema del limite centrale fa quasi tutto il lavoro: la media di un campione abbastanza grande è approssimativamente normale anche quando i dati grezzi sono molto asimmetrici, ed è per questo che il calcolo regge su redditi, tempi di attesa e tassi di clic. Due situazioni lo rompono — un campione piccolo da una popolazione asimmetrica, dove trenta è lontano dal bastare, e dati a code pesanti, dove un singolo valore estremo sposta insieme media e deviazione e l'intervallo si allarga in silenzio attorno al centro sbagliato.

Domande frequenti

Devo usare z o t?

In rigore, t ogni volta che la deviazione della popolazione è ignota e stimata dal campione — cioè quasi sempre. La differenza pratica si riduce in fretta con la dimensione: a n = 30 il moltiplicatore t vale 2,045 contro 1,96 di z, e il margine qui sarebbe 5,60 invece di 5,37, circa il quattro per cento più largo. Sotto la trentina la distanza conta e t è la scelta giusta; sopra, le due risposte concordano abbastanza perché le ipotesi sui tuoi dati cedano molto prima del moltiplicatore.

Due intervalli si sovrappongono: significa che non c'è differenza?

No, ed è uno degli errori più frequenti nella lettura dei grafici. Intervalli sovrapposti possono venire da una differenza che un test diretto giudica significativa, perché il confronto giusto è un intervallo di confidenza sulla differenza fra le due medie, non l'ispezione visiva di due intervalli separati. Il reciproco vale: intervalli disgiunti implicano davvero una differenza significativa, quindi la regola è sicura in un solo verso. Quando la domanda è se due gruppi differiscono, calcola l'intervallo della differenza e leggi quello.