Una sola lettura sbagliata moltiplica per venti la deviazione standard

Il punto di rottura è il numero che conta

Ogni statistica di sintesi ha una frazione dei dati che si può corrompere prima che diventi arbitraria, e per la media e la deviazione standard quella frazione è zero: un solo valore portato abbastanza lontano trascina l'una o l'altra dove si vuole. La mediana e la deviazione assoluta mediana sopravvivono fino a metà dei dati sbagliati, il massimo che una statistica possa raggiungere — oltre la metà, non c'è modo di distinguere i valori corrotti da quelli buoni. Quel divario da zero a un mezzo è tutta la differenza pratica, ed è per questo che registri di strumenti, flussi di sensori e tutto ciò che abbia un modo di guasto plausibile si riassumono con statistiche di rango anziché con medie.

Due statistiche diverse condividono la stessa sigla

Deviazione assoluta mediana e deviazione assoluta media si abbreviano entrambe MAD nell'uso corrente, e non sono la stessa grandezza: la prima prende la mediana delle distanze dalla mediana, la seconda la media delle distanze dalla media. Solo la prima è robusta — la seconda ha ancora punto di rottura nullo, perché la media vi compare due volte. Una cifra etichettata MAD senza altra precisazione è quindi ambigua, e la differenza fra le due letture può valere un fattore venti proprio sul tipo di dati per cui qualcuno si è rivolto a una statistica robusta. Scrivi per esteso quale intendi.

Domande frequenti

Da dove viene l'1,4826?

Dal voler far coincidere le due statistiche su dati ben educati. Per una distribuzione normale la deviazione assoluta mediana vale circa 0,6745 deviazioni standard, quindi dividere per quello — equivalentemente moltiplicare per 1,4826 — trasforma un MAD in una stima della deviazione standard che coincide quando nulla è andato storto. Il fattore è proprio della distribuzione normale e di nessun'altra, cosa da ricordare prima di citare un MAD scalato per dati visibilmente asimmetrici. Non scalato, il MAD resta una misura di dispersione perfettamente valida; il fattore esiste solo perché il numero sia confrontabile con deviazioni standard citate altrove.

Conviene preferire sempre la versione robusta?

No, e il prezzo della robustezza è l'efficienza. Su dati puliti e ben educati la deviazione standard estrae più informazione dallo stesso numero di osservazioni di quanto faccia il MAD — usa la grandezza reale di ogni valore e non il suo rango, un vantaggio ben reale quando nessun valore è sbagliato. La scelta riguarda quindi ciò che ci si aspetta: statistiche robuste per misure che possono fallire, classiche per dati di cui ci si fida. Calcolarle entrambe è spesso l'opzione più informativa, perché un grande divario fra loro è di per sé il risultato: dice che qualcosa nei dati si comporta diversamente dal resto.