Vai al contenuto
OneKitly

L'inglese porta circa un bit per lettera, e il resto è un'assicurazione

Pubblicato il 13/11/2026 · 3 min di lettura · Strumenti per sviluppatori

Daniel Okonkwo

Daniel Okonkwo — Sviluppatore front-end e redattore Tech presso OneKitly

Performance web · Formati di file

Verificato su 2 fonti

Vedi il profilo →
In breve

L'entropia di Shannon misura quanto un simbolo vi dice, in bit, ed è massima quando ogni esito è ugualmente probabile. Quattro simboli equiprobabili portano esattamente 2 bit ciascuno; sbilanciateli a 50, 25, 12,5 e 12,5 per cento e la media scende a 1,75 bit, cioè il 12,5 % di ridondanza. L'inglese scritto è assai più sbilanciato: con le frequenze reali delle lettere ciascuna porta 4,18 bit contro un massimo di 4,70, e una volta tenuto conto del contesto gli esperimenti dello stesso Shannon collocano la cifra vicino a 1,1. Circa tre quarti di ogni testo inglese sono dunque prevedibili — il che rende possibili sia la compressione sia la lettura in una stanza rumorosa.

Pubblicità

Ventisei lettere equiprobabili porterebbero 4,70 bit ciascuna. Le frequenze reali danno 4,18, e il contesto lo riduce a circa 1,1 — una ridondanza di circa il 77 %.

La ridondanza è un pregio, non uno spreco

Una lingua senza ridondanza sarebbe illeggibile non appena una lettera si sbavasse, perché ogni stringa possibile sarebbe una parola valida e nessun errore sarebbe rilevabile. Le lingue umane si aggirano sui tre quarti di ridondanza, ed è per questo che una frase sopravvive a una cattiva linea telefonica, a un accento straniero e a una pagina manoscritta. Lo stesso principio è progettato di proposito nelle macchine: i codici correttori aggiungono ridondanza apposta, e un codice QR si legge ancora con un terzo della superficie distrutta esattamente per la ragione che rende leggibile una parola macchiata.

Cosa toglie davvero un compressore

L'entropia fissa un pavimento duro: nessun compressore senza perdita può scendere in media sotto l'entropia della sorgente, e ognuno di essi è una macchina per avvicinarsi a quel pavimento. Il testo si comprime bene perché c'è molta ridondanza da togliere; i file già compressi, quelli cifrati e il rumore casuale non si comprimono affatto, poiché la loro entropia è già al massimo. È una prova sul campo utile: tutto ciò che rifiuta di rimpicciolire o è già compresso o non è il tipo di dati che credevate.

Ridondanza
Entropia di quattro simboli sotto due distribuzioni
DistribuzioneEntropiaRidondanza
25, 25, 25, 252,00 bit0 %
50, 25, 12,5, 12,51,75 bit12,5 %
Lettere inglesi4,18 su 4,70 bit11,2 %

Esempio calcolato con il nostro strumento

Calcolatore dell'entropia di Shannon

Dati

Probabilità (somma 1)
0.25, 0.25

Risultato

Entropia (bit)
1
Entropia massima (bit)
1
Ridondanza
0%

Queste cifre sono prodotte dal calcolatore qui sotto, non digitate a mano — vengono ricalcolate a ogni modifica dello strumento.

Rifarlo con i tuoi numeri →
Pubblicità

Domande frequenti

Perché misurare l'informazione in bit?
Perché un bit è la risposta a una domanda sì o no, e ogni incertezza si risolve ponendone abbastanza. Due bit identificano una fra quattro opzioni equiprobabili, dieci bit una su 1024. L'entropia è semplicemente il numero medio di tali domande necessarie, da cui il suo carattere frazionario: 1,75 bit significa che una lunga sequenza di simboli può essere fissata con 1,75 domande ciascuna in media, anche se nessuna singola domanda può essere posta per tre quarti.
Le altre lingue danno lo stesso risultato?
Vicino, una volta tenuta in conto la dimensione dell'alfabeto. Le lingue con più lettere partono da un massimo più alto e finiscono in un punto simile, perché la ridondanza è imposta dal modo in cui gli umani parlano e ascoltano, non dal sistema di scrittura. Le misure divergono con le scritture che annotano sillabe o parole intere: un simbolo porta allora assai più informazione e l'entropia per simbolo sale di conseguenza — i confronti fra sistemi di scrittura vanno fatti per unità di significato e non per carattere.

Articoli che potrebbero interessarti

Tutte le guide →
SpiegazioneEntropia delle password: che cosa un misuratore di robustezza non può sapereL'entropia misura il processo che ha prodotto una password, non i caratteri che contiene. H = L x log2(R) è vera solo quando ogni carattere è stato scelto davvero a caso — ed è esattamente per questo che un misuratore che valuta una password inventata da un umano in base alle classi di caratteri sta misurando la cosa sbagliata.SpiegazioneUn PIN a quattro cifre ha 10 000 valori e la gente ne usa una ventinaDieci scelte quattro volte di fila fanno 10 000. Aggiungere due cifre raggiunge il milione; usare lettere oltre alle cifre raggiunge 1 679 616 con le stesse quattro caselle.SpiegazioneUn sondaggio di mille è altrettanto preciso in un paese di sessanta milioni500 su 1000 danno il 50 % con un margine di 3,10 punti. Riducete il campione a 100 e il margine diventa 9,80 — tre volte più largo, con un decimo delle interviste.SpiegazioneSe tre persone citano ciascuna tre contatti fra quattro, qualcuno sbagliaL'elenco 3, 3, 3, 1 non può descrivere alcuna rete reale. 3, 3, 2, 2 sì, con cinque collegamenti. Due regole vecchie di due secoli catturano errori d'indagine prima di ogni analisi.SpiegazioneTre a uno significa una possibilità su quattro, non treLe quote frazionarie contano i modi di perdere contro i modi di vincere. 3/1 vale 25 %, 1/3 vale 75 % e 5/2 vale 28,57 % — la frazione non è mai la probabilità.SpiegazioneUn sorteggio del Babbo Natale segreto fallisce il 63 % delle volte, qualunque sia il gruppoDelle 120 maniere in cui cinque persone possono estrarre nomi, 44 non danno a nessuno il proprio — il 36,7 %. Con dieci persone è il 36,788 %, e con venti il 36,788 %. La proporzione smette di muoversi quasi subito.

Strumenti correlati

Fonti

Hai notato un errore in questo articolo?