L'anglais porte environ un bit par lettre, et le reste est une assurance
Publié le 13/11/2026 · 3 min de lecture · Outils pour développeurs
Daniel Okonkwo — Développeur front-end et rédacteur Tech chez OneKitly
Performance web · Formats de fichiers
Vérifié à partir de 2 sources
L'entropie de Shannon mesure ce qu'un symbole vous apprend, en bits, et elle est maximale quand toutes les issues sont équiprobables. Quatre symboles équiprobables portent exactement 2 bits chacun ; déséquilibrez-les à 50, 25, 12,5 et 12,5 pour cent et la moyenne tombe à 1,75 bit, soit 12,5 % de redondance. L'anglais écrit est bien plus déséquilibré : avec les fréquences réelles des lettres, chacune porte 4,18 bits contre un maximum de 4,70, et une fois le contexte pris en compte, les expériences de Shannon lui-même situent le chiffre près de 1,1. Environ trois quarts de tout texte anglais sont donc prévisibles — ce qui rend possibles à la fois la compression et la lecture dans une pièce bruyante.
Vingt-six lettres équiprobables porteraient 4,70 bits chacune. Les fréquences réelles donnent 4,18, et le contexte ramène à environ 1,1 — une redondance d'environ 77 %.
La redondance est une qualité, non un gaspillage
Une langue sans redondance deviendrait illisible dès qu'une lettre est brouillée, car toute chaîne possible serait un mot valide et aucune erreur ne serait détectable. Les langues humaines tournent autour des trois quarts de redondance, et c'est pourquoi une phrase survit à une mauvaise ligne téléphonique, à un accent étranger et à une page manuscrite. Le même principe est délibérément conçu dans les machines : les codes correcteurs ajoutent de la redondance exprès, et un QR code se lit encore avec un tiers de sa surface détruite pour exactement la raison qui rend lisible un mot taché.
Ce qu'un compresseur retire réellement
L'entropie fixe un plancher dur : aucun compresseur sans perte ne peut descendre en moyenne sous l'entropie de la source, et chacun d'eux est une machine à s'approcher de ce plancher. Le texte se comprime bien parce qu'il y a beaucoup de redondance à retirer ; les fichiers déjà compressés, les fichiers chiffrés et le bruit aléatoire ne se compriment pas du tout, leur entropie étant déjà au maximum. C'est un test de terrain utile : tout ce qui refuse de rétrécir est soit déjà compressé, soit d'une autre nature que ce que vous croyiez.
| Distribution | Entropie | Redondance |
|---|---|---|
| 25, 25, 25, 25 | 2,00 bits | 0 % |
| 50, 25, 12,5, 12,5 | 1,75 bit | 12,5 % |
| Lettres anglaises | 4,18 sur 4,70 bits | 11,2 % |
Exemple calculé avec notre outil
Calculateur d'entropie de Shannon
Données
- Probabilités (somme = 1)
- 0.25, 0.25
Résultat
- Entropie (bits)
- 1
- Entropie maximale (bits)
- 1
- Redondance
- 0 %
Ces chiffres sont produits par le calculateur ci-dessous, pas saisis à la main — ils sont recalculés à chaque évolution de l'outil.
Refaire ce calcul avec tes chiffres →Questions fréquentes
- Pourquoi mesurer l'information en bits ?
- Parce qu'un bit est la réponse à une question par oui ou non, et que toute incertitude se lève en en posant assez. Deux bits identifient une option sur quatre équiprobables, dix bits une sur 1024. L'entropie est simplement le nombre moyen de telles questions nécessaires, d'où son caractère fractionnaire : 1,75 bit signifie qu'une longue suite de symboles peut être fixée avec 1,75 question chacune en moyenne, même si aucune question individuelle ne peut être posée aux trois quarts.
- Les autres langues donnent-elles le même résultat ?
- Proche, une fois la taille de l'alphabet prise en compte. Les langues à plus de lettres partent d'un maximum plus élevé et aboutissent au même endroit, car la redondance est imposée par la façon dont les humains parlent et écoutent, non par le système d'écriture. Les mesures divergent avec les écritures qui notent des syllabes ou des mots entiers : un symbole porte alors bien plus d'information et l'entropie par symbole monte en conséquence — les comparaisons entre systèmes d'écriture doivent se faire par unité de sens et non par caractère.
Articles qui pourraient t'intéresser
Tous les guides →Outils similaires
Sources
Tu as repéré une erreur dans cet article ?