Aller au contenu
OneKitly

L'anglais porte environ un bit par lettre, et le reste est une assurance

Publié le 13/11/2026 · 3 min de lecture · Outils pour développeurs

Daniel Okonkwo

Daniel Okonkwo — Développeur front-end et rédacteur Tech chez OneKitly

Performance web · Formats de fichiers

Vérifié à partir de 2 sources

Voir le profil →
En bref

L'entropie de Shannon mesure ce qu'un symbole vous apprend, en bits, et elle est maximale quand toutes les issues sont équiprobables. Quatre symboles équiprobables portent exactement 2 bits chacun ; déséquilibrez-les à 50, 25, 12,5 et 12,5 pour cent et la moyenne tombe à 1,75 bit, soit 12,5 % de redondance. L'anglais écrit est bien plus déséquilibré : avec les fréquences réelles des lettres, chacune porte 4,18 bits contre un maximum de 4,70, et une fois le contexte pris en compte, les expériences de Shannon lui-même situent le chiffre près de 1,1. Environ trois quarts de tout texte anglais sont donc prévisibles — ce qui rend possibles à la fois la compression et la lecture dans une pièce bruyante.

Publicité

Vingt-six lettres équiprobables porteraient 4,70 bits chacune. Les fréquences réelles donnent 4,18, et le contexte ramène à environ 1,1 — une redondance d'environ 77 %.

La redondance est une qualité, non un gaspillage

Une langue sans redondance deviendrait illisible dès qu'une lettre est brouillée, car toute chaîne possible serait un mot valide et aucune erreur ne serait détectable. Les langues humaines tournent autour des trois quarts de redondance, et c'est pourquoi une phrase survit à une mauvaise ligne téléphonique, à un accent étranger et à une page manuscrite. Le même principe est délibérément conçu dans les machines : les codes correcteurs ajoutent de la redondance exprès, et un QR code se lit encore avec un tiers de sa surface détruite pour exactement la raison qui rend lisible un mot taché.

Ce qu'un compresseur retire réellement

L'entropie fixe un plancher dur : aucun compresseur sans perte ne peut descendre en moyenne sous l'entropie de la source, et chacun d'eux est une machine à s'approcher de ce plancher. Le texte se comprime bien parce qu'il y a beaucoup de redondance à retirer ; les fichiers déjà compressés, les fichiers chiffrés et le bruit aléatoire ne se compriment pas du tout, leur entropie étant déjà au maximum. C'est un test de terrain utile : tout ce qui refuse de rétrécir est soit déjà compressé, soit d'une autre nature que ce que vous croyiez.

Redondance
Entropie de quatre symboles sous deux distributions
DistributionEntropieRedondance
25, 25, 25, 252,00 bits0 %
50, 25, 12,5, 12,51,75 bit12,5 %
Lettres anglaises4,18 sur 4,70 bits11,2 %

Exemple calculé avec notre outil

Calculateur d'entropie de Shannon

Données

Probabilités (somme = 1)
0.25, 0.25

Résultat

Entropie (bits)
1
Entropie maximale (bits)
1
Redondance
0 %

Ces chiffres sont produits par le calculateur ci-dessous, pas saisis à la main — ils sont recalculés à chaque évolution de l'outil.

Refaire ce calcul avec tes chiffres →
Publicité

Questions fréquentes

Pourquoi mesurer l'information en bits ?
Parce qu'un bit est la réponse à une question par oui ou non, et que toute incertitude se lève en en posant assez. Deux bits identifient une option sur quatre équiprobables, dix bits une sur 1024. L'entropie est simplement le nombre moyen de telles questions nécessaires, d'où son caractère fractionnaire : 1,75 bit signifie qu'une longue suite de symboles peut être fixée avec 1,75 question chacune en moyenne, même si aucune question individuelle ne peut être posée aux trois quarts.
Les autres langues donnent-elles le même résultat ?
Proche, une fois la taille de l'alphabet prise en compte. Les langues à plus de lettres partent d'un maximum plus élevé et aboutissent au même endroit, car la redondance est imposée par la façon dont les humains parlent et écoutent, non par le système d'écriture. Les mesures divergent avec les écritures qui notent des syllabes ou des mots entiers : un symbole porte alors bien plus d'information et l'entropie par symbole monte en conséquence — les comparaisons entre systèmes d'écriture doivent se faire par unité de sens et non par caractère.

Articles qui pourraient t'intéresser

Tous les guides →
ExplicationEntropie d'un mot de passe : ce qu'un indicateur de robustesse ne peut pas savoirL'entropie mesure le processus qui a produit un mot de passe, pas les caractères qui le composent. H = L x log2(R) n'est vrai que si chaque caractère a été tiré au hasard — c'est précisément pourquoi un indicateur qui note un mot de passe inventé par un humain sur ses classes de caractères mesure la mauvaise chose.ExplicationUn code à quatre chiffres a 10 000 valeurs et les gens en emploient une vingtaineDix choix quatre fois de suite font 10 000. Ajouter deux chiffres atteint le million ; employer lettres et chiffres atteint 1 679 616 avec les mêmes quatre cases.ExplicationUn sondage de mille personnes est aussi précis dans un pays de soixante millions500 sur 1000 donnent 50 % avec une marge de 3,10 points. Réduisez l'échantillon à 100 et la marge passe à 9,80 — trois fois plus large, pour un dixième des entretiens.ExplicationSi trois personnes citent chacune trois contacts parmi quatre, quelqu'un se trompeLa liste 3, 3, 3, 1 ne peut décrire aucun réseau réel. 3, 3, 2, 2 le peut, avec cinq liens. Deux règles vieilles de deux siècles attrapent les erreurs d'enquête avant toute analyse.ExplicationTrois contre un signifie une chance sur quatre, non troisLes cotes fractionnaires comptent les façons de perdre contre les façons de gagner. 3/1 vaut 25 %, 1/3 vaut 75 %, et 5/2 vaut 28,57 % — la fraction n'est jamais la probabilité.ExplicationUn tirage de Noël secret échoue 63 % du temps, quelle que soit la taille du groupeSur les 120 façons dont cinq personnes peuvent tirer des noms, 44 n'en donnent aucun à son propriétaire — 36,7 %. À dix personnes, 36,788 % ; à vingt, 36,788 %. La proportion cesse de bouger presque tout de suite.

Outils similaires

Sources

Tu as repéré une erreur dans cet article ?