Zum Inhalt springen
OneKitly

Englisch trägt etwa ein Bit je Buchstabe, der Rest ist Versicherung

Veröffentlicht am 13.11.2026 · 3 Min. Lesezeit · Entwickler-Tools

Daniel Okonkwo

Daniel Okonkwo — Front-end-Entwickler und Tech-Redakteur bei OneKitly

Web-Performance · Dateiformate

Anhand von 2 Quellen geprüft

Profil ansehen →
Kurz gesagt

Die Shannon-Entropie misst in Bit, wie viel ein Symbol mitteilt, und ist am größten, wenn alle Ausgänge gleich wahrscheinlich sind. Vier gleich wahrscheinliche Symbole tragen genau 2 Bit je Zeichen; verschiebt man sie auf 50, 25, 12,5 und 12,5 Prozent, sinkt der Mittelwert auf 1,75 Bit — eine Redundanz von 12,5 %. Geschriebenes Englisch ist weit schiefer: Mit echten Buchstabenhäufigkeiten trägt jeder Buchstabe 4,18 Bit gegen ein Maximum von 4,70, und mit Kontext siedeln Shannons eigene Versuche den Wert nahe 1,1 an. Rund drei Viertel jedes englischen Textes sind also vorhersagbar — was Kompression ebenso ermöglicht wie Lesen in einem lauten Raum.

Werbung

Sechsundzwanzig gleich wahrscheinliche Buchstaben trügen je 4,70 Bit. Echte Buchstabenhäufigkeiten ergeben 4,18, und Kontext senkt es auf etwa 1,1 — eine Redundanz von rund 77 %.

Redundanz ist ein Merkmal, kein Verschnitt

Eine Sprache ohne Redundanz wäre unlesbar, sobald ein Buchstabe verschmiert, denn jede mögliche Zeichenkette wäre ein gültiges Wort und kein Fehler ließe sich erkennen. Menschliche Sprachen liegen bei etwa drei Vierteln Redundanz — darum übersteht ein Satz eine schlechte Telefonleitung, einen fremden Akzent und eine Seite Handschrift. Dasselbe Prinzip wird in Maschinen bewusst eingebaut: Fehlerkorrekturcodes fügen absichtlich Redundanz hinzu, und ein QR-Code liest sich noch mit einem zerstörten Drittel seiner Fläche — aus genau dem Grund, aus dem ein verschmiertes Wort lesbar bleibt.

Was ein Kompressor tatsächlich entfernt

Die Entropie setzt eine harte Untergrenze: Kein verlustfreier Kompressor kann im Mittel unter die Entropie der Quelle kommen, und jeder von ihnen ist eine Maschine, sich dieser Grenze zu nähern. Text komprimiert gut, weil viel Redundanz zu entfernen ist; bereits komprimierte Dateien, verschlüsselte Dateien und zufälliges Rauschen komprimieren gar nicht, denn ihre Entropie liegt schon am Maximum. Das ist ein nützlicher Feldtest: Was sich weigert zu schrumpfen, ist entweder schon komprimiert oder nicht die Art Daten, für die man es hielt.

Redundanz
Entropie von vier Symbolen unter zwei Verteilungen
VerteilungEntropieRedundanz
25, 25, 25, 252,00 Bit0 %
50, 25, 12,5, 12,51,75 Bit12,5 %
Englische Buchstaben4,18 von 4,70 Bit11,2 %

Mit unserem eigenen Rechner durchgerechnet

Shannon-Entropie-Rechner

Eingaben

Wahrscheinlichkeiten (Summe 1)
0.25, 0.25

Ergebnis

Entropie (Bit)
1
Maximale Entropie (Bit)
1
Redundanz
0 %

Diese Zahlen stammen aus dem Rechner unten, sie sind nicht von Hand eingetragen — sie werden bei jeder Änderung des Tools neu berechnet.

Mit eigenen Zahlen nachrechnen →
Werbung

Häufige Fragen

Warum Information in Bit messen?
Weil ein Bit die Antwort auf eine Ja-Nein-Frage ist und sich jede Unsicherheit auflösen lässt, wenn man genug davon stellt. Zwei Bit identifizieren eine von vier gleich wahrscheinlichen Optionen, zehn Bit eine von 1024. Die Entropie ist schlicht die mittlere Zahl solcher Fragen, daher ihr gebrochener Charakter: 1,75 Bit heißt, dass eine lange Symbolfolge im Mittel mit je 1,75 Fragen festgelegt werden kann, auch wenn keine einzelne Frage zu drei Vierteln gestellt werden kann.
Kommen andere Sprachen auf dasselbe?
Nahe beieinander, sobald die Alphabetgröße berücksichtigt ist. Sprachen mit mehr Buchstaben starten von einem höheren Maximum und landen an ähnlicher Stelle, denn die Redundanz wird davon auferlegt, wie Menschen sprechen und hören, nicht vom Schriftsystem. Die Messungen laufen dort auseinander, wo Schriften Silben oder ganze Wörter kodieren: Ein Zeichen trägt dann weit mehr Information und die Entropie je Zeichen steigt entsprechend — Vergleiche zwischen Schriftsystemen müssen je Bedeutungseinheit erfolgen, nicht je Zeichen.

Artikel, die dich interessieren könnten

Alle Ratgeber →
ErklärungPasswort-Entropie: was ein Stärkeanzeiger nicht wissen kannEntropie misst den Prozess, der ein Passwort erzeugt hat, nicht die Zeichen darin. H = L x log2(R) gilt nur, wenn jedes Zeichen wirklich zufällig gewählt wurde — genau deshalb misst ein Anzeiger, der ein menschlich erdachtes Passwort nach Zeichenklassen bewertet, die falsche Sache.ErklärungEine vierstellige PIN hat 10 000 Werte, und Menschen nutzen etwa zwanzigZehn Möglichkeiten viermal hintereinander sind 10 000. Zwei Stellen mehr erreichen eine Million; Buchstaben zusätzlich zu Ziffern erreichen 1 679 616 mit denselben vier Feldern.ErklärungEine Umfrage unter tausend ist in einem Land mit sechzig Millionen genauso genau500 von 1000 ergeben 50 % mit einer Spanne von 3,10 Punkten. Verkleinert man die Stichprobe auf 100, wird die Spanne 9,80 — dreimal breiter bei einem Zehntel der Interviews.ErklärungWenn drei Personen unter vieren je drei Kontakte nennen, irrt sich jemandDie Liste 3, 3, 3, 1 kann kein reales Netz beschreiben. 3, 3, 2, 2 kann es, mit fünf Verbindungen. Zwei zweihundert Jahre alte Regeln fangen Erhebungsfehler ab, bevor jede Analyse beginnt.ErklärungDrei zu eins heißt eine Chance von vier, nicht dreiBruchquoten zählen die Verlustwege gegen die Gewinnwege. 3/1 sind 25 %, 1/3 sind 75 % und 5/2 sind 28,57 % — der Bruch ist nie die Wahrscheinlichkeit.ErklärungEine Wichtel-Auslosung scheitert in 63 % der Fälle, gleich wie groß die Gruppe istVon den 120 Arten, wie fünf Personen Namen ziehen können, geben 44 niemandem den eigenen — 36,7 %. Bei zehn Personen sind es 36,788 %, bei zwanzig 36,788 %. Der Anteil hört fast sofort auf, sich zu bewegen.

Ähnliche Tools

Quellen

Hast du einen Fehler in diesem Artikel entdeckt?