Englisch trägt etwa ein Bit je Buchstabe, der Rest ist Versicherung
Veröffentlicht am 13.11.2026 · 3 Min. Lesezeit · Entwickler-Tools
Daniel Okonkwo — Front-end-Entwickler und Tech-Redakteur bei OneKitly
Web-Performance · Dateiformate
Anhand von 2 Quellen geprüft
Die Shannon-Entropie misst in Bit, wie viel ein Symbol mitteilt, und ist am größten, wenn alle Ausgänge gleich wahrscheinlich sind. Vier gleich wahrscheinliche Symbole tragen genau 2 Bit je Zeichen; verschiebt man sie auf 50, 25, 12,5 und 12,5 Prozent, sinkt der Mittelwert auf 1,75 Bit — eine Redundanz von 12,5 %. Geschriebenes Englisch ist weit schiefer: Mit echten Buchstabenhäufigkeiten trägt jeder Buchstabe 4,18 Bit gegen ein Maximum von 4,70, und mit Kontext siedeln Shannons eigene Versuche den Wert nahe 1,1 an. Rund drei Viertel jedes englischen Textes sind also vorhersagbar — was Kompression ebenso ermöglicht wie Lesen in einem lauten Raum.
Sechsundzwanzig gleich wahrscheinliche Buchstaben trügen je 4,70 Bit. Echte Buchstabenhäufigkeiten ergeben 4,18, und Kontext senkt es auf etwa 1,1 — eine Redundanz von rund 77 %.
Redundanz ist ein Merkmal, kein Verschnitt
Eine Sprache ohne Redundanz wäre unlesbar, sobald ein Buchstabe verschmiert, denn jede mögliche Zeichenkette wäre ein gültiges Wort und kein Fehler ließe sich erkennen. Menschliche Sprachen liegen bei etwa drei Vierteln Redundanz — darum übersteht ein Satz eine schlechte Telefonleitung, einen fremden Akzent und eine Seite Handschrift. Dasselbe Prinzip wird in Maschinen bewusst eingebaut: Fehlerkorrekturcodes fügen absichtlich Redundanz hinzu, und ein QR-Code liest sich noch mit einem zerstörten Drittel seiner Fläche — aus genau dem Grund, aus dem ein verschmiertes Wort lesbar bleibt.
Was ein Kompressor tatsächlich entfernt
Die Entropie setzt eine harte Untergrenze: Kein verlustfreier Kompressor kann im Mittel unter die Entropie der Quelle kommen, und jeder von ihnen ist eine Maschine, sich dieser Grenze zu nähern. Text komprimiert gut, weil viel Redundanz zu entfernen ist; bereits komprimierte Dateien, verschlüsselte Dateien und zufälliges Rauschen komprimieren gar nicht, denn ihre Entropie liegt schon am Maximum. Das ist ein nützlicher Feldtest: Was sich weigert zu schrumpfen, ist entweder schon komprimiert oder nicht die Art Daten, für die man es hielt.
| Verteilung | Entropie | Redundanz |
|---|---|---|
| 25, 25, 25, 25 | 2,00 Bit | 0 % |
| 50, 25, 12,5, 12,5 | 1,75 Bit | 12,5 % |
| Englische Buchstaben | 4,18 von 4,70 Bit | 11,2 % |
Mit unserem eigenen Rechner durchgerechnet
Shannon-Entropie-Rechner
Eingaben
- Wahrscheinlichkeiten (Summe 1)
- 0.25, 0.25
Ergebnis
- Entropie (Bit)
- 1
- Maximale Entropie (Bit)
- 1
- Redundanz
- 0 %
Diese Zahlen stammen aus dem Rechner unten, sie sind nicht von Hand eingetragen — sie werden bei jeder Änderung des Tools neu berechnet.
Mit eigenen Zahlen nachrechnen →Häufige Fragen
- Warum Information in Bit messen?
- Weil ein Bit die Antwort auf eine Ja-Nein-Frage ist und sich jede Unsicherheit auflösen lässt, wenn man genug davon stellt. Zwei Bit identifizieren eine von vier gleich wahrscheinlichen Optionen, zehn Bit eine von 1024. Die Entropie ist schlicht die mittlere Zahl solcher Fragen, daher ihr gebrochener Charakter: 1,75 Bit heißt, dass eine lange Symbolfolge im Mittel mit je 1,75 Fragen festgelegt werden kann, auch wenn keine einzelne Frage zu drei Vierteln gestellt werden kann.
- Kommen andere Sprachen auf dasselbe?
- Nahe beieinander, sobald die Alphabetgröße berücksichtigt ist. Sprachen mit mehr Buchstaben starten von einem höheren Maximum und landen an ähnlicher Stelle, denn die Redundanz wird davon auferlegt, wie Menschen sprechen und hören, nicht vom Schriftsystem. Die Messungen laufen dort auseinander, wo Schriften Silben oder ganze Wörter kodieren: Ein Zeichen trägt dann weit mehr Information und die Entropie je Zeichen steigt entsprechend — Vergleiche zwischen Schriftsystemen müssen je Bedeutungseinheit erfolgen, nicht je Zeichen.
Artikel, die dich interessieren könnten
Alle Ratgeber →Ähnliche Tools
Quellen
Hast du einen Fehler in diesem Artikel entdeckt?