Wortfrequenz und das Zipfsche Gesetz: Wir haben sechs Bücher in sechs Sprachen gezählt und die Steigung angepasst

Die Behauptung und wie wir sie geprüft haben

Die Behauptung ist leicht formuliert: Sortiert man alle verschiedenen Wörter eines langen Textes nach Häufigkeit, kommt das Wort an Position n etwa 1/n so oft vor wie das Wort an Position 1. Das zweithäufigste Wort kommt etwa halb so oft vor wie das häufigste, das zehnte etwa ein Zehntel so oft, das hundertste etwa ein Hundertstel. Meist wird das behauptet; wir haben stattdessen gezählt. Sechs Romane stammen vom Projekt Gutenberg, einer je Sprache dieser Website, Lizenzkopf und -fuß entfernt. Jeder Text lief durch denselben Tokenisierer — Kleinschreibung, dann Folgen von Unicode-Buchstaben und -Marken plus Apostroph —, damit keine Sprache freundlicher behandelt wurde als eine andere.

Tokenisieren ist bereits eine Entscheidung, kein neutraler Akt. Ein Schnitt an Unicode-Buchstaben führt „Don't“ und „dont“ nur zusammen, wenn man den Apostroph ausschließt, behandelt „ko-operieren“ als zwei Wörter und zählt flektierte Formen getrennt: Deutsch und Italienisch, die ihre Grammatik über viele Wortformen verteilen, kommen bei gleicher Textmenge auf mehr verschiedene Wörter. Buddenbrooks hat 25 071 verschiedene Wortformen bei 230 086 laufenden Wörtern; Quincas Borba hat 10 329 bei 78 361. Das ist ebenso eine Eigenschaft unseres Tokenisierers wie der Sprachen, und der Vorbehalt gilt für jedes Häufigkeitswerkzeug, auch für unseres. Entscheidend ist hier, dass die Wahl für alle sechs dieselbe war.

Rang × Häufigkeit bleibt fast konstant

Wenn die Häufigkeit wirklich wie 1/Rang verläuft, muss Rang mal Häufigkeit überall dieselbe Zahl ergeben. In Buddenbrooks tut sie das fast. Rang 20 ist „daß“ mit 1 467 Vorkommen: 20 × 1 467 = 29 340. Rang 50 ist „dann“ mit 586: 29 300. Rang 100 ist „konsulin“ mit 284: 28 400. Rang 500 ist „vaters“ mit 50: 25 000. Rang 1 000 ist „bürger“ mit 22: 22 000. Rang 5 000 ist „jugendlichen“ mit 4: 20 000. Über Ränge, die sich um den Faktor 250 unterscheiden, schwankt das Produkt um etwa ein Drittel — so sieht „annähernd konstant“ in echten Daten aus, und für eine Ein-Parameter-Behauptung über einen Roman, den niemand zum Zählen geschrieben hat, ist das viel.

Am saubersten sieht man es auf log-log-Achsen. Nimmt man den Zehnerlogarithmus von Rang und Häufigkeit, wird aus f = C / Rang^s eine Gerade mit Steigung -s, und eine Kleinste-Quadrate-Anpassung liefert s zurück. Über die Ränge 10 bis 1 000 in Buddenbrooks ergibt die Anpassung eine Steigung von -1,079 und ein R² von 0,999 über 991 Punkte — eine sehr gute Gerade. Die anderen fünf Bücher liefern -1,083, -1,068, -1,054, -1,021 und -1,031, alle mit R² zwischen 0,996 und 0,999. Das Zipfsche Gesetz in seiner nackten Form sagt genau -1 voraus; jeder unserer sechs Texte liegt etwas steiler, zwischen 2 % und 8 % darunter. Dieser systematische Überschuss ist gut dokumentiert und ein Grund dafür, dass die verallgemeinerte Form den Exponenten als freien Parameter schreibt, statt ihn auf eins festzulegen.

Dieselbe Form in sechs Sprachen und über zwei Jahrhunderte

Die sechs Bücher reichen von 1605 bis 1901 und decken sechs Sprachen mit sehr verschiedenen Grammatiken ab, und ihre Steigungen liegen in einem Band von 0,06 Breite. Das ist der interessante Teil: Die Form kommt weder aus dem Englischen noch aus dem Roman noch aus dem 19. Jahrhundert. Um zu prüfen, ob sie moderne Sachprosa übersteht, haben wir dieselbe Zählung auf die englischen Artikel dieser Website angewandt — 533 Stück, 513 756 laufende Wörter, 2026 geschrieben, über Mehrwertsteuersätze, Einheitenumrechnungen und Dateiformate. Die Steigung über die Ränge 10 bis 1 000 beträgt -0,915 bei R² 0,997. Flacher als bei den Romanen, aber dieselbe Gerade auf denselben Achsen, 175 Jahre und ein Genre später.

Die Spitzenlisten unterscheiden sich auf die naheliegende Weise und stimmen im Tiefen überein. Englisch liefert the, of, and, a, to; Französisch de, la, et, il, le; Spanisch que, de, y, la, a; Portugiesisch a, que, o, de, e; Deutsch und, die, der, er, in; Italienisch e, che, di, a, il. Kein einziges Substantiv. Alles Artikel, Präpositionen, Konjunktionen oder Pronomen — grammatischer Klebstoff, kein Inhalt. Auf dieser Beobachtung ruht der Rest des Artikels.

Wo das Gesetz versagt: beide Ränder und jeder kurze Text

Passt man nur die zehn häufigsten Wörter von Buddenbrooks an, kommt die Steigung mit -0,545 statt -1,079 heraus; der Kopf der Verteilung ist flacher, als das Gesetz vorhersagt. Bei den anderen ebenso: -0,793 im Englischen, -0,541 im Französischen, -0,693 im Spanischen, -0,595 im Portugiesischen, -0,485 im Italienischen. Das häufigste Wort dominiert nie so stark, wie eine strenge 1/n-Regel verlangen würde, und genau deshalb addiert die Zipf–Mandelbrot-Form eine Konstante zum Rang, bevor sie ihn potenziert. Am anderen Ende bricht die Anpassung anders ein: über die Ränge 1 000 bis zum Ende fällt R² von 0,999 auf 0,943 im Deutschen und auf 0,895 im Portugiesischen, denn der Schwanz ist eine Treppe aus Wörtern, die vier-, drei-, zwei- und schließlich einmal vorkommen, und eine Gerade durch eine Treppe ist eine schlechte Gerade.

Das nützlichere Versagen ist die Länge. Nimmt man die ersten 200 Wörter von Moby-Dick und zählt sie: 100 verschiedene Wörter, davon 86 genau einmal, und das häufigste Token ist „chapter“ mit 56 Vorkommen, weil die Passage vor allem ein Inhaltsverzeichnis ist. Die Anpassung ergibt eine Steigung von -0,614 bei R² 0,685 — kein Gesetz zu sehen. Bei 1 000 Wörtern sind es -0,751 und R² 0,920; bei 5 000 Wörtern -0,897 und 0,969; bei 20 000 Wörtern -0,991 und 0,991. Erkennbar wird die Verteilung erst im Bereich einiger Zehntausend Wörter. Ein Blogbeitrag, eine Produktbeschreibung oder eine E-Mail liegen weit darunter. Eine Häufigkeitszählung über 300 Wörter sagt, was dieser Text zufällig wiederholt; über die Sprache sagt sie nichts.

Warum es Stoppwörter gibt und warum Kompression funktioniert

Wenn hundert Wörter die Hälfte des Textes sind, entfernen hundert Einträge in einer Liste die Hälfte der Token aus einem Index. Mehr war eine Stoppwortliste nie: eine Sparmaßnahme, die das Zipfsche Gesetz gewaltig macht. In Buddenbrooks machen die zehn häufigsten Wörter 18,4 % des laufenden Textes aus und die hundert häufigsten 46,6 %; 132 verschiedene Wortformen decken das halbe Buch. Die anderen Sprachen stimmen in der Form überein und unterscheiden sich in der Zahl: 96 Formen für die Hälfte des englischen Romans, 90 für den französischen, 59 für den spanischen, 97 für den portugiesischen, 141 für den italienischen. Genau deshalb ist der Stoppwort-Ansatz in der Suche heute aus der Mode: Diese Wörter tragen ein wenig Information, und „Sein oder Nichtsein“ besteht ausschließlich aus ihnen.

Der Bezug zur Kompression ist messbar. Moby-Dick verwendet 17 422 verschiedene Wörter; wären alle gleich wahrscheinlich, kostete es log2(17 422) = 14,09 Bit, eines zu benennen. Die tatsächliche Unigramm-Verteilung hat eine Entropie von 10,00 Bit pro Wort, 29,1 % weniger, und diese Ersparnis ist die Schieflage — dass „the“ jedes fünfzehnte Wort auftaucht, während „gunwale“ im ganzen Roman einundzwanzigmal vorkommt. Allzweckkompressoren nutzen dieselbe Schieflage auf Byte-Ebene: gzip -9 bringt das 1 206 KiB große Buch auf 486 KiB. Mischt man alle 216 603 Wörter in zufällige Reihenfolge und komprimiert erneut, ergeben sich 459 KiB aus 1 152 KiB, im Wesentlichen dasselbe Verhältnis — ein Hinweis darauf, wie viel von gzips Gewinn hier aus der Häufigkeitsverteilung und nicht aus der Wortreihenfolge stammt.

Rohe Häufigkeit ist ein schlechtes Relevanzsignal — ein durchgerechnetes Beispiel

Teilt man Moby-Dick in seine Kapitel, behandelt jedes als Dokument und fragt den Häufigkeitszähler, worum es in einem Kapitel geht: Wir nahmen die 134 Kapitel, die lang genug zum Zählen sind, und wählten das mit dem Titel „Queen Mab“, 863 Wörter lang. Nach roher Häufigkeit sortiert lauten die Spitzenbegriffe a (39), i (36), the (26), he (22), of (20) — eine perfekte Beschreibung des Englischen und eine nutzlose Beschreibung des Kapitels. Gewichtet man dieselben Zählungen mit der inversen Dokumenthäufigkeit, werden daraus kicked (8), kick (7), wise (9), pyramid (5), says (10), flask (10) — eine faire Zusammenfassung eines Kapitels, in dem Stubb getreten wurde und mit Flask darüber spricht.

Die Arithmetik hinter dem Wechsel ist ein Logarithmus. „The“ kommt in 134 von 134 Kapiteln vor, seine inverse Dokumenthäufigkeit ist also ln(134/134) = 0,000, und sein Gewicht fällt auf null, egal wie oft es auftritt. „Cetology“ kommt in 3 Kapiteln vor, sein idf ist ln(134/3) = 3,799, und drei Vorkommen schlagen sechsundzwanzig von „the“. Das ist die Logik von tf-idf und von BM25, der Ranking-Funktion, von der die meisten Suchmaschinen ausgehen, und der Grund, warum die Keyword-Dichte, die Marketing-Werkzeuge melden, in einem modernen Retrieval-System keine Entsprechung hat. Die Dichte misst die falsche Achse: Es zählt, wie ungewöhnlich ein Begriff in der Sammlung ist, nicht wie oft er sich auf der Seite wiederholt.

Wofür eine Häufigkeitszählung wirklich taugt

Sobald man aufhört, den Kopf der Liste zu lesen, wird die Zählung wirklich nützlich. Vergleicht man ein Dokument mit einer Referenz-Häufigkeitsliste, sind die darin ungewöhnlich häufigen Wörter sein Thema — das ist die tf-idf-Rechnung von oben mit einem Korpus, das man schon hat. Such nach unbeabsichtigter Wiederholung: einem Autorentick, einem Begriff, der elfmal auf einer 400-Wörter-Produktseite steht, einem Namen in zwei Schreibungen. Zähl die Hapax, die genau einmal vorkommenden Wörter — 54,2 % der verschiedenen Wortformen in Buddenbrooks und 55,9 % in Quincas Borba; ein plötzlicher Rückgang dieses Anteils zwischen Fassungen ist ein brauchbarer Hinweis auf verflachenden Wortschatz. Und prüf die Abdeckung: Wenn 132 Wortformen die Hälfte deines Textes tragen, steckt die Bedeutung in der anderen Hälfte.

Eine Gewohnheit lohnt sich aus alldem: Nenn den Nenner. „Kommt 12-mal vor“ heißt nichts ohne „in 400 Wörtern“, und 12 von 400 sind 3 % — für ein Inhaltswort sehr viel, für „der“ sehr wenig. Unser Häufigkeitszähler zeigt deshalb Anzahl, Anteil und Rang zusammen, und das benachbarte Lesbarkeitswerkzeug arbeitet auf demselben Tokenstrom.

Häufige Fragen

Wie lang muss ein Text sein, damit das Zipfsche Gesetz sichtbar wird?

Zehntausende Wörter. Kürzt man Moby-Dick und passt neu an, ergibt sich R² 0,685 bei 200 Wörtern, 0,920 bei 1 000, 0,969 bei 5 000 und 0,991 bei 20 000, wobei die Steigung mit wachsendem Text von -0,614 Richtung -1,0 klettert. Unter einigen Tausend Wörtern kommen die meisten verschiedenen Wörter genau einmal vor — 86 der 100 verschiedenen Wörter in einer 200-Wörter-Stichprobe — und eine Rangliste, die überwiegend aus Gleichständen besteht, hat keine messbare Steigung.

Sollte ich vor dem Zählen Stoppwörter entfernen?

Es hängt von der Frage ab. Um herauszufinden, worum es in einem Dokument geht: ja — oder besser, mit inverser Dokumenthäufigkeit gewichten, was sie automatisch entfernt: „the“ steht in allen 134 Kapiteln von Moby-Dick, sein idf ist also genau null. Um zu prüfen, ob ein Text ungewöhnlich ist: nein. Ein auffällig niedriger Anteil von Funktionswörtern ist selbst ein Signal, und Stoppwortlisten löschen echten Inhalt, denn „Sein oder Nichtsein“ besteht ausschließlich aus ihnen.

Warum ist die angepasste Steigung steiler als -1?

Weil das nackte 1/n-Gesetz eine Idealisierung ist. Jeder unserer sechs Romane liegt über die Ränge 10 bis 1 000 zwischen -1,021 und -1,083; der Überschuss ist systematisch, kein Rauschen, und deshalb behandelt die verallgemeinerte Zipf–Mandelbrot-Form den Exponenten als freien Parameter und addiert eine Konstante zum Rang, um den flachen Kopf zurechtzubiegen. Auch der gewählte Bereich ändert die Antwort: Passt man die vollständige Rangliste statt der Ränge 10 bis 1 000 an, wandert die englische Steigung von -1,083 auf -1,154, weil der verrauschte Schwanz die Mehrheit der Punkte stellt.

Ändert der Tokenisierer das Ergebnis?

Er ändert die Zahlen, nicht die Form. Ob man den Apostroph behält, Bindestrichwörter trennt oder flektierte Formen lemmatisiert, verschiebt die Zahl der verschiedenen Wörter stark — 25 071 beim deutschen Roman gegen 10 329 beim portugiesischen, bei sehr unterschiedlichen Textlängen —, während die log-log-Steigung im selben schmalen Band bleibt. Vergleiche Häufigkeitslisten nur, wenn sie vom selben Tokenisierer stammen, und nenn ihn.

Ist die Keyword-Dichte eine nützliche Zahl?

Nur als Selbstkontrolle für Wiederholungen. Dichte ist eine Zahl innerhalb eines Dokuments, Relevanz eine zwischen Dokumenten: In unserem Kapiteltest machte die Gewichtung mit inverser Dokumenthäufigkeit aus den Top fünf a, i, the, he, of die Begriffe kicked, kick, wise, pyramid, flask. Ein Wort, das in jedem Dokument einer Sammlung vorkommt, hat ein idf von genau null, wie dicht es auf deiner Seite auch steht. Nutze die Zählung, um versehentliche Wiederholung zu finden; mach sie nicht zum Ziel.