Keyword-Dichte ist eine tote Kennzahl — und das hat sie ersetzt

Wofür die Dichte tatsächlich stand

Keyword-Dichte ist eine Division: die Zahl der Vorkommen eines Terms geteilt durch die Wortzahl der Seite. Sechzehn Vorkommen eines Wortes in einem 800-Wörter-Artikel sind 2,00 %. Das ist die ganze Kennzahl, und erfunden haben sie nie die Suchmaschinen — erfunden haben sie jene, die die Maschinen zurückzubauen versuchten, als Vermutung darüber, was die Maschine zählt.

Die Vermutung war vernünftig, denn eine Zeit lang stimmte sie. Frühes Retrieval behandelte ein Dokument als Bag of Words: Reihenfolge verworfen, Struktur verworfen, das Dokument auf einen Vektor von Termzählungen reduziert. Bewerte ein Dokument gegen eine Anfrage, indem du zusammenzählst, wie viele Anfrageterme es enthält und wie oft — und Wiederholung wird direkt belohnt. Die Dichte ist die Faustregel dieses Modells, längennormiert, damit eine lange und eine kurze Seite vergleichbar werden. Sie stand für eine ganz bestimmte Sache — die Termfrequenz in einer Bag-of-Words-Bewertungsfunktion — und war in dem Moment nutzlos, in dem sich die Bewertungsfunktion änderte.

Zwei Dinge haben sie erledigt. Erstens wurde der Stellvertreter zum Ziel, und eine Kennzahl, die zugleich Ziel ist, hört auf zu messen: Mit Wiederholungen vollgestopfte Seiten waren nach der Dichte hervorragend und nach jedem menschlichen Maßstab unlesbar. Zweitens, langsamer und interessanter: Die Bewertungsfunktionen hörten auf, so zu zählen — zuerst über die inverse Dokumentfrequenz, dann über die Sättigung, dann dadurch, dass sie das Zählen von Termen ganz aufgaben. Der Rest dieses Artikels sind diese drei Schritte, an einer konkreten Seite durchgerechnet.

TF-IDF: Seltenheit ist mehr wert als Wiederholung

Die erste Korrektur stammt aus einer Beobachtung von Karen Spärck Jones aus dem Jahr 1972: Die Spezifität eines Terms verhält sich umgekehrt zur Zahl der Dokumente, die ihn enthalten. Ein Term, der in fast jedem Dokument vorkommt, sagt fast nichts darüber, welches Dokument zurückzugeben ist. Daraus wird die inverse Dokumentfrequenz, idf = ln(N ÷ df), mit N der Zahl der Dokumente im Korpus und df der Zahl derjenigen, die den Term enthalten. Multipliziere sie mit der Termfrequenz, und du hast TF-IDF — bis heute das Denkmodell, das die meisten Redakteurinnen wirklich brauchen.

Setzen wir Zahlen ein. Nimm eine 800-Wörter-Seite über Espressomaschinen. Das Wort machine kommt 24-mal vor — Dichte 3,00 %, die höchste der Seite. Das Wort espresso kommt 16-mal vor, Dichte 2,00 %. Das Wort Entkalkung kommt 4-mal vor, Dichte 0,50 %. Nimm nun ein Korpus von 10 000 000 Dokumenten an, in dem machine in 2 000 000 vorkommt, espresso in 200 000 und Entkalkung in 50 000. Die idf-Werte sind ln(5) = 1,6094, ln(50) = 3,9120 und ln(200) = 5,2983. Mit roher Termfrequenz ergibt TF-IDF für machine 24 × 1,6094 = 38,63, für espresso 16 × 3,9120 = 62,59 und für Entkalkung 4 × 5,2983 = 21,19.

Die Reihenfolge ist bereits einmal gekippt. Die Dichte sagt, machine sei das stärkste Signal der Seite. TF-IDF sagt, es sei espresso, mit 62 zu 39, obwohl es achtmal seltener vorkommt. Und nutzt du die logarithmisch gedämpfte Variante der Termfrequenz, die klassisches TF-IDF meist anwendet, 1 + ln(f), lauten die Werte 6,72 für machine, 14,76 für espresso und 12,64 für Entkalkung — ein Term bei 0,50 % Dichte übertrifft nun beinahe einen bei 2,00 % und deutlich den bei 3,00 %. Gleiche Seite, gleiche Wörter, drei Reihenfolgen, keine Wiederholung ergänzt.

BM25 und die Sättigungskurve, der interessante Teil

BM25 entstand aus der Okapi-Arbeit an der City University London und den TREC-Evaluationen der 1990er und ist bis heute die Standard-Rankingfunktion in Lucene, Elasticsearch und einem Großteil der laufenden Suchinfrastruktur. In der Termfrequenz-Komponente steckt die eigentliche Idee: Statt f direkt zu verwenden, nutzt sie f × (k1 + 1) ÷ (f + k1 × (1 − b + b × dl ÷ avgdl)), wobei dl die Dokumentlänge ist, avgdl die durchschnittliche Länge im Korpus, und k1 und b Stellkonstanten sind, üblicherweise 1,2 und 0,75. Lies es als Bruch, und das Verhalten fällt heraus: Wächst f, wachsen Zähler und Nenner beide, und das Verhältnis konvergiert gegen k1 + 1.

Auf einer Seite von exakt durchschnittlicher Länge fällt der Längenterm auf 1 zusammen, und das Gewicht ist schlicht f × 2,2 ÷ (f + 1,2). Rechne nach: ein Vorkommen zählt 1,0000, zwei zählen 1,3750, drei zählen 1,5714, fünf zählen 1,7742, zehn zählen 1,9643, zwanzig zählen 2,0755, fünfzig zählen 2,1484. Die Decke liegt bei 2,2, und nichts erreicht sie. Als Anteil dieser Decke sammelt ein einziges Vorkommen bereits 45,5 % dessen, was der Term je wert sein kann; zwei sammeln 62,5 %, fünf 80,6 %, zehn 89,3 %.

Die marginale Sicht sollte die Debatte beenden. Von einem Vorkommen auf zwei bringt 0,3750. Von neun auf zehn bringt 0,0231. Das zehnte Vorkommen ist rund ein Sechzehntel des zweiten wert, das fünfzigste 0,0010 — 365-mal weniger als das zweite. Das bedeutet Sättigung, und sie ist eine bewusste Entwurfsentscheidung, kein Unfall: Robertson und Zaragoza beschreiben diese Form als den eigentlichen Zweck der Funktion — das erste Vorkommen stellt überhaupt erst fest, dass es im Dokument um den Term geht, weitere können nur bestätigen, was schon feststeht. Ein Wort ein zehntes Mal zu schreiben, um dafür zu ranken, optimiert eine Größe, der die Retrieval-Funktion längst nicht mehr zuhört.

Der Parameter b regelt die Länge, und zwar weit sanfter als die Dichte. Nimm dieselben 16 Vorkommen von espresso und setze sie statt in eine 800-Wörter-Seite in eine mit 1 600 Wörtern, in einem Korpus mit 800 Wörtern Durchschnittslänge. Die Dichte halbiert sich, von 2,00 % auf 1,00 %. Das BM25-Gewicht fällt von 2,0465 auf 1,9448 — ein Rückgang um 5,0 %. Um bei doppelter Länge den 800-Wörter-Wert wieder zu erreichen, bräuchtest du 28 Vorkommen, nicht 32. Die Dichte sagt, du seist um die Hälfte bestraft worden; BM25 sagt, um ein Zwanzigstel. Sie messen nicht dasselbe und haben es nie getan.

Dann hörten Embeddings ganz auf, Terme zu zählen

TF-IDF und BM25 sind beide lexikalisch: Der Anfrageterm muss in irgendeiner Form im Dokument stehen, damit es überhaupt punktet. Embedding-basiertes Retrieval bricht diese Annahme vollständig. Ein Modell bildet Anfrage und Dokument in denselben hochdimensionalen Vektorraum ab, und Relevanz wird zur geometrischen Nähe zweier Vektoren — meist Kosinusähnlichkeit — statt zu einer Überlappung von Zeichenketten. Vorkommenszählungen spielen in der Rechnung keine Rolle. Es gibt kein f in der Formel.

Die praktische Folge sollte umrahmen, wie du schreibst. Eine Seite über das Entkalken einer Kaffeemaschine kann zu einer Anfrage über Kalk im Wasserkocher oder über Essigessenz in einer Espressomaschine gefunden werden, ohne eines dieser Wörter zu enthalten, weil die Vektoren nah beieinanderliegen. Umgekehrt liegt eine Seite, die eine exakte Wendung vierzigmal wiederholt und sonst nichts zum Thema sagt, in einer Region des Raums, auf die keine echte Frage zeigt. Moderne Systeme lassen meist beide Familien laufen und verschmelzen die Ergebnisse, lexikalisches Matching ist also nicht verschwunden — aber die lexikalische Hälfte ist BM25, das sättigt, und die semantische Hälfte zählt überhaupt nicht.

Was die Dichte noch wert ist: genau einen Blick

Hier ist die ehrliche Verteidigung der Kennzahl. Die Dichte ist eine Diagnose, kein Regler. Lass sie einmal über einen fertigen Entwurf laufen und lies sie wie eine Rechtschreibprüfung: nicht um eine Zahl zu treffen, sondern um überrascht zu werden. Eine Wendung bei 5 % einer 800-Wörter-Seite sind vierzig Vorkommen, und niemand schreibt vierzig absichtliche Wiederholungen von irgendetwas — es ist also ein Template-Artefakt, ein in den Fließtext mitgezählter Standardblock, ein von einem Generator wiederholter Produktname oder eine Redakteurin, die den Faden verloren hat. Alle vier sind echte Mängel, und die Dichte findet sie in einem Durchgang.

Wofür sie nichts taugt, ist als Zielwert — und hier solltest du jedem Werkzeug und jeder Beraterin misstrauen, die einen anbietet. Es gibt keinen veröffentlichten empfohlenen Prozentsatz, weder von Google noch von jemandem mit Zugriff auf eine Rankingfunktion, und der Grund ist strukturell statt geheim: BM25 sättigt, also maximiert kein Prozentsatz es; Embeddings ignorieren Zählungen völlig, also gibt es keinen Prozentsatz, auf den sie reagieren; und die optimale Zahl der Vorkommen eines Terms hängt von Korpusstatistiken ab, die du nicht hast. Ein Werkzeug, das dir einen Zielkorridor nennt, berichtet eine Konvention, keinen Befund. Googles Spam-Richtlinien fassen dasselbe Verhalten von der anderen Seite — Keyword-Stuffing, definiert als das Füllen einer Seite mit wiederholten Wörtern zur Manipulation des Rankings, ist ein Verstoß und wird über das Leseerlebnis beschrieben, nicht über einen Schwellenwert.

Der Ersatz für ein Dichteziel ist also keine andere Zahl. Es ist eine andere Frage: Deckt diese Seite die einzelnen Unterthemen ab, die eine Person mit dieser Frage beantwortet bekommen müsste, in einer Sprache, die sie wiedererkennt? Genau das belohnt ein termgewichtetes Modell, ohne dass jemand darauf optimiert, denn eine Seite, die ein Thema wirklich abdeckt, enthält von selbst dessen seltenes und spezifisches Vokabular — die Entkalkung, den Siebträger, den Mahlgrad — und seltenes, spezifisches Vokabular ist genau das, was idf belohnen soll. Eine Wortfrequenzzählung und ein Lesbarkeitswert sind bessere Begleiter eines Entwurfs als ein Dichteprozentsatz, weil beide den Text beschreiben, statt vorzugeben, die Maschine zu beschreiben.

Häufige Fragen

Was ist die ideale Keyword-Dichte?

Es gibt keine, und dieses Fehlen ist mathematisch, nicht geheim. BM25 sättigt: Mit k1 = 1,2 sammelt ein Vorkommen 45,5 % dessen, was der Term wert sein kann, und zehn sammeln 89,3 %, konvergierend gegen eine Decke, die nichts erreicht — es gibt also keine Anzahl, die den Wert maximiert. Embedding-Retrieval ignoriert Zählungen völlig. Und die Zahl der Vorkommen, die am meisten hülfe, hängt von Korpusstatistiken ab, die du nicht siehst. Jedes Werkzeug, das eine Spanne nennt, zitiert eine Konvention, die älter ist als jedes eingesetzte Retrieval-Modell.

Wenn die Dichte tot ist, warum berechnet euer Werkzeug sie noch?

Weil ein totes Ziel eine lebendige Diagnose bleiben kann. Niemand sollte auf eine Dichtezahl hin schreiben, aber sie an einem fertigen Entwurf abzulesen fängt Unfälle, die keine andere Prüfung fängt: in den Fließtext gezählte Textbausteine, ein von einem Generator wiederholter Produktname, eine Template-Variable, die sich vierzigmal ausgerollt hat. Das sind echte Mängel, und die Dichte holt sie in einem Durchgang hoch. Nutze sie wie eine Rechtschreibprüfung — um auf Unbeabsichtigtes hingewiesen zu werden, nicht um einen Wert zu treffen.

Was sind k1 und b in BM25, und muss mich das kümmern?

k1 steuert, wie schnell die Termfrequenz sättigt, und setzt die Decke auf k1 + 1; b steuert, wie stark die Dokumentlänge normiert wird, von 0 für gar nicht bis 1 für vollständig. Die üblichen Voreinstellungen sind 1,2 und 0,75 — so liefern es Lucene und Elasticsearch aus. Als Autorin stellst du sie nicht ein und kannst nicht wissen, was eine bestimmte Maschine verwendet. Mitnehmen solltest du die Form, die sie erzeugen, nicht die Werte: Wiederholung hat stark abnehmenden Ertrag, und Länge wird sanft statt proportional bestraft.

Zählt es noch, mein Keyword in Titel und Zwischenüberschriften zu verwenden?

Ja, aber nicht aus dem Grund, den Dichte-Anhänger üblicherweise nennen. Feldgewichtetes Retrieval behandelt eine Übereinstimmung im Titel anders als eine im Fließtext, und BM25F — die feldbasierte Erweiterung von BM25 — formalisiert genau das. Der Grund ist nicht, dass der Term noch einmal auftaucht; es ist, dass der Ort seines Auftretens Information darüber trägt, worum es im Dokument geht. Die praktische Regel bleibt gute Redaktionsarbeit: Sag im Titel einmal, worum es auf der Seite geht, in den Worten, die Leser verwenden würden. Das ist zugleich das, was einen Titel als Link und als Snippet funktionieren lässt.

Kann eine Seite für eine Wendung ranken, die sie nie enthält?

Ja, und das ist die schärfste Veranschaulichung dafür, warum die Dichte kein Ziel hat. Embedding-Retrieval bildet Anfrage und Dokument in denselben Vektorraum ab und vergleicht sie geometrisch, ohne dass irgendeine Zeichenkette übereinstimmen müsste. Eine Seite über das Entfernen von Kalk aus einer Espressomaschine kann zu einer Anfrage über das Entkalken einer Kaffeemaschine mit Essig gefunden werden, weil die Vektoren nah beieinanderliegen. Rein lexikalische Systeme konnten das nie, und deshalb schlägt Schreiben für die Abdeckung eines Themas heute das Schreiben für Vorkommen einer Zeichenkette.

Wird Keyword-Stuffing noch sanktioniert oder ist es nur nutzlos?

Beides, und der nutzlose Teil kommt zuerst. Die BM25-Sättigung bedeutet, dass das vierzigste Vorkommen gegenüber dem zehnten praktisch nichts beiträgt — die Praxis kauft also gar keinen Wert, noch bevor irgendeine Richtlinie greift. Obendrein führen Googles Spam-Richtlinien Keyword-Stuffing — eine Seite mit wiederholten Wörtern zu füllen, um Rankings zu manipulieren — als Verstoß, beschrieben über die Wirkung auf die Leserin und nicht als Zahlenschwelle. Die ehrliche Zusammenfassung: Stuffing macht eine Seite für Menschen schlechter im Tausch gegen einen Bewertungsgewinn, den die Retrieval-Funktion seit Jahrzehnten nicht mehr auszahlt.