Zoekwoorddichtheid is een dode maatstaf, en dit kwam ervoor in de plaats
Gepubliceerd op 27-5-2025 · 14 min leestijd · Marketing- & SEO-tools
Camille Laurent — Financieel redacteur bij OneKitly
Belastingen · Persoonlijke financiën
Getoetst aan 5 bronnen
Zoekwoorddichtheid is het aantal voorkomens gedeeld door het totale aantal woorden, en in 2003 was ze een bruikbare benadering omdat het vroege ophalen van documenten werkelijk op ruwe termtellingen scoorde. Ze was een benadering van de termfrequentie in een bag-of-words-model, en elk model dat daarna kwam behandelt ruwe tellingen anders. TF-IDF weegt een term naar hoe zeldzaam hij in het corpus is, dus levert een woord dat op de helft van het web voorkomt vrijwel niets op, hoe vaak je het ook herhaalt. BM25 ging verder en liet de termfrequentie verzadigen: met de gangbare k1 = 1,2 en b = 0,75 scoort één voorkomen 1,000, scoren twee 1,375, scoren tien 1,964, en het plafond is 2,2 hoeveel je er ook bij legt. Het tweede voorkomen voegt 0,375 toe; het tiende voegt 0,023 toe — zestien keer minder. Ophalen met embeddings telt helemaal geen termen; het vergelijkt betekenissen in een vectorruimte, zodat een pagina kan ranken op een zinsnede die er niet in staat. Dichtheid overleeft nog voor één ding: als reukproef. Zit een zinsnede op 5% van je woorden, dan herhaalt er iets per ongeluk. Er is geen aanbevolen percentage, en wie er een noemt, haalt 2003 aan.
Dichtheid telde voorkomens omdat het ophalen van documenten eens voorkomens telde. TF-IDF, daarna BM25 met zijn verzadigingscurve, daarna embeddings namen haar plaats in. Hier is dezelfde pagina van 800 woorden op drie manieren gescoord, en waarom de drie het oneens zijn.
Waar dichtheid werkelijk een benadering van was
Zoekwoorddichtheid is één deling: het aantal keren dat een term voorkomt, gedeeld door het aantal woorden op de pagina. Zestien keer een woord in een artikel van 800 woorden is 2,00%. Dat is de hele maatstaf, en ze is nooit door zoekmachines bedacht — ze is bedacht door de mensen die ze probeerden te reverse-engineeren, als gok naar wat de machine aan het tellen was.
De gok was redelijk, want een tijd lang was hij juist. Het vroege ophalen van documenten behandelde een document als een zak woorden: de orde weggegooid, de structuur weggegooid, het document terugbracht tot een vector van termtellingen. Scoor een document tegen een zoekopdracht door op te tellen hoeveel termen uit de opdracht het bevat en hoe vaak, en herhaling wordt direct belonend. Dichtheid is de vuistregel van dat model, genormaliseerd op lengte zodat een lange en een korte pagina vergelijkbaar zijn. Ze was een benadering van één bepaald ding — de termfrequentie in een scorefunctie met een zak woorden — en ze hield op nuttig te zijn op het moment dat die scorefunctie veranderde.
Twee dingen hebben haar gedood. Het eerste was dat de benadering een doel werd, en een maatstaf die ook een doel is, houdt op te meten: pagina's volgestopt met herhalingen waren naar dichtheid uitstekend en naar elke menselijke maatstaf onleesbaar. Het tweede ging langzamer en is interessanter — de scorefuncties hielden op zo te tellen, eerst via de inverse documentfrequentie, daarna via verzadiging, en daarna door het tellen van termen helemaal op te geven. De rest van dit artikel is die drie stappen, uitgevoerd op één concrete pagina.
TF-IDF: zeldzaamheid is meer waard dan herhaling
De eerste correctie kwam uit een observatie van Karen Spärck Jones uit 1972: de specificiteit van een term is omgekeerd gerelateerd aan het aantal documenten dat hem bevat. Een term die in bijna elk document voorkomt, vertelt je bijna niets over welk document je moet teruggeven. Dat wordt de inverse documentfrequentie, idf = ln(N ÷ df), waarin N het aantal documenten in het corpus is en df het aantal dat de term bevat. Vermenigvuldig die met de termfrequentie en je hebt TF-IDF, en dat is nog steeds het denkmodel dat werkende redacteuren eigenlijk nodig hebben.
Zet er getallen bij. Neem een pagina van 800 woorden over espressomachines. Het woord machine komt 24 keer voor — een dichtheid van 3,00%, de hoogste op de pagina. Het woord espresso komt 16 keer voor, een dichtheid van 2,00%. Het woord ontkalken komt 4 keer voor, een dichtheid van 0,50%. Neem nu een corpus van 10.000.000 documenten waarin machine in 2.000.000 voorkomt, espresso in 200.000 en ontkalken in 50.000. De idf-waarden zijn ln(5) = 1,6094, ln(50) = 3,9120 en ln(200) = 5,2983. Met de ruwe termfrequentie geeft TF-IDF machine 24 × 1,6094 = 38,63, espresso 16 × 3,9120 = 62,59 en ontkalken 4 × 5,2983 = 21,19.
De rangorde is al één keer gekanteld. Dichtheid zegt dat machine het sterkste signaal op de pagina is. TF-IDF zegt dat espresso dat is, met 62 tegen 39, ook al komt het acht keer minder voor. En gebruik je de log-gedempte variant van de termfrequentie die het klassieke TF-IDF meestal toepast, 1 + ln(f), dan worden de scores 6,72 voor machine, 14,76 voor espresso en 12,64 voor ontkalken — een term op een dichtheid van 0,50% verslaat nu bijna een term op 2,00%, en verslaat ruimschoots die op 3,00%. Dezelfde pagina, dezelfde woorden, drie rangordes, geen herhaling toegevoegd.
BM25 en de verzadigingscurve, en dat is het interessante deel
BM25 komt uit het Okapi-werk aan City University London en de TREC-evaluaties van de jaren negentig, en het is nog steeds de standaard rankingfunctie in Lucene, Elasticsearch en de meeste zoektools die vandaag draaien. In het onderdeel voor de termfrequentie zit het echte idee: in plaats van f rechtstreeks te gebruiken, gebruikt het f × (k1 + 1) ÷ (f + k1 × (1 − b + b × dl ÷ avgdl)), waarin dl de lengte van het document is, avgdl de gemiddelde lengte in het corpus, en k1 en b afstemconstanten zijn die bij afspraak op 1,2 en 0,75 staan. Lees het als een breuk en het gedrag rolt eruit: als f groeit, groeien teller en noemer beide, en de verhouding nadert k1 + 1.
Op een pagina van precies gemiddelde lengte valt de lengteterm samen op 1 en is het gewicht simpelweg f × 2,2 ÷ (f + 1,2). Reken het uit: één voorkomen scoort 1,0000, twee scoren 1,3750, drie scoren 1,5714, vijf scoren 1,7742, tien scoren 1,9643, twintig scoren 2,0755, vijftig scoren 2,1484. Het plafond is 2,2 en niets haalt het. Als deel van dat plafond haalt één enkel voorkomen al 45,5% van alles wat de term ooit waard kan zijn; twee halen 62,5%, vijf halen 80,6%, tien halen 89,3%.
Het marginale beeld is het beeld dat de discussie zou moeten beëindigen. Van één voorkomen naar twee gaan voegt 0,3750 toe. Van negen naar tien gaan voegt 0,0231 toe. Het tiende voorkomen is ongeveer een zestiende van het tweede waard, en het vijftigste is 0,0010 waard — 365 keer minder dan het tweede. Dat is wat verzadiging betekent, en het is een bewuste ontwerpkeuze en geen ongeluk: Robertson en Zaragoza beschrijven die vorm als het punt van de functie — het eerste voorkomen stelt vast dat het document überhaupt over de term gaat, en verdere voorkomens kunnen alleen bevestigen wat al is vastgesteld. Een woord een tiende keer schrijven om erop te ranken is een grootheid optimaliseren waar de ophaalfunctie al niet meer naar luistert.
De parameter b regelt de lengte, en hij doet dat veel zachter dan dichtheid. Neem diezelfde 16 voorkomens van espresso en zet ze in een pagina van 1.600 woorden in plaats van 800, in een corpus waarvan het gemiddelde document 800 woorden heeft. De dichtheid halveert, van 2,00% naar 1,00%. Het BM25-gewicht zakt van 2,0465 naar 1,9448 — een daling van 5,0%. Om bij de dubbele lengte terug op de score van 800 woorden te komen, zou je 28 voorkomens nodig hebben en niet 32. Dichtheid zegt dat je met de helft bent gestraft; BM25 zegt met een twintigste. Ze meten niet hetzelfde en hebben dat nooit gedaan.
Daarna hielden embeddings op termen te tellen
TF-IDF en BM25 zijn beide lexicaal: ze hebben de term uit de zoekopdracht in een of andere vorm in het document nodig om het document überhaupt te laten scoren. Ophalen op basis van embeddings breekt die aanname volledig. Een model beeldt de zoekopdracht en het document af in dezelfde hoogdimensionale vectorruimte, en relevantie wordt de meetkundige nabijheid van twee vectoren — meestal de cosinusgelijkenis — in plaats van enige overlap van tekenreeksen. Tellingen van voorkomens spelen geen rol in de berekening. Er zit geen f in de formule.
Het praktische gevolg is het gevolg dat zou moeten veranderen hoe je schrijft. Een pagina over het ontkalken van een koffiemachine kan worden opgehaald voor een zoekopdracht over kalkaanslag in een waterkoker, of over schoonmaakazijn in een espressoapparaat, zonder een van die woorden te bevatten, want de vectoren landen dicht bij elkaar. Omgekeerd zit een pagina die één exacte zinsnede veertig keer herhaalt maar verder niets over het onderwerp zegt, in een gebied van de ruimte waar geen echte vraag naar wijst. Moderne systemen laten in het algemeen beide families draaien en voegen de resultaten samen, dus lexicaal zoeken is niet verdwenen — maar de lexicale helft is BM25, die verzadigt, en de semantische helft telt helemaal niet.
Waar dichtheid nog goed voor is: precies één blik
Hier is de eerlijke verdediging van de maatstaf. Dichtheid is een diagnose en geen knop. Laat haar één keer op een afgeronde versie lopen en lees haar zoals je een spellingcontrole leest: niet om een getal te halen, maar om verrast te worden. Een zinsnede die op 5% van een pagina van 800 woorden zit, is veertig voorkomens, en niemand schrijft veertig bewuste herhalingen van wat dan ook — dus is het een artefact van een template, een blok standaardtekst dat in de bodytekst is meegeteld, een productnaam die door een generator wordt herhaald, of een redacteur die de draad kwijt is. Alle vier zijn echte gebreken, en dichtheid vindt ze in één keer.
Waar ze niet goed voor is, is een doel, en hier hoor je elke tool of elke adviseur die er een aanbiedt met argusogen te bekijken. Er is geen gepubliceerd aanbevolen percentage, niet van Google en niet van iemand met toegang tot een rankingfunctie, en de reden is structureel en niet geheimzinnig: BM25 verzadigt, dus is er geen percentage dat hem maximaliseert; embeddings negeren tellingen volledig, dus is er geen percentage waarop ze reageren; en het optimale aantal voorkomens van een term hangt af van corpusstatistieken die je niet hebt. Een tool die je een bandbreedte laat nastreven, rapporteert een afspraak en geen bevinding. Het eigen spambeleid van Google pakt hetzelfde gedrag van de andere kant aan — zoekwoorden volstoppen, gedefinieerd als een pagina vullen met herhaalde woorden om de ranking te manipuleren, is een overtreding, en het wordt beschreven in termen van de leeservaring en niet van een drempel.
Het alternatief voor een doel in dichtheid is dus geen ander getal. Het is een andere vraag: dekt deze pagina de verschillende deelonderwerpen die iemand met deze vraag beantwoord zou willen zien, in taal die hij zou herkennen. Dat is wat een model met termgewichten belont zonder dat iemand ervoor optimaliseert, want een pagina die een onderwerp werkelijk dekt, bevat van nature het zeldzame en specifieke vocabulaire ervan — het ontkalken, de filterhouder, de maalgraad — en zeldzaam specifiek vocabulaire is precies wat idf moet belonen. Woordfrequentietellingen en leesbaarheidsscores zijn nuttiger gezellen bij een concept dan een dichtheidspercentage, want beide beschrijven de tekst in plaats van te doen alsof ze de machine beschrijven.
| Term | Voorkomens | Dichtheid | IDF | TF-IDF (ruwe tf) | TF-IDF (log-tf) | BM25 |
|---|---|---|---|---|---|---|
| machine | 24 | 3,00% | 1,6094 | 38,63 | 6,72 | 3,37 |
| espresso | 16 | 2,00% | 3,9120 | 62,59 | 14,76 | 8,01 |
| ontkalken | 4 | 0,50% | 5,2983 | 21,19 | 12,64 | 8,97 |
Veelgestelde vragen
- Wat is de ideale zoekwoorddichtheid?
- Die bestaat niet, en het ontbreken ervan is wiskundig en niet geheimzinnig. BM25 verzadigt: met k1 = 1,2 haalt één voorkomen 45,5% van alles wat de term waard kan zijn en halen tien 89,3%, naderend naar een plafond dat niets haalt — dus is er geen aantal dat de score maximaliseert. Ophalen met embeddings negeert tellingen volledig. En het aantal voorkomens dat het meest zou helpen, hangt af van corpusstatistieken die je niet kunt zien. Elke tool die een bandbreedte noemt, haalt een afspraak aan die ouder is dan elk ophaalmodel dat in gebruik is.
- Als dichtheid dood is, waarom rekent jullie tool haar dan nog uit?
- Omdat een dood doel nog een levende diagnose kan zijn. Niemand hoort naar een dichtheidscijfer toe te schrijven, maar er een lezen op een afgeronde versie betrapt ongelukken die geen andere controle betrapt: standaardtekst die in de bodytekst is meegeteld, een productnaam die door een generator wordt herhaald, een templatevariabele die veertig keer is uitgeklapt. Dat zijn echte gebreken, en dichtheid brengt ze in één keer boven. Gebruik haar zoals je een spellingcontrole gebruikt — om iets te horen wat je niet bedoelde, niet om een score te halen.
- Wat zijn k1 en b in BM25, en moet ik me daar iets van aantrekken?
- k1 bepaalt hoe snel de termfrequentie verzadigt en zet het plafond op k1 + 1; b bepaalt hoe sterk de documentlengte wordt genormaliseerd, van 0 voor geen normalisatie tot 1 voor volledige. De gebruikelijke standaardwaarden zijn 1,2 en 0,75, en dat is wat Lucene en Elasticsearch meeleveren. Als schrijver stem je ze niet af en kun je niet weten wat een bepaalde machine gebruikt. Wat je eruit hoort mee te nemen is de vorm die ze voortbrengen en niet de waarden: herhaling heeft steil afnemende opbrengsten, en lengte wordt zacht gestraft in plaats van proportioneel.
- Doet het nog iets om mijn zoekwoord in de titel en de koppen te gebruiken?
- Ja, maar niet om de reden die dichtheidsmensen meestal geven. Ophalen met gewichten per veld behandelt een match in een titel anders dan een match in bodytekst, en BM25F — de uitbreiding van BM25 met velden — formaliseert precies dat. De reden is niet dat de term nog eens voorkomt; het is dat waar hij voorkomt informatie draagt over waar het document over gaat. De praktische regel is onveranderd goed redigeren: zeg in de titel waar de pagina over gaat, één keer, in de woorden die een lezer zou gebruiken. Dat is ook toevallig wat een titel als link en als fragment laat werken.
- Kan een pagina ranken op een zinsnede die er niet in staat?
- Ja, en dat is de scherpste illustratie van waarom dichtheid geen doel heeft. Ophalen met embeddings beeldt zoekopdracht en document af in dezelfde vectorruimte en vergelijkt ze meetkundig, zonder de eis dat er een tekenreeks overeenkomt. Een pagina over kalkaanslag uit een espressomachine halen kan worden opgehaald voor een zoekopdracht over een koffiezetapparaat ontkalken met azijn, want de vectoren landen dicht bij elkaar. Puur lexicale systemen konden dit nooit, en daarom presteert schrijven voor de dekking van een onderwerp nu beter dan schrijven voor het aantal voorkomens van een tekenreeks.
- Is zoekwoorden volstoppen nog steeds een straf, of alleen nutteloos?
- Beide, en het nutteloze deel komt eerst. De verzadiging van BM25 betekent dat het veertigste voorkomen in wezen niets boven het tiende bijdraagt, dus levert de praktijk geen score op, nog voordat er enig beleid bij komt. Daar bovenop noemt het spambeleid van Google zoekwoorden volstoppen — een pagina vullen met herhaalde woorden om de ranking te manipuleren — een overtreding, beschreven in termen van wat het met een lezer doet en niet als een numerieke drempel. De eerlijke samenvatting is dus dat volstoppen een manier is om een pagina slechter te maken voor mensen, in ruil voor een scorewinst die de ophaalfunctie decennia geleden heeft stopgezet.
Artikelen die je misschien interesseren
Alle gidsen →Vergelijkbare tools
Bronnen
- Now Publishers — Foundations and Trends in Information Retrieval — Robertson & Zaragoza, The Probabilistic Relevance Framework: BM25 and Beyond (2009)
- NIST — Robertson et al., Okapi at TREC-3 (Proceedings of the Third Text REtrieval Conference, 1994)
- Cambridge University Press / Stanford NLP — Manning, Raghavan & Schütze, Introduction to Information Retrieval — term weighting and the vector space model
- Journal of Documentation — Spärck Jones, A Statistical Interpretation of Term Specificity and Its Application in Retrieval (1972)
- Google Search Central — Spam policies for Google web search — keyword stuffing
Een fout in dit artikel gezien?