La densidad de palabras clave es una métrica muerta, y esto es lo que la sustituyó

De qué era realmente un indicador la densidad

La densidad de palabras clave es una división: el número de veces que aparece un término, entre el número de palabras de la página. Dieciséis apariciones de una palabra en un artículo de 800 palabras son un 2,00 %. Esa es toda la métrica, y nunca la inventaron los buscadores — la inventaron quienes intentaban aplicarles ingeniería inversa, como conjetura sobre lo que el motor estaba contando.

La conjetura era razonable, porque durante un tiempo fue correcta. La recuperación temprana trataba un documento como una bolsa de palabras: orden descartado, estructura descartada, documento reducido a un vector de recuentos de términos. Puntúa un documento frente a una consulta sumando cuántos términos de la consulta contiene y con qué frecuencia, y la repetición queda directamente recompensada. La densidad es la regla práctica de ese modelo, normalizada por longitud para que una página larga y una corta se puedan comparar. Era el indicador de una cosa concreta — la frecuencia de término en una función de puntuación de bolsa de palabras — y dejó de ser útil en cuanto cambió la función de puntuación.

Dos cosas la mataron. La primera: el indicador se convirtió en objetivo, y una métrica que además es objetivo deja de medir — las páginas rellenas de repeticiones eran excelentes según la densidad, e ilegibles según cualquier criterio humano. La segunda fue más lenta y más interesante: las funciones de puntuación dejaron de contar así, primero mediante la frecuencia inversa de documento, luego mediante la saturación, luego abandonando por completo el recuento de términos. El resto de este artículo son esos tres pasos, aplicados a una página concreta.

TF-IDF: la rareza vale más que la repetición

La primera corrección vino de una observación de Karen Spärck Jones en 1972: la especificidad de un término es inversamente proporcional a cuántos documentos lo contienen. Un término presente en casi todos los documentos no te dice casi nada sobre cuál devolver. Eso se convierte en la frecuencia inversa de documento, idf = ln(N ÷ df), con N el número de documentos del corpus y df el número de los que contienen el término. Multiplícala por la frecuencia de término y tienes TF-IDF, que sigue siendo el modelo mental que la mayoría de los editores necesita de verdad.

Pongámosle números. Toma una página de 800 palabras sobre máquinas de espresso. La palabra machine aparece 24 veces — densidad del 3,00 %, la más alta de la página. La palabra espresso aparece 16 veces, densidad del 2,00 %. La palabra descalcificación aparece 4 veces, densidad del 0,50 %. Supón ahora un corpus de 10 000 000 de documentos en el que machine aparece en 2 000 000, espresso en 200 000 y descalcificación en 50 000. Los idf valen ln(5) = 1,6094, ln(50) = 3,9120 y ln(200) = 5,2983. Con frecuencia de término bruta, TF-IDF da a machine 24 × 1,6094 = 38,63, a espresso 16 × 3,9120 = 62,59 y a descalcificación 4 × 5,2983 = 21,19.

El orden ya ha cambiado una vez. La densidad dice que machine es la señal más fuerte de la página. TF-IDF dice que lo es espresso, por 62 a 39, pese a aparecer ocho veces menos. Y si usas la variante logarítmica de la frecuencia de término que el TF-IDF clásico suele aplicar, 1 + ln(f), las puntuaciones pasan a 6,72 para machine, 14,76 para espresso y 12,64 para descalcificación — un término al 0,50 % de densidad casi supera a uno al 2,00 %, y supera con holgura al del 3,00 %. Misma página, mismas palabras, tres ordenaciones, ninguna repetición añadida.

BM25 y la curva de saturación, que es la parte interesante

BM25 salió del trabajo Okapi en City University London y de las evaluaciones TREC de los años noventa, y sigue siendo la función de ranking por defecto en Lucene, Elasticsearch y buena parte de la infraestructura de búsqueda en servicio. Su componente de frecuencia de término es donde vive la idea de verdad: en lugar de usar f directamente, usa f × (k1 + 1) ÷ (f + k1 × (1 − b + b × dl ÷ avgdl)), donde dl es la longitud del documento, avgdl la longitud media del corpus, y k1 y b son constantes de ajuste fijadas por convención en 1,2 y 0,75. Léela como fracción y el comportamiento aparece solo: al crecer f, numerador y denominador crecen ambos, y el cociente converge hacia k1 + 1.

En una página de longitud exactamente media el término de longitud se reduce a 1 y el peso queda simplemente en f × 2,2 ÷ (f + 1,2). Calcúlalo: una ocurrencia vale 1,0000, dos valen 1,3750, tres valen 1,5714, cinco valen 1,7742, diez valen 1,9643, veinte valen 2,0755, cincuenta valen 2,1484. El techo es 2,2 y nada lo alcanza. Como fracción de ese techo, una sola ocurrencia ya recoge el 45,5 % de todo lo que el término podrá valer jamás; dos recogen el 62,5 %, cinco el 80,6 %, diez el 89,3 %.

La vista marginal debería cerrar la discusión. Pasar de una ocurrencia a dos añade 0,3750. Pasar de nueve a diez añade 0,0231. La décima ocurrencia vale alrededor de una dieciseisava parte de la segunda, y la quincuagésima vale 0,0010 — 365 veces menos que la segunda. Eso es lo que significa saturación, y es una decisión de diseño deliberada, no un accidente: Robertson y Zaragoza describen esa forma como el objeto mismo de la función — la primera ocurrencia establece que el documento trata del término, y las siguientes solo pueden confirmar lo ya establecido. Escribir una palabra por décima vez para posicionar por ella es optimizar una cantidad que la función de recuperación ya dejó de escuchar.

El parámetro b gestiona la longitud, y lo hace mucho más suavemente que la densidad. Toma esas mismas 16 ocurrencias de espresso y ponlas en una página de 1 600 palabras en vez de una de 800, en un corpus cuyo documento medio tiene 800 palabras. La densidad se reduce a la mitad, del 2,00 % al 1,00 %. El peso BM25 baja de 2,0465 a 1,9448 — una caída del 5,0 %. Para recuperar la puntuación de 800 palabras con el doble de longitud harían falta 28 ocurrencias, no 32. La densidad dice que te penalizaron a la mitad; BM25 dice que en una veinteava parte. No miden lo mismo, y nunca lo hicieron.

Y luego los embeddings dejaron de contar términos por completo

TF-IDF y BM25 son ambos léxicos: necesitan que el término de la consulta esté presente en el documento, de alguna forma, para que este puntúe siquiera. La recuperación basada en embeddings rompe ese supuesto por completo. Un modelo proyecta la consulta y el documento en el mismo espacio vectorial de alta dimensión, y la relevancia pasa a ser la cercanía geométrica de dos vectores — normalmente la similitud del coseno — en lugar de un solapamiento de cadenas. Los recuentos de ocurrencias no juegan ningún papel en el cálculo. No hay f en la fórmula.

La consecuencia práctica debería replantear cómo escribes. Una página sobre descalcificar una cafetera puede recuperarse para una consulta sobre la cal en un hervidor, o sobre el vinagre blanco en una máquina de espresso, sin contener ninguna de esas palabras, porque los vectores caen cerca. A la inversa, una página que repite una expresión exacta cuarenta veces pero no dice nada más del tema se sitúa en una región del espacio a la que ninguna pregunta genuina apunta. Los sistemas modernos suelen ejecutar ambas familias y fusionar los resultados, así que la coincidencia léxica no ha desaparecido — pero la mitad léxica es BM25, que satura, y la mitad semántica no cuenta nada en absoluto.

Para qué sirve todavía la densidad: exactamente un vistazo

Esta es la defensa honesta de la métrica. La densidad es un diagnóstico, no un mando. Pásala una vez sobre un borrador terminado y léela como un corrector ortográfico: no para alcanzar una cifra, sino para llevarte una sorpresa. Una expresión al 5 % de una página de 800 palabras son cuarenta ocurrencias, y nadie escribe cuarenta repeticiones deliberadas de nada — así que es un artefacto de plantilla, un bloque estándar contado dentro del cuerpo del texto, un nombre de producto repetido por un generador, o un redactor que perdió el hilo. Los cuatro son defectos reales, y la densidad los encuentra en una pasada.

Lo que no vale es como objetivo, y aquí es donde conviene desconfiar de cualquier herramienta o consultor que ofrezca uno. No existe ningún porcentaje recomendado publicado, ni de Google ni de nadie con acceso a una función de ranking, y la razón es estructural más que secreta: BM25 satura, así que no hay porcentaje que lo maximice; los embeddings ignoran los recuentos por completo, así que no hay porcentaje al que respondan; y el número óptimo de ocurrencias de un término depende de estadísticas de corpus que tú no tienes. Una herramienta que te dice que apuntes a una horquilla está reportando una convención, no un hallazgo. Las políticas antispam de Google abordan el mismo comportamiento por el otro extremo — el relleno de palabras clave, definido como llenar una página de palabras repetidas para manipular el posicionamiento, es una infracción, y se describe en términos de experiencia de lectura, no de umbral.

Así que el sustituto de un objetivo de densidad no es otro número. Es otra pregunta: ¿cubre esta página los subtemas distintos que una persona que hace esta pregunta necesitaría ver respondidos, en un lenguaje que reconocería? Eso es lo que un modelo de ponderación de términos recompensa sin que nadie lo optimice, porque una página que cubre de verdad un tema contiene de forma natural su vocabulario raro y específico — la descalcificación, el portafiltros, el grosor de molienda — y el vocabulario raro y específico es precisamente lo que el idf está construido para recompensar. Un recuento de frecuencia de palabras y una puntuación de legibilidad son mejores compañeros de un borrador que un porcentaje de densidad, porque ambos describen el texto en vez de fingir que describen el motor.

Preguntas frecuentes

¿Cuál es la densidad de palabras clave ideal?

No la hay, y la ausencia es matemática más que secreta. BM25 satura: con k1 = 1,2, una ocurrencia recoge el 45,5 % de todo lo que el término puede valer y diez recogen el 89,3 %, convergiendo hacia un techo que nada alcanza — así que no hay recuento que maximice la puntuación. La recuperación por embeddings ignora los recuentos por completo. Y el número de ocurrencias que más ayudaría depende de estadísticas de corpus que no puedes ver. Cualquier herramienta que cite una horquilla está citando una convención anterior a todos los modelos de recuperación en uso.

Si la densidad está muerta, ¿por qué tu herramienta la sigue calculando?

Porque un objetivo muerto puede seguir siendo un diagnóstico vivo. Nadie debería escribir hacia una cifra de densidad, pero leerla sobre un borrador terminado caza accidentes que ninguna otra comprobación caza: texto estándar contado en el cuerpo, un nombre de producto repetido por un generador, una variable de plantilla que se expandió cuarenta veces. Son defectos reales y la densidad los saca a la superficie en una pasada. Úsala como usas un corrector ortográfico — para que te señalen algo que no pretendías, no para alcanzar una puntuación.

¿Qué son k1 y b en BM25, y me tengo que preocupar?

k1 controla la rapidez con la que satura la frecuencia de término y fija el techo en k1 + 1; b controla con qué fuerza se normaliza la longitud del documento, de 0 para nada a 1 para total. Los valores por defecto convencionales son 1,2 y 0,75, los que traen Lucene y Elasticsearch. Como redactor no los ajustas y no puedes saber cuáles usa un motor concreto. Lo que debes llevarte es la forma que producen, no los valores: la repetición tiene rendimientos fuertemente decrecientes, y la longitud se penaliza con suavidad y no de forma proporcional.

¿Sigue importando usar mi palabra clave en el título y los encabezados?

Sí, pero no por la razón que suelen dar los partidarios de la densidad. La recuperación ponderada por campo trata de forma distinta una coincidencia en un título que una en el cuerpo, y BM25F — la extensión por campos de BM25 — formaliza exactamente eso. La razón no es que el término aparezca una vez más; es que dónde aparece lleva información sobre de qué trata el documento. La regla práctica no cambia respecto a la buena edición: di de qué va la página en el título, una vez, con las palabras que usaría un lector. Eso además es lo que hace que un título funcione como enlace y como fragmento.

¿Puede una página posicionar por una expresión que nunca contiene?

Sí, y es la ilustración más nítida de por qué la densidad no tiene objetivo. La recuperación por embeddings proyecta consulta y documento en el mismo espacio vectorial y los compara geométricamente, sin exigir ninguna coincidencia de cadena. Una página sobre eliminar la cal de una máquina de espresso puede recuperarse para una consulta sobre descalcificar una cafetera con vinagre, porque los vectores caen cerca. Los sistemas puramente léxicos nunca podían hacer esto, y por eso escribir para cubrir un tema ahora gana a escribir para colocar ocurrencias.

¿El relleno de palabras clave sigue penalizándose, o solo es inútil?

Ambas cosas, y la parte de inútil viene primero. La saturación de BM25 hace que la cuadragésima ocurrencia aporte esencialmente nada sobre la décima, así que la práctica no compra puntuación alguna incluso antes de aplicar ninguna política. Encima, las políticas antispam de Google listan el relleno de palabras clave — llenar una página de palabras repetidas para manipular el posicionamiento — como infracción, descrita por su efecto sobre el lector y no como umbral numérico. El resumen honesto es que el relleno es una forma de empeorar una página para los humanos a cambio de una ganancia de puntuación que la función de recuperación dejó de pagar hace décadas.