Cómo escribir un robots.txt: directivas, coincidencia y lo que no puede ocultar

Una instrucción de rastreo, ni una cerradura ni un borrador

Google lo dice sin rodeos: robots.txt no es un mecanismo para mantener una página fuera de Google, y una página no permitida en robots.txt puede seguir indexándose si otros sitios enlazan a ella. El mecanismo se ve fácil una vez enunciado. Disallow le pide a un rastreador educado que no descargue la URL. No dice nada sobre si la dirección puede aparecer en un índice, y un enlace desde otro sitio aporta lo suficiente — la propia URL, más el texto ancla que apunta a ella — para listar la página sin descargarla jamás. El resultado es el conocido listado de búsqueda con una URL desnuda, sin título tomado de la página ni descripción, justo donde el dueño del sitio creía haberla eliminado.

Las herramientas correctas dependen de lo que quieras de verdad. Para mantener una página fuera de los resultados, sirve un noindex — o una etiqueta meta robots en la cabecera del documento, o una cabecera de respuesta X-Robots-Tag, que además funciona con archivos sin cabecera HTML, como los PDF. Para sustraer un contenido a todo el mundo, ponlo tras autenticación; nada declarativo en un archivo de texto público ha restringido nunca el acceso, y el RFC 9309 lo dice sin rodeos al calificar el protocolo de no sustituto de medidas reales de seguridad. Y hay una trampa de orden para quien combina ambas cosas: si prohíbes una URL, el rastreador nunca la descargará, nunca verá el noindex que le añadiste, y la página puede persistir indefinidamente en el índice. Déjala rastreable hasta que desaparezca y prohíbela después, si todavía quieres.

Cómo funciona la coincidencia: prefijos, dos comodines y la regla más larga

Cada valor de Disallow y Allow se compara como prefijo de la ruta de la URL, así que Disallow: /admin bloquea por igual /admin, /admin/, /administrator y /admin-tools. Añadir una barra final lo estrecha al directorio. Dos caracteres especiales lo afinan: * representa cero o más caracteres cualesquiera y $ ancla el final de la URL, de modo que Disallow: /*.pdf$ bloquea toda URL terminada en .pdf y deja accesible /report.pdf?download=1, porque la cadena de consulta viene después del ancla. Un comodín al final no añade nada: /* es la misma regla que /. Las rutas distinguen mayúsculas, así que /Admin y /admin son dos reglas distintas, aunque los nombres de las directivas no.

Cuando más de una regla coincide con una URL, gana la más específica, y aquí especificidad no significa nada más sofisticado que la longitud de la ruta de la regla en octetos. Disallow: /reports/ y Allow: /reports/public/ coinciden ambas con /reports/public/q3.html; el Allow es más largo, así que el archivo es rastreable. Invierte las longitudes y gana el Disallow. Si dos reglas coincidentes miden exactamente lo mismo, el empate va a la menos restrictiva, es decir al Allow. El orden en el archivo es irrelevante — un Disallow escrito después de un Allow no lo anula, y solo esto explica buena parte de los robots.txt que no se comportan como los lee su autor. Otros dos límites que conviene saber: Google lee como mucho 500 kibibytes e ignora todo lo posterior, y un valor Disallow vacío significa que no se bloquea nada, la forma idiomática de escribir un grupo que lo permite todo.

Dónde vive el archivo y por qué anuncia lo que querías ocultar

La regla de ubicación es absoluta y no admite configuración. El RFC 9309 exige que las reglas sean accesibles en un archivo llamado /robots.txt, todo en minúsculas, en la ruta de nivel superior del servicio, y Google añade que se aplican solo al host, protocolo y puerto donde el archivo está alojado. Léelo con atención, porque las consecuencias hacen tropezar constantemente. Un archivo en https://example.com/robots.txt no gobierna nada en http://example.com, nada en https://shop.example.com y nada en https://example.com:8443 — cada una de esas direcciones es un origen distinto que necesita su propio archivo. Un archivo colocado en un subdirectorio no se lee en absoluto. Y un sitio tras un CDN o un proxy inverso vale lo que valga su enrutado: si la plataforma sirve su propio robots.txt en la raíz, el tuyo de la aplicación no llega a ejecutarse.

Ahora la parte sin rodeos. El archivo se sirve a quien lo pida, no tiene autenticación y es con diferencia lo primero que lee un escáner automatizado. Escribir Disallow: /internal/backup-2019/ no oculta ese directorio: publica su existencia, su ruta exacta y el hecho de que lo consideraste digno de ocultar, en un documento que has invitado a leer a todo internet. Todas las herramientas de reconocimiento jamás escritas empiezan ahí, exactamente por eso. Si una ruta no debe alcanzarse, ponla tras autenticación o sácala del host público; si solo no debe rastrearse, prohíbe un prefijo padre amplio en lugar de nombrar la hoja sensible. Y trata el archivo como código: guárdalo en control de versiones, revisa los cambios como cualquier otro despliegue y compruébalo tras cada migración de plataforma, porque un Disallow: / perdido que llega a producción es la forma más rápida de retirar un sitio entero de la búsqueda y una de las más lentas de la que recuperarse.

Preguntas frecuentes

¿Puedo usar robots.txt para mantener una página privada fuera de Google?

No, en ambos sentidos. Google dice sin rodeos que robots.txt no es un mecanismo para mantener una página fuera de Google, y una URL prohibida enlazada desde cualquier otro sitio puede seguir listándose usando solo el enlace y su texto ancla. Tampoco es privada en ningún sentido real: robots.txt es solo una petición, respetada por los buscadores e ignorada por todo lo que tenga interés en ignorarla, y el propio archivo difunde la ruta. Para la visibilidad en búsqueda usa un noindex, servido como etiqueta meta robots o como cabecera X-Robots-Tag. Para privacidad de verdad usa autenticación. Son dos problemas distintos y robots.txt no resuelve ninguno.

¿Los subdominios y http frente a https comparten un solo robots.txt?

No. Las reglas se aplican solo al host, protocolo y puerto exactos que sirvieron el archivo, así que https://example.com, http://example.com, https://www.example.com y https://api.example.com son cuatro ámbitos distintos que necesitan cuatro archivos distintos — aunque resuelvan al mismo servidor y a la misma raíz de documentos. Es el segundo error de configuración más común, tras colocar el archivo en un subdirectorio, donde no se lee jamás. Consecuencia práctica: si rediriges http a https, el rastreador sigue la redirección para descargar el archivo, así que la copia https gobierna ambos de hecho; si no rediriges, el origen http no tiene reglas y se rastrea libremente.

Prohibí una página pero sigue en los resultados. ¿Y ahora qué?

Es el comportamiento esperado, y la solución es invertir el orden de las operaciones. Quita el Disallow para que la página vuelva a ser rastreable, añade un noindex — etiqueta meta robots o cabecera X-Robots-Tag — y espera a que la página se vuelva a rastrear y desaparezca. El enfoque original falló por circularidad: mientras la URL está prohibida el rastreador nunca la descarga, así que nunca ve el noindex que le pusiste, y el listado construido a partir de enlaces entrantes persiste indefinidamente. Una vez que la página ha salido del índice puedes restablecer el Disallow para ahorrar presupuesto de rastreo, aunque a esas alturas suele aportar muy poco.