Puntos clave
- El robots.txt dice qué URL pueden pedir los rastreadores; vive en la raíz de tu dominio.
- Controla el rastreo, no la indexación: una página bloqueada puede salir en Google si otros la enlazan.
- Para sacar una página de Google, usa noindex o contraseña, no robots.txt.
- Casi todos los sitios de empresa necesitan un robots.txt muy corto, más la línea del sitemap.
Un robots.txt dañado es de lo más grave que encuentro en una auditoría de SEO técnico, porque nadie lo ve. El sitio se ve bien; simplemente Google no lo puede leer.
¿Qué es el archivo robots.txt?
El robots.txt es un archivo de texto en la raíz de tu dominio, como ejemplo.com/robots.txt, que les indica a los rastreadores de los buscadores qué URL pueden visitar. Google lo describe como una forma de administrar el tráfico de rastreo y evitar que se sobrecargue el sitio. Los rastreadores serios lo leen antes de visitar otras páginas.
La descripción viene de la introducción a robots.txt de Google.
¿El robots.txt saca una página de Google?
No. Google dice claramente que el robots.txt no es un mecanismo para mantener una página fuera de Google. Si otros sitios enlazan una URL bloqueada, Google igual puede indexar la dirección y mostrarla, normalmente sin descripción. Para sacarla de los resultados, usa la etiqueta noindex, una contraseña o elimina la página.
| Objetivo | Qué usar |
|---|---|
| Que los rastreadores no pierdan tiempo en filtros o búsquedas internas | Disallow en robots.txt |
| Sacar una página de los resultados de Google | Meta etiqueta o encabezado noindex |
| Mantener privado un contenido privado | Contraseña o inicio de sesión |
| Quitar una página que no debe existir | Eliminarla y devolver 404 o 410 |
Google explica el noindex por separado. Ojo: si bloqueas una página en robots.txt, Google no puede ver su etiqueta noindex. Para quitarla paso a paso, lee cómo desindexar una página de Google.
¿Cómo se ve un robots.txt seguro?
En la mayoría de sitios de empresa, un robots.txt seguro permite todo menos unas pocas zonas técnicas y señala el sitemap. Bloquear los resultados de búsqueda interna o combinaciones infinitas de filtros puede tener sentido. Bloquear CSS, JavaScript o carpetas enteras de páginas reales casi nunca, porque Google los necesita para entender el sitio.
User-agent: *
Disallow: /buscar
Sitemap: https://ejemplo.com/sitemap.xmlLa línea del sitemap ayuda a que los rastreadores encuentren tu sitemap XML. Muchas plataformas generan este archivo solas; Shopify, por ejemplo, documenta cómo editar robots.txt.liquid.
¿Cuál es el error más peligroso en el robots.txt?
Una línea Disallow: / que quedó del desarrollo. Le dice a todos los rastreadores que no entren a ninguna parte del sitio. Pasa mucho cuando un sitio de pruebas sale al aire con su configuración copiada. Revisa tudominio.com/robots.txt después de cada lanzamiento o migración y confírmalo con la inspección de URL de Search Console.
- Abre tudominio.com/robots.txt y léelo línea por línea.
- Busca "Disallow: /" debajo de User-agent: *.
- Asegúrate de que las carpetas de CSS y JavaScript no estén bloqueadas.
- Confirma que la línea Sitemap apunte a la URL correcta y publicada.
- Prueba una página clave con la herramienta de inspección de URL de Search Console.
¿El robots.txt controla los rastreadores de IA?
En parte. Muchas empresas de IA publican los nombres de sus rastreadores para que los dueños de sitios los permitan o bloqueen en el robots.txt. Google, por ejemplo, documenta un identificador aparte para controlar el uso del contenido en algunos de sus productos de IA. Bloquearlos también puede reducir tus opciones de ser citado, así que decide con intención.
Google lista sus rastreadores comunes, incluido ese identificador. Explico el equilibrio en cómo aparecer en ChatGPT y en los AI Overviews, y el robots.txt es una línea de mi checklist de SEO técnico. Como consultor SEO, lo reviso en cada diagnóstico gratis: agenda el tuyo.
Preguntas frecuentes
¿Dónde va el robots.txt?
En la raíz del dominio, para que abra en tudominio.com/robots.txt.
¿Es obligatorio tener robots.txt?
No. Sin él, los rastreadores asumen que pueden visitar todo.
¿Todos los bots obedecen el robots.txt?
Los rastreadores serios sí. Los maliciosos pueden ignorarlo, así que no es una herramienta de seguridad.
¿Puedo bloquear una sola página con robots.txt?
Puedes bloquear el rastreo, pero usa noindex si lo que quieres es sacarla de los resultados.
¿Cada subdominio necesita su propio robots.txt?
Sí. Cada host lee su propio archivo.
Sobre el autor
Juan José Giraldo es consultor SEO en Medellín, Colombia, con más de 5 años de experiencia. Trabaja el SEO técnico y local de más de 600 concesionarios en EE. UU. en Reunion Marketing, agencia de la lista Inc. 5000, y supervisa el SEO de 18 tiendas online en EE. UU. con más de 3 millones de productos en Prontomowers. Ver más · LinkedIn.