Glosario
Qué es robots.txt
También: archivo robots, reglas de rastreo, noindex
robots.txt es un pequeño archivo de texto en la raíz de tu web que indica a los rastreadores de los buscadores qué partes pueden visitar y cuáles no. Una línea mal puesta puede ocultar toda tu web de Google.
robots.txt vive en tudominio.com/robots.txt y contiene reglas para los rastreadores: «Googlebot, no entres en /admin», «aquí está el Sitemap (sitemap.xml)Un sitemap es una lista legible por máquinas de todas las páginas de tu web (sitemap.xml) que ayuda a Google a encontrarlas e indexarlas antes. La mayoría de plataformas lo generan solas; envíalo en Search Console.→». Es el cartel de «solo personal» en ciertas puertas. No protege nada con contraseña —es una petición educada que los buscadores respetan— y también es una causa habitual de webs invisibles: un Disallow: / olvidado de la fase de desarrollo lo bloquea todo. Para sacar una sola página de los resultados, la herramienta correcta es una Metaetiquetas (título y descripción)Las metaetiquetas son el título y la descripción de la página que Google muestra en los resultados y el navegador en la pestaña. Si están bien escritas, atraen más clics; cada página debe tener las suyas.→ noindex.
- Comprueba el tuyo: abre
/robots.txten el navegador; unDisallow: /bajoUser-agent: *significa que Google está fuera. - Los rastreadores de IA (GPTBot, ClaudeBot…) leen el mismo archivo; permitirlos ayuda a que tu negocio aparezca en las respuestas de IA.
- Las plataformas lo gestionan por ti; rara vez lo editas a mano.