WebFora.io

Glosario

Qué es robots.txt

También: archivo robots, reglas de rastreo, noindex

robots.txt es un pequeño archivo de texto en la raíz de tu web que indica a los rastreadores de los buscadores qué partes pueden visitar y cuáles no. Una línea mal puesta puede ocultar toda tu web de Google.

robots.txt vive en tudominio.com/robots.txt y contiene reglas para los rastreadores: «Googlebot, no entres en /admin», «aquí está el Sitemap (sitemap.xml)Un sitemap es una lista legible por máquinas de todas las páginas de tu web (sitemap.xml) que ayuda a Google a encontrarlas e indexarlas antes. La mayoría de plataformas lo generan solas; envíalo en Search Console.→». Es el cartel de «solo personal» en ciertas puertas. No protege nada con contraseña —es una petición educada que los buscadores respetan— y también es una causa habitual de webs invisibles: un Disallow: / olvidado de la fase de desarrollo lo bloquea todo. Para sacar una sola página de los resultados, la herramienta correcta es una Metaetiquetas (título y descripción)Las metaetiquetas son el título y la descripción de la página que Google muestra en los resultados y el navegador en la pestaña. Si están bien escritas, atraen más clics; cada página debe tener las suyas.→ noindex.

  • Comprueba el tuyo: abre /robots.txt en el navegador; un Disallow: / bajo User-agent: * significa que Google está fuera.
  • Los rastreadores de IA (GPTBot, ClaudeBot…) leen el mismo archivo; permitirlos ayuda a que tu negocio aparezca en las respuestas de IA.
  • Las plataformas lo gestionan por ti; rara vez lo editas a mano.

Términos relacionados

Pedir · €39Auditoría