Glossaire
Qu'est-ce que robots.txt
Aussi: fichier robots, règles d’exploration, noindex
Le robots.txt est un petit fichier texte à la racine de votre site qui indique aux robots des moteurs de recherche quelles parties ils peuvent ou non visiter. Une mauvaise ligne peut cacher tout votre site à Google.
Le robots.txt se trouve à votredomaine.fr/robots.txt et contient des règles pour les robots d’exploration : « Googlebot, ne visite pas /admin », « voici le Sitemap (sitemap.xml)Un sitemap est une liste lisible par les machines de toutes les pages de votre site (sitemap.xml) qui aide Google à les trouver et les indexer plus vite. Généré automatiquement ; à soumettre dans la Search Console.→ ». C’est le panneau « réservé au personnel » sur certaines portes. Il ne protège rien par mot de passe — c’est une demande polie que les moteurs respectent — et c’est aussi une cause fréquente de sites invisibles : un Disallow: / oublié depuis la phase de développement bloque tout. Pour exclure une seule page des résultats, la bonne solution est une Balises meta (title et description)Les balises meta sont le titre et la description de la page que Google affiche dans les résultats et que le navigateur affiche dans l’onglet. De bonnes balises attirent plus de clics ; chaque page doit avoir les siennes.→ noindex.
- Vérifiez le vôtre : ouvrez
/robots.txtdans le navigateur —Disallow: /sousUser-agent: *signifie que Google est bloqué. - Les robots d’IA (GPTBot, ClaudeBot…) lisent le même fichier ; les autoriser aide votre entreprise à apparaître dans les réponses des IA.
- Les plateformes le gèrent pour vous ; vous le modifiez rarement à la main.