Словник
Що таке robots.txt
Також: файл robots, правила для роботів, noindex
robots.txt — маленький текстовий файл у корені сайту, який каже пошуковим роботам, які розділи можна відвідувати, а які ні. Один неправильний рядок може сховати від Google весь сайт.
robots.txt лежить за адресою вашдомен.com/robots.txt і містить правила для роботів: «Googlebot, не заходь у /admin», «ось Карта сайту (sitemap.xml)Карта сайту — машиночитний список усіх сторінок сайту (sitemap.xml), який допомагає Google швидше знайти й проіндексувати їх. Більшість платформ генерує її автоматично; надішліть її в Search Console.→». Це табличка «лише для персоналу» на певних дверях. Він не захищає нічого паролем — це ввічливе прохання, яке пошукові системи виконують, — і водночас часта причина невидимих сайтів: забутий Disallow: / зі стадії розробки блокує все. Щоб прибрати з видачі окрему сторінку, правильний інструмент — Мета-теги (title і description)Мета-теги — заголовок і опис сторінки, які Google показує у видачі, а браузер — у вкладці. Добрі отримують більше кліків; у кожної сторінки мають бути свої.→ noindex.
- Перевірте свій: відкрийте
/robots.txtу браузері —Disallow: /підUser-agent: *означає, що Google заблоковано. - AI-роботи (GPTBot, ClaudeBot…) читають той самий файл; дозвіл для них допомагає вашому бізнесу з'являтися у відповідях AI.
- Платформи керують ним за вас; вручну його редагують рідко.