WebFora.io

Словник

Що таке robots.txt

Також: файл robots, правила для роботів, noindex

robots.txt — маленький текстовий файл у корені сайту, який каже пошуковим роботам, які розділи можна відвідувати, а які ні. Один неправильний рядок може сховати від Google весь сайт.

robots.txt лежить за адресою вашдомен.com/robots.txt і містить правила для роботів: «Googlebot, не заходь у /admin», «ось Карта сайту (sitemap.xml)Карта сайту — машиночитний список усіх сторінок сайту (sitemap.xml), який допомагає Google швидше знайти й проіндексувати їх. Більшість платформ генерує її автоматично; надішліть її в Search Console.→». Це табличка «лише для персоналу» на певних дверях. Він не захищає нічого паролем — це ввічливе прохання, яке пошукові системи виконують, — і водночас часта причина невидимих сайтів: забутий Disallow: / зі стадії розробки блокує все. Щоб прибрати з видачі окрему сторінку, правильний інструмент — Мета-теги (title і description)Мета-теги — заголовок і опис сторінки, які Google показує у видачі, а браузер — у вкладці. Добрі отримують більше кліків; у кожної сторінки мають бути свої.→ noindex.

  • Перевірте свій: відкрийте /robots.txt у браузері — Disallow: / під User-agent: * означає, що Google заблоковано.
  • AI-роботи (GPTBot, ClaudeBot…) читають той самий файл; дозвіл для них допомагає вашому бізнесу з'являтися у відповідях AI.
  • Платформи керують ним за вас; вручну його редагують рідко.

Пов'язані терміни

Замовити · €39Аудит