WebFora.io

Glossar

Was ist robots.txt

Auch: Robots-Datei, Crawling-Regeln, noindex

robots.txt ist eine kleine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern sagt, welche Bereiche sie besuchen dürfen. Eine falsche Zeile kann Ihre ganze Website vor Google verbergen.

robots.txt liegt unter ihredomain.de/robots.txt und enthält Regeln für Crawler: «Googlebot, besuche /admin nicht», «hier ist die Sitemap (sitemap.xml)Eine Sitemap ist eine maschinenlesbare Liste aller Seiten Ihrer Website (sitemap.xml), die Google hilft, sie schneller zu finden und zu indexieren. Meist automatisch erzeugt; in der Search Console einreichen.→». Es ist das Schild «Nur für Personal» an bestimmten Türen. Es schützt nichts mit Passwort — es ist eine höfliche Bitte, die Suchmaschinen respektieren — und ist zugleich eine häufige Ursache unsichtbarer Websites: Ein vergessenes Disallow: / aus der Entwicklungsphase sperrt alles. Um eine einzelne Seite aus den Suchergebnissen zu halten, ist ein noindex-Meta-Tags (Title & Description)Meta-Tags sind Seitentitel und Beschreibung, die Google in den Suchergebnissen und der Browser im Tab anzeigt. Gute bringen mehr Klicks; jede Seite sollte eigene haben.→ das richtige Werkzeug.

  • Prüfen: /robots.txt im Browser öffnen — Disallow: / unter User-agent: * heißt, Google ist ausgesperrt.
  • KI-Crawler (GPTBot, ClaudeBot…) lesen dieselbe Datei; sie zuzulassen hilft, dass Ihr Unternehmen in KI-Antworten erscheint.
  • Plattformen verwalten sie für Sie; von Hand bearbeiten Sie sie selten.

Verwandte Begriffe

Bestellen · €39Check