Glossar
Was ist robots.txt
Auch: Robots-Datei, Crawling-Regeln, noindex
robots.txt ist eine kleine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern sagt, welche Bereiche sie besuchen dürfen. Eine falsche Zeile kann Ihre ganze Website vor Google verbergen.
robots.txt liegt unter ihredomain.de/robots.txt und enthält Regeln für Crawler: «Googlebot, besuche /admin nicht», «hier ist die Sitemap (sitemap.xml)Eine Sitemap ist eine maschinenlesbare Liste aller Seiten Ihrer Website (sitemap.xml), die Google hilft, sie schneller zu finden und zu indexieren. Meist automatisch erzeugt; in der Search Console einreichen.→». Es ist das Schild «Nur für Personal» an bestimmten Türen. Es schützt nichts mit Passwort — es ist eine höfliche Bitte, die Suchmaschinen respektieren — und ist zugleich eine häufige Ursache unsichtbarer Websites: Ein vergessenes Disallow: / aus der Entwicklungsphase sperrt alles. Um eine einzelne Seite aus den Suchergebnissen zu halten, ist ein noindex-Meta-Tags (Title & Description)Meta-Tags sind Seitentitel und Beschreibung, die Google in den Suchergebnissen und der Browser im Tab anzeigt. Gute bringen mehr Klicks; jede Seite sollte eigene haben.→ das richtige Werkzeug.
- Prüfen:
/robots.txtim Browser öffnen —Disallow: /unterUser-agent: *heißt, Google ist ausgesperrt. - KI-Crawler (GPTBot, ClaudeBot…) lesen dieselbe Datei; sie zuzulassen hilft, dass Ihr Unternehmen in KI-Antworten erscheint.
- Plattformen verwalten sie für Sie; von Hand bearbeiten Sie sie selten.