WebFora.io

Γλωσσάρι

Τι είναι robots.txt

Επίσης: αρχείο robots, κανόνες crawl, noindex

Το robots.txt είναι μικρό αρχείο κειμένου στη ρίζα της ιστοσελίδας που λέει στα crawlers των μηχανών αναζήτησης ποια μέρη μπορούν να επισκεφθούν. Μία λάθος γραμμή μπορεί να κρύψει όλη την ιστοσελίδα από την Google.

Το robots.txt βρίσκεται στο todomainsas.gr/robots.txt και περιέχει κανόνες για crawlers: «Googlebot, μην επισκέπτεσαι το /admin», «εδώ είναι το Sitemap (sitemap.xml)Το sitemap είναι μηχανικά αναγνώσιμη λίστα όλων των σελίδων σας (sitemap.xml) που βοηθά την Google να τις βρει και να τις καταγράψει γρηγορότερα. Δημιουργείται αυτόματα· το υποβάλλετε στο Search Console.→». Είναι η πινακίδα «μόνο προσωπικό» σε ορισμένες πόρτες. Δεν προστατεύει τίποτα με κωδικό — είναι ευγενικό αίτημα που οι μηχανές αναζήτησης σέβονται — και είναι επίσης συχνή αιτία αόρατων ιστοσελίδων: ένα ξεχασμένο Disallow: / από τη φάση ανάπτυξης μπλοκάρει τα πάντα. Για να κρατήσετε μία σελίδα εκτός αποτελεσμάτων, το σωστό εργαλείο είναι ένα Meta tags (τίτλος & περιγραφή)Τα meta tags είναι ο τίτλος και η περιγραφή της σελίδας που δείχνει η Google στα αποτελέσματα και οι browsers στην καρτέλα. Τα καλά φέρνουν περισσότερα κλικ· κάθε σελίδα πρέπει να έχει δικά της.→ noindex.

  • Ελέγξτε το δικό σας: ανοίξτε /robots.txt στον browser — Disallow: / κάτω από User-agent: * σημαίνει ότι η Google είναι αποκλεισμένη.
  • Τα AI crawlers (GPTBot, ClaudeBot…) διαβάζουν το ίδιο αρχείο· αν τα επιτρέπετε, η επιχείρησή σας εμφανίζεται σε απαντήσεις AI.
  • Οι πλατφόρμες το διαχειρίζονται για εσάς· σπάνια το επεξεργάζεστε με το χέρι.

Σχετικοί όροι

Παραγγελία · €39Έλεγχος