WebFora.io

מילון

מה זה robots.txt

גם: קובץ robots, כללי סריקה, noindex, רובוטס

robots.txt הוא קובץ טקסט קטן בשורש האתר שאומר לסורקי מנועי החיפוש לאילו חלקים מותר או אסור להם להיכנס. שורה אחת שגויה יכולה להסתיר את כל האתר מגוגל.

robots.txt נמצא ב־yourdomain.com/robots.txt ומכיל כללים לסורקים: ״Googlebot, אל תיכנס ל־/admin״, ״הנה מפת אתר (sitemap.xml)מפת אתר היא רשימה שמחשבים קוראים של כל דפי האתר (sitemap.xml) שעוזרת לגוגל למצוא ולאנדקס אותם מהר יותר. נוצרת אוטומטית ברוב הפלטפורמות; שולחים אותה ב־Search Console.→״. זה שלט ״לעובדים בלבד״ על דלתות מסוימות. הוא לא מגן בסיסמה על שום דבר — זו בקשה מנומסת שמנועי החיפוש מכבדים — והוא גם גורם נפוץ לאתרים בלתי נראים: Disallow: / שנשאר משלב הפיתוח חוסם הכול. כדי להרחיק דף יחיד מתוצאות החיפוש, מטא־תגים (כותרת ותיאור)מטא־תגים הם כותרת הדף והתיאור שגוגל מציגה בתוצאות החיפוש והדפדפן מציג בכרטיסייה. טובים מביאים יותר קליקים; לכל דף צריכים להיות משלו.→ noindex הוא הכלי הנכון.

  • בדקו את שלכם: פתחו /robots.txt בדפדפן — Disallow: / תחת User-agent: * אומר שגוגל חסומה.
  • סורקי AI (GPTBot, ClaudeBot…) קוראים את אותו קובץ; לאפשר להם עוזר לעסק שלכם להופיע בתשובות AI.
  • פלטפורמות מנהלות אותו בשבילכם; לעיתים רחוקות עורכים אותו ידנית.

מונחים קשורים

להזמנה · €39בדיקה