WebFora.io

القاموس

ما هو robots.txt

أيضًا: ملف روبوتس, قواعد الزحف, noindex, robots file

robots.txt ملف نصي صغير في جذر موقعك يخبر زواحف محركات البحث بالأجزاء المسموح أو غير المسموح لها بزيارتها. سطر خاطئ قد يخفي موقعك كله عن جوجل.

يعيش robots.txt على yourdomain.com/robots.txt ويحتوي قواعد للزواحف: «يا Googlebot، لا تزر /admin»، «هذه خريطة الموقع (sitemap.xml)خريطة الموقع قائمة قابلة للقراءة آليًا بكل صفحات موقعك (sitemap.xml) تساعد جوجل على العثور عليها وفهرستها أسرع. تولّدها معظم المنصات تلقائيًا؛ أرسلها في Search Console.→». هو لافتة «للموظفين فقط» على أبواب معيّنة. لا يحمي أي شيء بكلمة سر — بل هو طلب مهذب تحترمه محركات البحث — وهو أيضًا سبب شائع للمواقع غير المرئية: سطر Disallow: / متبقٍّ من مرحلة التطوير يحجب كل شيء. لإبعاد صفحة واحدة عن نتائج البحث، وسم الوسوم الوصفية (العنوان والوصف)الوسوم الوصفية هي عنوان الصفحة ووصفها اللذان تعرضهما جوجل في نتائج البحث ويعرضها المتصفح في التبويب. الجيدة منها تجلب نقرات أكثر؛ ولكل صفحة وسومها الخاصة.→ noindex هو الأداة الصحيحة.

  • تحقق من ملفك: افتح /robots.txt في المتصفح — Disallow: / تحت User-agent: * تعني أن جوجل محجوبة.
  • زواحف الذكاء الاصطناعي (GPTBot وClaudeBot…) تقرأ الملف نفسه؛ السماح لها يساعد نشاطك على الظهور في إجابات الذكاء الاصطناعي.
  • المنصات تديره لك؛ ونادرًا ما تعدّله يدويًا.

مصطلحات ذات صلة

اطلب · €39تحليل