ملف robots.txt هو ملف يمكن وضعه في المجلد الجذر لموقع الويب الخاص بك لمساعدة محركات البحث على فهرسة موقعك بشكل أكثر ملاءمة. تستخدم محركات البحث مثل Google برامج زحف مواقع الويب ، أو الروبوتات التي تقوم بمراجعة كل المحتوى الموجود على موقع الويب الخاص بك. قد تكون هناك أجزاء من موقع الويب الخاص بك لا تريد منهم الزحف إليها لتضمينها في نتائج بحث المستخدم ، مثل صفحة المسؤول. يمكنك إضافة هذه الصفحات إلى الملف ليتم تجاهلها بشكل صريح. تستخدم ملفات Robots.txt شيئًا يسمى بروتوكول استبعاد برامج الروبوت. سيقوم موقع الويب هذا بإنشاء الملف لك بسهولة مع إدخالات الصفحات المطلوب استبعادها
ويوجد الكثير
القسم :
خدمات Internet