إذا كنت قد أنشأت موقع الويب الخاص بك من قبل ، فربما تكون قد سمعت عن ملف robotx.txt وتساءلت ، ما الغرض من هذا الملف؟ حسنًا ، أنت في المكان المناسب! أدناه ، سنراجع ماهية هذا الملف وسبب أهميته.
ما هو ملف robots.txt؟
بادئ ذي بدء ، ملف robots.txt ليس أكثر من ملف نص عادي (ASCII أو UTF-8) موجود في الدليل الرئيسيى لموقعك ، والذي يحظر (أو يسمح) لمحركات البحث بالوصول إلى مناطق معينة من موقعك. يحتوي ملف robots.txt على مجموعة بسيطة من الأوامر (أو التوجيهات) ويتم تطبيقها عادةً لتقييد حركة مرور الزاحف على خادمك ، وبالتالي منع استخدام الموارد غير المرغوب فيها.
تستخدم محركات البحث ما يسمى بالزواحف (أو برامج الروبوت) لفهرسة أجزاء من موقع الويب وإرجاعها كنتائج بحث. قد ترغب في عدم إمكانية الوصول إلى بيانات حساسة معينة مخزنة على خادمك لإجراء عمليات بحث على الويب. يساعدك ملف robots.txt في القيام بذلك.
ملاحظة: لا يتم قطع الملفات أو الصفحات الموجودة على موقع الويب الخاص بك تمامًا عن برامج الزحف في حالة فهرسة / الإشارة إلى هذه الملفات من مواقع ويب أخرى. لحماية عنوان URL الخاص بك بشكل صحيح من الظهور في محركات بحث Google ، يمكنك حماية الملفات بكلمة مرور مباشرة من الخادم الخاص بك.
كيفية إنشاء ملف robots.txt
لإنشاء ملف robots.txt الخاص بك (إن لم يكن موجودًا بالفعل) ، ما عليك سوى اتباع الخطوات التالية:
1. قم بتسجيل الدخول إلى حساب cPanel الخاص بك
2. انتقل إلى قسم FILES وانقر على File Manager
3. تصفح مدير الملفات إلى دليل موقع الويب (مثل public_html) ثم انقر على "ملف جديد" >> اكتب "robots.txt" >> انقر على "إنشاء ملف جديد".
4. أنت الآن حر في تحرير محتوى هذا الملف بالنقر المزدوج عليه.
ملاحظة: يمكنك إنشاء ملف robots.txt واحد فقط لكل مجال. غير مسموح بالتكرارات على نفس مسار الجذر. يجب أن يحتوي كل مجال أو مجال فرعي على ملف robots.txt الخاص به.
أمثلة على قواعد الاستخدام والصياغة
عادةً ما يحتوي ملف robots.txt على قاعدة واحدة أو أكثر ، كل منها في سطر منفصل خاص بها. تحظر كل قاعدة أو تسمح بالوصول إلى برنامج زاحف معين إلى مسار ملف محدد أو موقع الويب بالكامل.
- منع جميع برامج الزحف (وكلاء المستخدم) من الوصول إلى السجلات وأدلة SSL.
User-agent:*
Disallow: /logs/
Disallow: /ssl/- منع جميع برامج الزحف لفهرسة الموقع بالكامل.
User-agent: *
Disallow: /- السماح لجميع وكلاء المستخدم بالوصول إلى الموقع بأكمله.
User-agent: *
Allow: /- منع فهرسة الموقع بالكامل من زاحف محدد.
User-agent: Bot1
Disallow: /- السماح بالفهرس لزاحف ويب معين ومنع الآخرين من الفهرسة.
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /- ضمن User-agent: يمكنك كتابة اسم الزاحف المحدد. يمكنك أيضًا تضمين جميع برامج الزحف ببساطة عن طريق كتابة رمز النجمة (*). باستخدام هذا الأمر ، يمكنك تصفية جميع برامج الزحف باستثناء برامج زحف AdBot ، والتي تحتاج إلى تعدادها بشكل صريح. يمكنك العثور على قائمة بجميع برامج الزحف على الإنترنت.
- بالإضافة إلى ذلك ، لكي يعمل الأمران Allow و Disallow مع ملف أو مجلد معين فقط ، يجب عليك دائمًا تضمين أسمائهم بين "/".
- لاحظ كيف أن كلا الأمرين حساسان لحالة الأحرف؟ من المهم بشكل خاص معرفة أن الإعداد الافتراضي لوكلاء الزاحف هو حتى يتمكنوا من الوصول إلى أي صفحة أو دليل إذا لم يتم حظره بواسطة قاعدة Disallow:.
ملاحظة: يمكنك العثور على مجموعة كاملة من القواعد هنا.
