الأسئلة الشائعة حول ملف
robots.txt
ومحركات البحث
robots.txt
ومحركات البحث
هذا الموضوع سنجيب فيه عن معظم ااسئلة التى قد تتبادر فى ذهنك عن ملف الـ
robots.txt
ومحركات البحث
robots.txt
ومحركات البحث
اسئلة تتعلق بعناكب محركات البحث
=====================
=====================
ما هى عناكب محركات البحث؟
عناكب محركات البحث عبارة عن برامج تعمل اوتوماتيكيا على استعراض محتويات صفحات الويب عن طريق المرور بأحد هذه الصفحات ومراجعة كل الصفحات التى تتصل بها
عناكب محركات البحث عبارة عن برامج تعمل اوتوماتيكيا على استعراض محتويات صفحات الويب عن طريق المرور بأحد هذه الصفحات ومراجعة كل الصفحات التى تتصل بها
ما هو الوكيل "agent" ?
هذه الكلمة لها العديد من المعانى هذه الايام لكن ما يهمنا هو
user-agent
وهو اسم تقنى للبرامج لاتى تقوم بمهام محددة على شبكة الانترنت ولصالح شخص معين مثل العناكب فهى تقوم بمهام الارشفة لصالح محركات البحث
user-agent
وهو اسم تقنى للبرامج لاتى تقوم بمهام محددة على شبكة الانترنت ولصالح شخص معين مثل العناكب فهى تقوم بمهام الارشفة لصالح محركات البحث
ما هو محرك البحث؟
يقصد به اى فورم تستخدم للبحث خلال قاعدة بيانات تحتوى على روابط تم جمعها بواسطة عناكب محرك البحث
فى اى شىء تستخدم العناكب؟
تستخدم العناكب لمهام متعددة هى :
1. الفهرسة "الارشفة"
2. التحقق من تكوين الصفحات
3. التحقق من الروابط
4. المراقبة والتتبع
5. تتبع ارتباط الصفحات ببعضها
2. التحقق من تكوين الصفحات
3. التحقق من الروابط
4. المراقبة والتتبع
5. تتبع ارتباط الصفحات ببعضها
هل العناكب تضر الموقع؟
فى الماضى كانت العناكب تسبب ضغط كبير على الشبكات والسيرفرات لكن الان تطورت كثيرا ولم تعد تسبب اى ضغط على السيرفرات وخاصة عناكب محركات ابحث لكن الاخطار قد تأتى من العناكب التى تأتى الموقع لتسحب الايمبلات او لتبحث عن ثغرات امنيه