ما هو زاحف الويب / العنكبوت وكيف يعمل؟

تعد محركات البحث مثل Google جزءًا مما يجعل الإنترنت قويًا للغاية. ببضع ضغطات على المفاتيح ونقرة زر واحدة ، تظهر الإجابات الأكثر صلة بسؤالك. لكن هل تساءلت يومًا كيف تعمل محركات البحث؟ تعد برامج زحف الويب جزءًا من الإجابة.

إذن ، ما هو زاحف الويب ، وكيف يعمل؟

ما هو زاحف الويب؟

عندما تبحث عن شيء ما في محرك البحث ، يتعين على المحرك مسح ملايين (أو مليارات) صفحات الويب بسرعة لعرض النتائج الأكثر صلة. برامج زحف الويب (المعروفة أيضًا باسم العناكب أو روبوتات محركات البحث) هي برامج آلية "تزحف" إلى الإنترنت وتجمع معلومات حول صفحات الويب بطريقة يسهل الوصول إليها.

تشير كلمة "الزحف" إلى الطريقة التي تنتقل بها برامج زحف الويب عبر الإنترنت. تُعرف برامج زحف الويب أيضًا باسم "العناكب". يأتي هذا الاسم من الطريقة التي يزحفون بها إلى الويب — مثل كيفية زحف العناكب على شبكات العنكبوت الخاصة بهم.

تقوم برامج زحف الويب بتقييم وتجميع البيانات على أكبر عدد ممكن من صفحات الويب. يفعلون ذلك بحيث يمكن الوصول إلى البيانات بسهولة والبحث فيها ، ومن ثم فهي مهمة جدًا لمحركات البحث.

فكر في زاحف الويب باعتباره المحرر الذي يجمع الفهرس في نهاية الكتاب. وظيفة الفهرس هي إعلام القارئ بمكان ظهور كل موضوع أو عبارة رئيسية في الكتاب. وبالمثل ، يقوم زاحف الويب بإنشاء فهرس يستخدمه محرك البحث للعثور على المعلومات ذات الصلة في استعلام البحث بسرعة.

ما هي فهرسة البحث؟

كما ذكرنا سابقًا ، يمكن مقارنة فهرسة البحث بتجميع الفهرس في الجزء الخلفي من الكتاب. بطريقة ما ، تشبه فهرسة البحث إنشاء خريطة مبسطة للإنترنت. عندما يطرح شخص ما سؤالاً على محرك بحث ، يقوم محرك البحث بتشغيله من خلال فهرسهم ، وتظهر الصفحات الأكثر صلة أولاً.

ولكن كيف يعرف محرك البحث الصفحات ذات الصلة؟

تركز فهرسة البحث بشكل أساسي على أمرين: النص الموجود على الصفحة والبيانات الوصفية للصفحة. النص هو كل ما تراه كقارئ ، في حين أن البيانات الوصفية هي معلومات حول إدخال هذه الصفحة بواسطة منشئ الصفحة ، المعروفة باسم "العلامات الوصفية". تتضمن العلامات الوصفية أشياء مثل وصف الصفحة وعنوان التعريف ، والتي تظهر في البحث النتائج.

ستقوم محركات البحث مثل Google بفهرسة كل النص الموجود على صفحة الويب (باستثناء كلمات معينة مثل "the" و "a" في بعض الحالات). بعد ذلك ، عندما يتم البحث عن مصطلح في محرك البحث ، فإنه سيبحث بسرعة في فهرسه عن الصفحة الأكثر صلة.

كيف يعمل زاحف الويب؟

يعمل زاحف الويب كما يوحي الاسم. يبدأون من صفحة ويب أو عنوان URL معروف ويفهرسون كل صفحة في عنوان URL هذا (في معظم الأحيان ، يطلب أصحاب مواقع الويب من محركات البحث الزحف إلى عناوين URL معينة). عندما يصادفون ارتباطات تشعبية على تلك الصفحات ، سيقومون بتجميع قائمة "مهام" بالصفحات التي سيقومون بالزحف إليها بعد ذلك. سيستمر زاحف الويب في هذا الأمر إلى أجل غير مسمى ، باتباع قواعد معينة حول الصفحات التي يتم الزحف إليها والتي يجب تجاهلها.

لا تقوم برامج زحف الويب بالزحف إلى كل صفحة على الإنترنت. في الواقع ، تشير التقديرات إلى أن 40-70٪ فقط من الإنترنت تمت فهرستها للبحث (والتي لا تزال مليارات الصفحات). تم تصميم العديد من برامج زحف الويب للتركيز على الصفحات التي يعتقد أنها أكثر "موثوقية". موثوق تلائم الصفحات عددًا قليلاً من المعايير التي تزيد من احتمالية احتوائها على جودة عالية أو إقبال كبير معلومة. تحتاج برامج زحف الويب أيضًا إلى إعادة زيارة الصفحات باستمرار عند تحديثها أو إزالتها أو نقلها.

العامل الأخير الذي يتحكم في الصفحات التي سيقوم زاحف الويب بالزحف إليها هو بروتوكول robots.txt أو بروتوكول استبعاد برامج الروبوت. سيستضيف خادم صفحة الويب ملف robots.txt الذي يحدد القواعد لأي زاحف ويب أو برامج أخرى تصل إلى الصفحة. سيستبعد الملف الزحف إلى صفحات معينة والروابط التي يمكن للزاحف اتباعها. يتمثل أحد أغراض ملف robots.txt في الحد من الضغط الذي تضعه الروبوتات على خادم موقع الويب.

لمنع زاحف الويب من الوصول إلى صفحات معينة على موقع الويب الخاص بك ، يمكنك إضافة علامة "عدم السماح" عبر ملف robots.txt أو أضف noindex meta tag للصفحة المعنية.

ما الفرق بين الزحف والقشط؟

تجريف الويب هو استخدام برامج الروبوت لتنزيل البيانات من موقع ويب بدون إذن هذا الموقع. في كثير من الأحيان ، يتم استخدام تجريف الويب لأسباب ضارة. غالبًا ما يأخذ تجريف الويب كل تعليمات HTML البرمجية من مواقع ويب محددة ، وستأخذ أدوات الكشط الأكثر تقدمًا أيضًا عناصر CSS و JavaScript. أدوات تجريف الويب يمكن استخدامها لتجميع المعلومات حول مواضيع معينة بسرعة وسهولة (على سبيل المثال ، قائمة المنتجات) ولكن يمكن أيضًا التجول فيها المناطق الرمادية وغير القانونية.

من ناحية أخرى ، فإن زحف الويب هو فهرسة المعلومات على مواقع الويب بإذن حتى يمكن أن تظهر بسهولة في محركات البحث.

أمثلة لبرامج زحف الويب

يحتوي كل محرك بحث رئيسي على واحد أو أكثر من برامج زحف الويب. على سبيل المثال:

• جوجل لديها Googlebot
• لدى Bing Bingbot
• DuckDuckGo لديه DuckDuckBot.

تمتلك محركات البحث الأكبر حجمًا مثل Google روبوتات محددة لمختلف المجالات ، بما في ذلك Googlebot Images و Googlebot Videos و AdsBot.

كيف يؤثر زحف الويب على تحسين محركات البحث؟

إذا كنت تريد أن تظهر صفحتك في نتائج محرك البحث ، فيجب أن تكون الصفحة متاحة لبرامج زحف الويب. اعتمادًا على خادم موقع الويب الخاص بك ، قد ترغب في تخصيص وتيرة معينة للزحف ، والصفحات التي يقوم الزاحف بفحصها ، ومقدار الضغط الذي يمكن أن يمارسه على الخادم الخاص بك.

بشكل أساسي ، تريد أن تعمل برامج زحف الويب على الصفحات المليئة بالمحتوى ، ولكن ليس على صفحات مثل رسائل الشكر وصفحات الإدارة ونتائج البحث الداخلية.

المعلومات في متناول يدك

أصبح استخدام محركات البحث طبيعة ثانية بالنسبة لمعظمنا ، ومع ذلك فليس لدى معظمنا أي فكرة عن كيفية عملها. تعد برامج زحف الويب أحد الأجزاء الرئيسية لمحرك بحث فعال وتقوم بشكل فعال بفهرسة المعلومات حول الملايين من مواقع الويب المهمة كل يوم. إنها أداة لا تقدر بثمن لأصحاب مواقع الويب والزوار ومحركات البحث على حد سواء.

البرمجة مقابل. تطوير الويب: ما هو الفرق؟

قد تعتقد أن مبرمجي التطبيقات ومطوري الويب يقومون بنفس الوظيفة ، لكن هذا بعيد كل البعد عن الحقيقة. فيما يلي الاختلافات الرئيسية بين المبرمجين ومطوري الويب.

اقرأ التالي

نبذة عن الكاتب