كيف يمكنك تحديد حركة مرور الروبوتات والقضاء عليها؟

يُشار إلى كل حركة المرور غير البشرية التي تصل إلى الموقع باسم حركة مرور الروبوت.

سيتلقى موقع الويب الخاص بك في النهاية زيارات من عدد محدد من الروبوتات، سواء كان موقعًا إخباريًا معروفًا أو شركة صغيرة تم إطلاقها مؤخرًا.

غالبًا ما يتم تفسير حركة الروبوتات على أنها مدمرة في جوهرها؛ ومع ذلك، هذا ليس صحيحا دائما. 

مما لا شك فيه أن سلوك الروبوت المحدد يهدف إلى أن يكون عدائيًا ويمكن أن يضر بالبيانات. 

يمكن في بعض الأحيان استخدام برامج زحف الويب لتجميع البيانات أو هجمات DDoS (رفض الخدمة الموزعة) أو حشو بيانات الاعتماد.

استراتيجيات مثبتة لتحديد وإزالة حركة مرور الروبوت

يمكن لخبراء الويب فحص طلبات الوصول المباشر إلى الشبكة إلى مواقع الويب لاكتشاف حركة مرور الروبوتات المحتملة. 

يمكن أيضًا المساعدة في اكتشاف حركة مرور الروبوتات من خلال أداة تحليلات الويب المدمجة. ومع ذلك، دعونا أولاً نلقي نظرة على بعض المعلومات المهمة المتعلقة بالروبوتات قبل أن نتناول العيوب، وهي السمات المميزة لنشاط الروبوت.

ما هي حركة المرور الجيدة للبوت؟

الروبوتات أدناه جديرة بالثقة وموجودة لتقديم إجابات مفيدة للتطبيقات ومواقع الويب

1. الروبوتات لمحركات البحث

الروبوتات الجيدة الأكثر وضوحًا وشعبية هي روبوتات البحث على الويب. تزحف هذه الروبوتات عبر الإنترنت وتساعد مالكي المواقع في عرض مواقع الويب الخاصة بهم في نتائج بحث Bing وGoogle وYahoo. هم أدوات مفيدة لتحسين محركات البحث (تحسين محرك البحث).

2. مراقبة الروبوتات

يمكن للناشرين التأكد من أن موقعهم آمن وقابل للاستخدام ويقدم أفضل أداء من خلال مراقبة الروبوتات. يقومون بالتحقق مما إذا كان موقع الويب لا يزال متاحًا للوصول إليه عن طريق فحصه بشكل دوري.

تفيد هذه الروبوتات مالكي المواقع حيث يقومون بإخطار الناشرين على الفور في حالة حدوث عطل ما أو تعطل موقع الويب.

3. برامج زحف تحسين محركات البحث (SEO).

تستخدم برامج زحف تحسين محركات البحث (SEO) الخوارزميات لاسترداد وتحليل موقع الويب ومنافسيه لتقديم معلومات ومقاييس حول نقرات الصفحة والزوار والنص. 

بعد ذلك، يمكن لمسؤولي الويب الاستفادة من هذه الأفكار لتصميم المحتوى الخاص بهم لزيادة أداء البحث العضوي وتدفق الإحالة.

4. روبوتات حقوق الطبع والنشر

لضمان عدم استخدام أي شخص للمواد المحمية بحقوق الطبع والنشر بشكل غير مصرح به، تبحث روبوتات حقوق الطبع والنشر عبر الإنترنت عن الصور المحمية بموجب القانون.

ما الذي يتم تعريفه على أنه حركة مرور سيئة للروبوتات؟

على عكس الروبوتات المفيدة التي ناقشناها سابقًا، يمكن أن يؤثر نشاط الروبوت الضار على موقعك ويسبب ضررًا كبيرًا عند تركه دون تحديد. 

يمكن أن تتراوح النتائج من إرسال رسائل غير مرغوب فيها أو تضليل الزائرين إلى أشياء أكثر إزعاجًا، مثل الاحتيال في الإعلانات.

1. شبكات DDoS

من بين أكثر الروبوتات شهرة وخطورة هي روبوتات DDoS.

يتم تثبيت هذه البرامج على أجهزة الكمبيوتر المكتبية أو المحمولة لأهداف غير مقصودة ويتم استخدامها لإسقاط موقع أو خادم معين.

2. كاشطات الويب 

تقوم أدوات استخراج بيانات الويب بجمع مواقع الويب للحصول على معلومات قيمة مثل عناوين البريد الإلكتروني أو تفاصيل الاتصال. وفي حالات نادرة، يمكنهم نسخ النصوص والصور من المواقع واستخدامها دون تصريح على بعض مواقع الويب أو حسابات الوسائط الاجتماعية الأخرى.

تنتج العديد من الروبوتات المتقدمة حركة مرور ضارة تذهب فقط إلى المعلنين المدفوعين. ترتكب هذه الروبوتات عمليات احتيال إعلانية بدلاً من تلك التي تؤدي إلى حركة مرور غير مرغوب فيها على موقع الويب. وكما يوحي المصطلح، فإن حركة المرور الآلية هذه تولد زيارات للإعلانات المدفوعة وتكلف وكالات الإعلان تكاليف كبيرة.  

لدى الناشرين عدة أسباب لاستخدام تقنيات الكشف عن الروبوتات للمساعدة في تصفية حركة المرور غير المشروعة، والتي غالبًا ما يتم تمويهها كحركة مرور عادية.

3، ماسحات الضعف

تقوم العديد من الروبوتات الضارة بفحص ملايين المواقع بحثًا عن نقاط الضعف وإخطار مطوريها بها. تم تصميم هذه الروبوتات الضارة لتوصيل البيانات إلى أطراف ثالثة، والتي يمكنها بعد ذلك بيع البيانات واستخدامها للتسلل إلى المواقع الرقمية، على عكس الروبوتات الشرعية التي تنبه المالك.

4. روبوتات البريد العشوائي

يتم إنشاء برامج الروبوت غير المرغوب فيها في المقام الأول لترك التعليقات على سلسلة مناقشة صفحة الويب التي أنشأها مؤلف الروبوت.

على الرغم من أن اختبارات CAPTCHA (اختبار تورينج العام المؤتمت بالكامل للتمييز بين أجهزة الكمبيوتر والبشر) تهدف إلى فحص عمليات التسجيل التي تعتمد على البرامج، إلا أنها قد لا تكون فعالة دائمًا في منع هذه الروبوتات من إنشاء الحسابات.

كيف تؤثر الروبوتات على أداء موقع الويب؟

المنظمات التي لا تفهم كيفية التعرف على المقبض ومسح حركة مرور الروبوتات قد تدمرها. 

مواقع الويب التي تقدم سلعًا وسلعًا ذات عرض منخفض وتعتمد على الإعلانات تكون معرضة للخطر بشدة.

الروبوتات التي تزور مواقع الويب التي تحتوي على إعلانات عليها وتتفاعل مع عناصر الصفحة المختلفة قد تتسبب في نقرات زائفة على الصفحة. 

يُطلق عليه اسم النقر الاحتيالي، وعلى الرغم من أنه قد يؤدي إلى زيادة إيرادات الإعلانات في البداية، بمجرد أن تحدد منصات الإعلان الرقمية عملية الاحتيال، ستتم عادةً إزالة موقع الويب والمشغل من نظامهم.

قد تقوم روبوتات اكتناز المخزون بشكل أساسي بإغلاق مواقع التجارة الإلكترونية ذات المخزون القليل عن طريق حشو العربات بأطنان من البضائع، مما يمنع العملاء الحقيقيين من إجراء عمليات شراء.

قد يتباطأ موقع الويب الخاص بك عندما يطلب منه الروبوت البيانات بشكل متكرر. وهذا يعني أن موقع الويب سيتم تحميله ببطء لجميع المستخدمين، مما قد يؤثر بشكل خطير على الأعمال التجارية عبر الإنترنت. 

في الحالات القصوى، يمكن أن يؤدي نشاط الروبوت المفرط إلى تعطل موقع الويب الخاص بك بالكامل.

أصبحت روبوتات الزحف لبحث الويب أكثر ذكاءً بشكل متزايد مع انتقالنا إلى مستقبل أكثر تقدمًا من الناحية التكنولوجية. 

وفقا لاستطلاع، شكلت الروبوتات أكثر من 41% من إجمالي حركة المرور على الإنترنت في عام 2021 - حيث تمثل الروبوتات الضارة أكثر من 25% من إجمالي حركة المرور.

يمكن لناشري الويب أو المصممين اكتشاف نشاط الروبوت من خلال النظر في استعلامات الشبكة التي يتم إجراؤها على مواقع الويب الخاصة بهم. 

يمكن المساعدة بشكل أكبر في تحديد الروبوتات في حركة مرور الويب باستخدام نظام أساسي للتحليلات مضمن مثل Google Analytics.

كيف يمكن لبرنامج Google Analytics اكتشاف حركة مرور الروبوتات وحظرها؟

هناك عدة طرق مباشرة لحظر موقع الويب الخاص بك حركة مرور روبوت Google Analytics. هنا هو الخيار الأول:

• قم بالتسجيل للحصول على ملف تعريف Google Analytics أولاً.
• انتقل إلى وحدة تحكم المشرف في Google Analytics.
• بعد ذلك، حدد خيار العرض ثم عرض الإعدادات.
• للوصول إلى خيار Bot Filtering، قم بالتمرير لأسفل.
• إذا لم يتم تحديد خانة الاختيار، فاضغط على "فحص".
• ثم انقر فوق حفظ.

الخيار الثاني هو إنشاء مرشح لمنع أي نشاط غير طبيعي تجده. 

يمكنك إنشاء عرض جديد حيث يتم تعطيل خانة الاختيار Bot والمرشحات التي تقضي على حركة المرور الضارة.  

أضف المعيار إلى العرض الرئيسي بعد التأكد من أنه فعال.

ثالثًا، يمكنك الاستفادة من قائمة استبعاد الإحالة، والتي يمكن العثور عليها في منطقة الإدارة أسفل معلومات التتبع داخل حقل الملكية. 

يمكنك إزالة المواقع من مقاييس Google Analytics باستخدام هذه القائمة. ونتيجة لذلك، يمكنك استبعاد أي عناوين URL مشتبه بها (محددات مواقع الموارد) من بياناتك اللاحقة عن طريق دمجها في قائمة التحقق هذه.

كيفية اكتشاف نشاط الروبوت على مواقع الويب؟

1. مشاهدات عالية للصفحة بشكل غير عادي

عادةً ما يقع اللوم على الروبوتات عندما يشهد الموقع زيادة مفاجئة وغير متوقعة وغير مسبوقة في زيارات الصفحة.

2. معدلات ارتداد مرتفعة بشكل غير عادي

معدل الارتداد هو نسبة الزوار الذين يصلون إلى موقعك ولكنهم لا يفعلون أي شيء آخر أثناء وجودهم هنا. يمكن أن تشير الزيادة غير المتوقعة في معدلات الارتداد إلى أنه تم توجيه الروبوتات إلى صفحة معينة.

3. فترات الجلسة الطويلة أو القصيرة بشكل غير متوقع

يُعرف الوقت الذي يقضيه الزوار على الموقع بمدة الجلسة. تتطلب الطبيعة البشرية أن يستمر هذا في الثبات المستمر. ومع ذلك، من المحتمل أن يكون الارتفاع غير المتوقع في مدة الجلسة بسبب تصفح الروبوت للموقع ببطء غير معتاد. من ناحية أخرى، إذا كانت مدة الجلسة موجزة، فقد يقوم الروبوت بالزحف إلى صفحات الويب بسرعة أكبر بكثير من الشخص.

4. تحويلات غير المرغوب فيه

يمكن استخدام النمو في نسبة التحويلات المزيفة لتحديد التحويلات غير المرغوب فيها - والتي تظهر كزيادة في إنشاء ملفات تعريف بحسابات بريد إلكتروني غير منطقية أو إكمال نماذج الويب التي تحتوي على اسم ورقم هاتف محمول وعنوان مزيف.5. زيادة عدد الزوار من موقع مفاجئ.

من العلامات الشائعة الأخرى لنشاط الروبوتات الزيادة الحادة في حركة المرور على الويب من منطقة جغرافية معينة، خاصة عندما يكون من المشكوك فيه أن يتحدث السكان الأصليون اللغة المستخدمة لإنشاء موقع الويب.

كيف يمكنك إيقاف حركة الروبوتات على مواقع الويب؟

بمجرد أن تتقن شركة أو مؤسسة فن اكتشاف حركة مرور الروبوت، فمن المهم أيضًا أن تكتسب الخبرة والموارد اللازمة لمنع حركة مرور الروبوت من الإضرار بموقعها على الويب.

يمكن للموارد التالية تقليل التهديدات:

1. التحكيم القانوني

الدفع مقابل حركة المرور عبر الإنترنت لضمان تحقيق عائد مرتفع PPC (الدفع بالنقرة) أو المبادرات القائمة على التكلفة لكل ألف ظهور (تكلفة الألف) تسمى "المراجحة المرورية". 

يمكن لمالكي مواقع الويب فقط تقليل فرص حركة مرور الروبوتات الضارة عن طريق شراء حركة المرور من مقدمي خدمات ذوي سمعة طيبة.

2. ملف Robots.txt

يمكن أن يساعد هذا البرنامج المساعد في منع الروبوتات الضارة من الوصول إلى موقع الويب.

3. التنبيهات باستخدام جافا سكريبت

يمكن لمالكي الموقع إضافة تنبيهات JavaScript ذات الصلة لتلقي الإشعارات في أي وقت يدخل فيه الروبوت إلى موقع الويب.

4. قوائم DDoS

يمكن للناشرين تقليل كمية الاحتيال في DDoS عن طريق تجميع قائمة عناوين IP (بروتوكول الإنترنت) المرفوضة ومنع محاولات الزيارة هذه على مواقعهم.

5. اختبارات استجابات تحدي النوع

يعد استخدام اختبار CAPTCHA في نموذج الاشتراك أو التنزيل من بين أسهل الطرق وأكثرها شيوعًا لتحديد حركة مرور الروبوتات. إنه مفيد لمنع برامج البريد العشوائي والتنزيلات.

6. ملفات الدخول

يمكن أن يساعد تحليل سجلات أخطاء الخادم مسؤولي الويب بمقاييس قوية ومعرفة تحليلات البيانات في تحديد أخطاء مواقع الويب المرتبطة بالروبوت وحلها.

وفي الختام

لا ينبغي تجاهل حركة مرور الروبوتات لأنها قد تكون مكلفة لأي شركة لها تواجد على الويب. 

على الرغم من وجود طرق متعددة للحد من حركة مرور الروبوتات الضارة، إلا أن شراء حل مخصص للتحكم في الروبوتات هو الأكثر فعالية.

السيرة الذاتية للمؤلف: يعمل Atreyee Chowdhury بدوام كامل كمدير محتوى لدى شركة Fortune 1 العملاقة للبيع بالتجزئة. إنها شغوفة بالكتابة وساعدت العديد من الشركات الصغيرة والمتوسطة الحجم على تحقيق أهدافها التسويقية للمحتوى من خلال محتواها المقنع والمُصمم بعناية. يمكنك متابعتها لينكدين:.