429 خطأ: كيف يمكن للروبوتات والأدوات الداخلية زيادة تحميل موقعك

خطأ 429 - "الكثير من الطلبات" - رصد عندما يضرب شيء ما موقعك بشكل متكرر في فترة زمنية قصيرة. في البداية ، قد يبدو الأمر بمثابة مشكلة صغيرة أو مجرد خادمك يحاول إدارة حركة المرور.

لكن في كثير من الحالات ، ليس اندفاعًا من الزوار الحقيقيين الذين يسببون المشكلة - إنها روبوتات.بعضها مفيد ، مثل GoogleBot.يمكن للآخرين ، مثل الكاشطات أو الأدوات العدوانية ، زيادة تحميل موقعك دون معنى.وأحيانًا ، لا يكون الجاني خارجيًا على الإطلاق - إنه برنامجك أو أنظمة المراقبة التي تسبب الخطأ.

ما الذي يسبب بالفعل خطأ 429؟

خطأ 429 هو طريقة خادمك في قول:

"أنت ترسل الكثير من الطلبات بسرعة كبيرة.التراجع قليلاً."

عادةً ما ترتبط هذه الاستجابة بحد الأسعار ، ويمكن استخدام مواقع الويب وواجهة برمجة التطبيقات للسيطرة على عدد الطلبات التي يمكن أن يرسلها عميل واحد (مثل المتصفح أو الزاحف أو البرنامج النصي) على مدار فترة زمنية.

على الرغم من أنه من الممكن أن يأتي التدفق المفاجئ لحركة المرور من زيادة في المستخدمين الحقيقيين ، إلا أنه في كثير من الأحيان نتيجة للنشاط الآلي.هذه الروبوتات والأدوات ليست ضارة بالضرورة ، لأن الكثير من الإنترنت يعتمد عليها للتعامل مع المهام المتكررة دون مدخلات بشرية.ولكن عندما يرسلون الكثير من الطلبات بسرعة كبيرة ، يمكنهم تشغيل خطأ 429 عن غير قصد.

من الذي يرسل الكثير من الطلبات؟

من السهل افتراض أن الارتفاع هو من زيادة حركة المرور أو حتى النشاط الخبيث.لكن في كثير من الحالات ، يقع السبب في إحدى هذه المجموعات:

• زحف محرك البحث: برامج الروبوت مثل Googlebot و BingBot والآخرين يقومون بمسح موقع الويب الخاص بك للمسح الإلكترونية للحفاظ على فهارس البحث الخاصة بهم محدثة - وهذا أمر جيد عادة.ومع ذلك ، لا يزال بإمكانهم زيادة تحميل الخادم إذا تم تحديث الموقع بشكل متكرر أو يحتوي على العديد من الصفحات المتشابكة.
• أدوات SEO: أدوات مثل Screaming Frog و Ahrefs و Semrush محاكاة سلوك الروبوت لتدقيق موقع الويب الخاص بك.يمكنهم إرسال مئات أو آلاف الطلبات في وقت قصير للتحقق من كل صفحة ، وربط ، وعلامة.بدون إعدادات الخانق المناسبة ، يمكن لهذه الأدوات أن تطغى على خادم الويب.
• كاشطات الموقع: هذه عادة لا ترحب.غالبًا ما يتم استخدام الكاشطات لاستخراج البيانات مثل التسعير أو المراجعات أو أوصاف المنتج.لا يتبع الكثيرون سلوك الروبوت المهذب وقد يضربون بعض الصفحات مرارًا وتكرارًا أو يحاولون تنزيل موقعك بأكمله.
• شاشات وبرامج النصوص في الوقت المناسب: إذا تم ضبط هذه على تشغيلها بشكل متكرر أو بدون فترات ذكية ، فيمكنها أن تتصرف عن غير قصد مثل حركة البريد العشوائي.
• الخدمات الداخلية: يمكن أن تطغى بنية التحتية الخاصة بك - مثل وظائف CRON أو واجهات برمجة التطبيقات أو التكامل - على موقعك بطريق الخطأ ، خاصة إذا لم تكن مصممة لاحترام الحدود.

خلاصة القول: هؤلاء ليسوا أشخاصًا يتصفحون موقعك - فهي العمليات الآلية.بعضها مفيد ، بعضها ليس كذلك ، لكن في كلتا الحالتين ، يمكنهم زيادة تحميل البنية التحتية الخاصة بك ، خاصة إذا لم يتم تصميم الخادم الخاص بك للتعامل مع المسامير المفاجئة مثل تلك التي تحدث أثناء هجمات DDoS.

كيفية تعقب مصدر الخطأ 429

قبل إجراء تغييرات على حدود معدل موقعك أو إعدادات جدار الحماية ، فإنه يساعد على معرفة بالضبط سبب المشكلة.

ابدأ بالسجلات:

• سجلات الخادم: هذه هي المكان الأول للتحقق.أنت تبحث عن عناوين IP أو وكلاء المستخدمين أو المسارات التي تظهر مرارًا وتكرارًا خلال إطار زمني قصير.تتضمن ملفات السجل الشائعة Access.log لـ Apache أو Access.log/error.log لـ nginx.ابحث عن الطلبات التي تُرجع رمز الحالة 429.
• سجلات الحد الأقصى للمعدل (إذا كان لديك): توفر بعض الخدمات (مثل بوابات API أو الوكلاء أو شبكات تسليم المحتوى) سجلات مخصصة للحد من الأسعار.يمكن أن تحدد هذه الطلبات التي تجاوزت العتبة ، التي جاءت منها IP ، والتي تم الوصول إلى نقطة النهاية.
• أنماط: مشاهدة لعلامات واضحة للأتمتة.يطلب ذلك:
  • لا تحمل ملفات تعريف الارتباط أو الرؤوس نموذجية للمتصفح
  • استخدم عوامل مستخدم عامة أو مشبوهة مثل Python-requests أو حليقة أو كاشطات مخصصة
  • تأتي من مقدمي الاستضافة المعروفين أو مراكز البيانات (AWS ، Azure ، Hetzner ، إلخ)

بمجرد ظهور نمط ما ، يمكنك أن تقرر ما إذا كانت حركة المرور جيدة (على سبيل المثال ، GoogleBOT) أو تحتاج إلى حظر أو إبطاء.

هل تم إعداد سعرك بشكل صحيح؟

يساعد الحد من المعدل على منع موقعك من التحميل الزائد ، ولكن إذا كان عدوانيًا جدًا ، فقد يمنع حركة المرور المفيدة أيضًا - القضاء على مشكلات مثل 504 Gateway Timeout Errors.يمكن للتكوين الصحيح منع سوء المعاملة دون منع حركة المرور المشروعة.

أشياء يجب التفكير فيها:

• طريقة الحد: هل تقوم بتتبع طلبات عنوان IP أو رمز API أو جلسة المستخدم أو أي شيء آخر؟يعد الحد المستند إلى IP شائعًا ، ولكن قد لا يكون فعالًا إذا شارك العديد من المستخدمين في نفس IP.
• نوع الحد:
  • نافذة ثابتة: حدود الطلبات على فترات ثابتة (على سبيل المثال ، 100 طلب في الدقيقة).من السهل التنفيذ ، ولكن يمكن أن يتم التمسك.
  • النافذة المنزلق: أكثر مرونة ، ينتشر الطلبات مع مرور الوقت.
  • رمز رمزي أو دلو المتسرب: يسمح برشقات عرضية ولكن يتحكم في المعدل الإجمالي.
• الرؤوس والردود: تأكد من أنك تعيد الرؤوس مثل إعادة المحاولة ، لذا فإن الروبوتات والأدوات تعرف متى تتوقف مؤقتًا والمحاولة مرة أخرى.هذا يحسن التوافق مع زحف الرفاهية.
• عتبات مخصصة: لا تعامل كل حركة المرور على قدم المساواة.قد تسمح بمزيد من الطلبات للمستخدمين الذين يتم تسجيل الدخول أو البحث عن روبوتات أو أدوات داخلية مع الحفاظ على مقود أكثر إحكاما على الزوار غير المعروفين أو غير المصححين.

في نهاية اليوم ، إنه فعل موازنة - إذا كانت حدود المعدل ضيقة للغاية ، فيمكنك منع الروبوتات المشروعة أو منع المستخدمين من الوصول إلى موقعك.إذا كانت فضفاضة للغاية ، يمكن أن تأكل الروبوتات السيئة الموارد أو ما هو أسوأ.

دع الروبوتات الجيدة من خلال

تعد محركات البحث وأدوات تحسين محركات البحث الموثوق بها ضرورية للرؤية والأداء.تريد السماح لهم بالدخول - ولكن بطريقة تسيطر عليها.

هذا ما يساعد:

• robots.txt و Crawl Delay: يمكنك استخدام توجيه Drawlay Delay لإخبار الروبوتات لإبطاء.هذا لا يكرم من قبل جميع الزحف ، ولكن البعض ، وخاصة تلك اللطيفة ، يحترمونه.
• الروبوتات الموثوق بها القائمة البيضاء: راجع سلاسل وكيل المستخدم في سجلاتك لتحديد Googlebot و BingBot وغيرها.تأكيدهم عكس الشيكات DNS لتجنب المحتالين.
• ضبط حدود المعدل للأدوات المعروفة: تعيين حدود معدل أو استثناءات بناءً على وكلاء المستخدمين المعروفين أو نطاقات IP التي تم التحقق منها.على سبيل المثال ، السماح لـ GoogleBot بحد أعلى طلب أو مهلة جلسة أطول من زاحف غير معروف.
• حدود معدل منفصلة: إذا كنت تقوم بتشغيل موقع API أو موقعًا ثقيلًا للمحتوى ، فاستخدم قواعد مميزة للزوار البشريين مقابل الأدوات الآلية.

وبهذه الطريقة ، يمكن لبحث الروبوتات القيام بعملهم دون أن يطغى على البنية التحتية الخاصة بك.

كيفية التعامل مع الروبوتات السيئة والزحف

بعض الروبوتات مسيئة بشكل واضح.إنهم غير مهتمين بفهرسة المحتوى الخاص بك - يحاولون كشطه أو نسخه أو البحث عن نقاط الضعف.هذه تحتاج إلى حظر أو إدارتها بشكل أكثر عدوانية.

طرق للتعامل معهم:

• حظر من قبل وكيل المستخدم: إذا رأيت مرتكبي الجرائم المتكررة باستخدام وكلاء مستخدمين محددين ، فمنعهم htaccessأو تكوين الخادم الخاص بك أو WAF (جدار حماية تطبيق الويب).
• حظر بواسطة IP أو ASN: استخدم قواعد جدار الحماية لمنع حركة المرور من IPS محددة أو حتى شبكات الاستضافة بأكملها إذا كانت الإساءة تأتي من مراكز البيانات.
• استخدم WAF: يمكن لجدار الحماية على تطبيق الويب اكتشاف أنماط مسيئة وحظرها تلقائيًا - مثل الكثير من الطلبات لتسجيل الدخول إلى صفحات أو نقاط نهاية البحث.
• أضف احتكاك خفيف الوزن: في الصفحات الحساسة (مثل نقاط البحث أو التسعير) ، أضف تحديات JavaScript أو Captcha الأساسية.هذا يوقف معظم أدوات غير المربعات دون إيذاء تجربة المستخدم.
• تتبع الإساءة مع مرور الوقت: قم بإنشاء قائمة حظر يتم التحديث تلقائيًا عندما يقوم الروبوت بإعداد انتهاكات حد متعددة للمعدل.

لا تنس أدواتك الخاصة

من السهل التركيز على حركة المرور الخارجية عند التعامل مع 429 خطأ - لكن بعض أسوأ المجرمين قد يكونون أدوات أنت أو فريقك.يمكن للنصوص الداخلية أو عمليات تدقيق SEO أو شاشات التشغيل أو لوحات المعلومات إغراق موقعك بالطلبات بسهولة مثل روبوتات الطرف الثالث.

الفرق؟لديك سيطرة كاملة على هذه.

المصادر الداخلية المشتركة للحمل الزائد

حتى الأدوات المصممة للمساعدة يمكن أن تتسبب في مشاكل عند تكوينها:

SEO Crawlers (مثل الصراخ الضفدع ، Semrush و Ahrefs)
تزحف هذه الأدوات موقعك بالكامل لتدقيق البيانات الوصفية والروابط والصحة التقنية.

إذا تم تعيينه لاستخدام التزامن العالي (على سبيل المثال ، 10+ من المواضيع) وعدم تأخير الزحف ، فيمكنهم التغلب على الخادم الخاص بك ، وخاصة على بيئات المشتركة أو المنتسم.

البرامج النصية المخصصة أو الروبوتات الداخلية
قد يكون لديك برامج نصية للاستعلام عن نقاط نهاية واجهة برمجة التطبيقات الخاصة بك لتحليل البيانات أو الاختبار أو التدريج.

إذا لم تتضمن حدود أو تأخيرات أو تخزين مؤقت ، فيمكنهم أن يطبقوا طلبك عن غير قصد - في بعض الأحيان يعمل كل دقيقة عبر CRON.

أدوات مراقبة الموقع
يمكن أن تكون الأدوات التي تفحص وقت التشغيل أو أوقات الاستجابة أو أداء الصفحة صاخبة إذا تم تعيينها للتحقق بشكل متكرر.

قد يبدو التحقق من صفحتك الرئيسية كل 15 ثانية غير ضارة - لكن تضاعف ذلك حسب مناطق أو خدمات متعددة ويضيف بسرعة.

كيفية الحفاظ على الأدوات الداخلية قيد الاختيار

والخبر السار هو أن حركة المرور الداخلية هي الأسهل لإصلاحها - لأنك تتحكم في السلوك.

انخفاض سرعة الزحف والتزامن
في أدوات مثل صراخ الضفدع:

• تقليل عدد المواضيع أو الاتصالات المتزامنة.
  
• أضف تأخير الزحف لبضع ثوان بين الطلبات.
  
• إذا كنت تقوم بتدقيق مواقع متعددة ، فقم بتشغيل الزحف حتى لا يتم تشغيلها مرة واحدة.

حتى أن الانخفاض من 10 مؤشرات ترابط إلى 2 يمكن أن يقطع سلالة الخادم بشكل كبير دون فقدان الوظائف.

استخدم التخزين المؤقت كلما أمكن ذلك

• Cache API استجابات لوحات المعلومات الداخلية أو الأدوات التي لا تحتاج إلى بيانات في الوقت الفعلي.
  
• يقوم Cache Homepage بفحص أو لقطات الموقع في أدوات المراقبة للفواصل الزمنية التي من المحتمل أن يتغير فيها شيء.

هذا يقلل من الحاجة إلى ضرب طلبك مرارًا وتكرارًا للحصول على نفس النتائج.

قم بتشغيل عمليات التدقيق والمسح خلال ساعات المرور المنخفضة

• الزحف الجدول الزحف والبرامج النصية الداخلية للتشغيل خلال ساعات الليل أو في الصباح الباكر (في المنطقة الزمنية لخادمك).
  
• هذا يتجنب التداخل مع الفترات التي يستخدمها العملاء أو الزوار موقعك.

إذا كان موقعك عالميًا ، ففكر في تقسيم عمليات التدقيق عبر المناطق أو النوافذ الزمنية.

بناء منطق إعادة المحاولة في البرامج النصية

• لا تدع البرامج النصية تطرح الخادم إذا حصلوا على استجابة 429.
  
• أضف منطقًا للانتظار أو التراجع عندما تظهر هذه الحالة-احترم أي رؤوس محاكمة بعد ذلك إذا كانت موجودة.
  
• يمكن أن يمنع التأخير القصير أو نهج التراجع الأسي (الانتظار لفترة أطول بعد كل إعادة المحاولة) حلقة التغذية المرتدة لإعادة المحاكمات التي تجعل المشكلة أسوأ

توثيق ومراجعة وظائفك الخاصة

• احتفظ بسجل مشترك تقوم به البرامج النصية أو الأدوات التي تتصل بموقع الويب الخاص بك ، وعدد المرات ومتى.
  
• إذا ظهرت مشكلة جديدة 429 ، سيكون لديك مكان واضح للبدء في البحث قبل افتراض أنه مصدر خارجي.

ما يمكنك فعله على المدى الطويل

بمجرد أن تتبع وتوقف عن سبب الأخطاء البالغ عددها 429 ، فمن الذكاء أن يفكر في المستقبل.يعد إصلاح المشكلة الحالية جزءًا فقط من العمل - الآن حان الوقت لمنع نفس المشكلة من الظهور مرة أخرى.

فيما يلي بعض الخطوات العملية للمساعدة في إبقاء الأمور مستقرة على المدى الطويل:

استخدم رأس إعادة المحاولة

إذا كان الخادم الخاص بك يعيد 429 ، فمن الجيد تضمين رأس إعادة المحاولة في الاستجابة.هذا يخبر الروبوتات والأدوات الآلية كم من الوقت للانتظار قبل المحاولة مرة أخرى.

• على سبيل المثال ، Retry-بعد: 120 يطلب من العميل الانتظار 120 ثانية.
  
• معظم الروبوتات التي تُفصل جيدًا-بما في ذلك Googlebot-ستكرم هذا وتبطئ الزحف.

لن يوقف الكاشطات أو الأدوات المسيئة التي تتجاهل الرؤوس ، ولكنها تقدم خدمات مشروعة للتراجع تلقائيًا دون التسبب في مزيد من المشكلات.

مكان تطبيقه:

• تكوين خادم الويب (Apache ، Nginx).
  
• استجابات على مستوى التطبيق (لبرامج واجهات برمجة التطبيقات أو تطبيقات الويب باستخدام أطر مثل Express ، Flask ، إلخ)

مراقبة حركة الروبوت بانتظام

لا تنتظر حتى تنكسر الأشياء.القليل من الرؤية تقطع شوطا طويلا.

• قم بإعداد مراجعات السجل أو لوحات المعلومات أو التقارير التي تتبع النشاط من الزواحف المعروفة.
  
• راقب التغييرات في السلوك - مثل زاحف يضرب أقسامًا جديدة من موقعك أو إرسال طلبات أكثر شيوعًا من المعتاد.
  
• راقب وكلاء المستخدمين الجدد أو كتل IP غير المتوقعة.يمكن أن تكون هذه علامات مبكرة على الكشط أو الإساءة.

الأدوات التي يمكنك استخدامها:

• سجلات الوصول (التي تم تحليلها بشيء مثل goaccess أو awstats).
  
• أدوات تحليل الخادم (مثل NetData أو Grafana أو Prometheus).
  
• ميزات إدارة الروبوت في CloudFlare أو WAF الخاص بك.

ضبط حدود المعدل عند نموك

حدود الأسعار ليست "تعيينها وتنسى ذلك".مع زيادة حركة المرور الخاصة بك ، تتغير المحتوى ، أو تتطور البنية التحتية الخاصة بك ، فإن العتبات التي وضعتها في وقت سابق قد تصبح عدوانية للغاية - أو مريحة للغاية.

راجع سياسات الحد من المعدل بانتظام:

• هل تستخدم الطريقة الصحيحة (المستند إلى IP ، المستند إلى المستخدم ، وما إلى ذلك)؟
  
• هل تحمي نقاط النهاية ذات الحرية العالية؟
  
• هل ما زالت الأدوات المشروعة محظورة عن طريق الخطأ؟

قد تحتاج إلى زيادة الحد على بعض المسارات أو تقليله على الآخرين.يمكنك أيضًا تجربة استخدام خوارزمية نافذة منزلق بدلاً من نافذة ثابتة لتجنب قطع المفاجئة.

نصيحة للفرق: قم بتوثيق حدود المعدل الخاصة بك ومن يؤثرون عليها.هذا يجعل من الأسهل تصحيح المشكلات عندما تظهر لاحقًا.

استخدم CDN مع ميزات إدارة الروبوت

جيد شبكة تسليم المحتوى يقوم بأكثر من مجرد محتوى ذاكرة التخزين المؤقت - يمكن أن يساعد أيضًا في تصفية حركة المرور غير المرغوب فيها أو الخانق قبل أن تصل إلى الخادم الخاص بك.

تقدم معظم CDNs الرئيسية (مثل CloudFlare أو Fastly أو Akamai) أدوات مفيدة مثل:

• حدود سعر الطلب بواسطة IP أو المسار
  
• تسجيل الروبوت أو بصمات الأصابع (لمعرفة الفرق بين البشر والروبوتات)
  
• القواعد التي تمنع أو تحدي السلوك السيئ تلقائيًا
  
• تحديات JavaScript أو التحديات المدارة لإبطاء العملاء غير المسبق

يساعد تفريغ حركة المرور هذه قبل أن يصل إلى خادم Origin الخاص بك على تقليل التحميل ، وتقليل تكاليف النطاق الترددي ، ومنع مشكلات مثل 429s من الحدوث في المقام الأول.

إذا كنت تستخدم بالفعل CDN ، خذ بعض الوقت لاستكشاف إعدادات الأمان أو حماية الروبوت - قد يكون لديك بالفعل الأدوات التي تحتاجها وتحتاج فقط إلى تشغيلها.

نصيحة المكافأة: أضف سياقًا إلى صفحات الخطأ الخاصة بك

إذا كنت تعيد خطأ 429 ، فلا تخدم شاشة فارغة.أضف شرحًا قصيرًا ورسالة ودية.على سبيل المثال:

"نحصل على طلبات أكثر مما كان متوقعًا. إذا كنت تستخدم أداة آلية ، فحاول مرة أخرى في بضع دقائق."

هذا يساعد المطورين وفرق كبار المسئولين الاقتصاديين على فهم ما حدث وتكيف وفقًا لذلك.يمكنك حتى تضمين رابط للتوثيق أو Robots.txt لموقعك إذا كان ذلك ينطبق.

اختتام

خطأ 429 لا يعني دائمًا أن موقعك قد تم تحميله بشكل زائد - فهذا يعني غالبًا شخصًا ما أو شيء ما هو انتهجام للغاية.

تعلم تتبع هذه الطلبات وتحديدها وإدارتها ، يمكنك تقليل المشكلات وحماية مواردك والتأكد من بقاء موقعك متاحًا للأشخاص - والروبوتات - التي تريد الخدمة بالفعل.