06 مارس 2024

ملخص المشكلة

أدى انقطاع في الشبكة وقع في 6MAR2024 إلى التأثير على الوصول إلى الواجهة الأمامية للوحة تحكم Cyber Crucible
والوصول إلى بيانات القياس عن بُعد عبر واجهة برمجة التطبيقات (API). وقد تم حل هذه المشكلة اعتبارًا من 7MAR2024.

السبب الجذري

في الساعة 0400 بالتوقيت العالمي المنسق (UTC) بتاريخ 6MAR2024، بدأت حركة بيانات القياس عن بُعد في التصاعد لتصل في النهاية إلى 1600% من حركة مرور الوكيل (agent) الطبيعية. بالإضافة إلى ذلك، بدأت النطاق الترددي للشبكة بين مثيلات AWS في التقييد إلى سرعات محدودة بين موازنات التحميل والخوادم وقواعد البيانات المستضافة على AWS. عبر
مناطق متعددة، كانت قيود النطاق الترددي متغيرة وتراوحت من فقدان كامل
للنقل (0% من السعة) إلى 50% من السعة. كما تأثرت إتاحة خدمة أسماء النطاقات (DNS) الخاصة بـ AWS.
تم تأكيد أن حركة مرور الشبكة الواردة إلى Cyber Crucible هي حركة مرور صالحة من وكلاء عملاء حاليين.
لم تزد حركة مرور الروبوتات (bot) إلى موازنات التحميل في الحجم.
لم يكن النطاق الترددي الإضافي هو الدافع الرئيسي وراء عدم توفر الخوادم، ولكنه فاقم
مشكلات النطاق الترددي الخاصة بالبرمجيات الوسيطة (middleware) وقواعد البيانات.
وقد تراجعت جزئيًا الزيادة في حركة مرور الوكيل خلال تلك الفترة.
في الوقت الحالي، تُفيد Cyber Crucible بعدم وجود ارتباط بين انقطاعات الخدمات السحابية المُعلنة في
6MAR2024 ومشكلات AWS أو الزيادة في حركة المرور.

الأثر

كان من الممكن أن يتأخر الوصول إلى لوحة تحكم Cyber Crucible وواجهات برمجة التطبيقات (APIs) أو أن يصبح غير متاح.
تم الحفاظ الكامل على بيانات القياس عن بُعد من الوكلاء المُثبتين، وقد يكون قد تأخر إرسالها
إلى قاعدة البيانات، ولكن لم تُفقد أي بيانات قياس عن بُعد. لم تتأثر إجراءات الحماية الخاصة بنقاط النهاية للوكلاء إطلاقًا، واستمرت في العمل بشكل طبيعي، حيث لا يعتمد أي تحليل أو حماية على الاتصال بالشبكة بأي
واجهات برمجة تطبيقات (APIs) في المصب. في الوقت الحالي، أصبحت جميع بيانات القياس عن بُعد "محدّثة" في لوحة التحكم.

الحل

أنشأت Cyber Crucible خوادم متعددة داخل وخارج AWS. ويبدو أن استقرار الشبكة داخل
AWS قد تحسّن بين عشية وضحاها (7MAR2024)، حيث لوحظت تحسينات في وقت مبكر يصل إلى
الساعة 0200 بالتوقيت العالمي المنسق (UTC). تعمل Cyber Crucible حاليًا بسعة خوادم تبلغ 500%، محسوبة بناءً على
ذروة النطاق الترددي لحركة المرور التي تراجعت. وقد استمر الفريق في استبدال
الخوادم المستضافة على AWS كلما فقدت الاتصال بالشبكة.

وللتوضيح، لم يكن توسيع نطاق الخوادم الإضافي حلاً فعالاً في هذا الشأن.
بدأت Cyber Crucible في الانتقال من استخدام AWS كمزود استضافة سحابي وحيد. وقد كان العمل
لدعم الاستقلالية عن منصات الحوسبة السحابية جاريًا منذ أشهر، مع خطط أولية
للانتقال من الاعتماد على AWS كمزود وحيد في الربع الثاني من عام 2024. وقد اكتمل الاختبار الشامل من البداية إلى النهاية، بما في ذلك جميع

مخططات التشفير المزدوج والمصادقة x509 اللازمة لمختلف خوادمنا
وخدماتنا، بحلول نهاية فبراير 2024. وقد أدت مشكلات الشبكة التي واجهناها
مع AWS إلى تسريع عملية الانتقال، المُخطط لها أصلاً في الربع الثاني، لتبدأ قبل شهر من
الموعد المحدد.