06. März 2024

Zusammenfassung des Vorfalls

Ein Netzwerkausfall am 6MAR2024 beeinträchtigte den Zugriff über das Frontend auf das Cyber Crucible
Dashboard sowie den Telemetriezugriff über die API. Dieses Problem wurde inzwischen am 7MAR2024 behoben.

Ursache

Um 0400 UTC am 6MAR2024 begann der Telemetrieverkehr eskalierend anzusteigen und erreichte schließlich 1600 % des normalen
Agenten-Datenverkehrs. Zusätzlich begann sich die Netzwerkbandbreite zwischen den AWS-Instanzen auf
begrenzte Geschwindigkeiten zwischen den AWS-gehosteten Load Balancern, Servern und Datenbanken zu drosseln. In
mehreren Zonen waren die Bandbreitenbeschränkungen unterschiedlich stark ausgeprägt und reichten von vollständigem Übertragungsverlust
(0 % der Kapazität) bis zu 50 % der Kapazität. Auch die Verfügbarkeit des AWS-DNS war beeinträchtigt.
Es wurde bestätigt, dass der eingehende Netzwerkverkehr zu Cyber Crucible gültiger Agenten-Datenverkehr bestehender
Kunden war. Der Bot-Datenverkehr zu den Load Balancern nahm im Volumen nicht zu.
Die zusätzliche Bandbreite war nicht die Hauptursache für die Nichtverfügbarkeit der Server, verschärfte jedoch
die Bandbreitenprobleme bei Middleware und Datenbank.
Der Anstieg des Agenten-Datenverkehrs in diesem Zeitraum hat sich teilweise wieder gelegt.
Zum aktuellen Zeitpunkt kommuniziert Cyber Crucible keinen Zusammenhang zwischen den am
6MAR2024 gemeldeten Cloud-Ausfällen und den AWS-Problemen bzw. dem Anstieg des Datenverkehrs.

Auswirkung

Der Zugriff auf das Cyber Crucible Dashboard und die APIs wäre verzögert oder nicht verfügbar gewesen.
Die Telemetrie von installierten Agenten blieb vollständig erhalten und konnte bei der Übermittlung
an die Datenbank verzögert sein, es ging jedoch keine Telemetrie verloren. Die Endpunktschutzfunktionen der Agenten waren vollständig
unbeeinträchtigt und funktionierten normal, da keine Analyse- oder Schutzfunktionen von einer Netzwerkverbindung zu
vorgelagerten APIs abhängen. Zum aktuellen Zeitpunkt hat die gesamte Telemetrie im Dashboard „aufgeholt“.

Behebung

Cyber Crucible hat mehrere Server sowohl innerhalb als auch außerhalb von AWS eingerichtet. Die Netzwerkstabilität innerhalb von
AWS scheint sich über Nacht (7MAR2024) verbessert zu haben, wobei bereits ab
0200 UTC Verbesserungen beobachtet wurden. Cyber Crucible arbeitet derzeit mit 500 % der Serverkapazität, berechnet auf Basis
der Spitzenbandbreite des Datenverkehrs, die inzwischen zurückgegangen ist. Das Team hat AWS-gehostete
Server ersetzt, sobald diese die Netzwerkverbindung verloren.

Um es klar zu sagen: Eine zusätzliche Serverskalierung war in diesem Fall keine wirksame Lösung.
Cyber Crucible hat begonnen, sich von AWS als alleinigem Cloud-Hosting-Anbieter zu lösen. Arbeiten
zur Unterstützung einer Cloud-Plattform-unabhängigen Architektur laufen bereits seit Monaten, mit ursprünglichen
Plänen, sich im zweiten Quartal 2024 von AWS als alleinigem Anbieter zu lösen. End-to-End-Tests, einschließlich aller

erforderlichen Doppelverschlüsselungs- und x509-Authentifizierungsschemata für unsere verschiedenen Server und
Dienste, wurden Ende Februar 2024 abgeschlossen. Die Netzwerkprobleme, die wir
mit AWS erlebt haben, haben die ursprünglich für Q2 geplante Umstellung beschleunigt, sodass sie nun einen Monat früher als
geplant beginnt.