Statusmeldungen
Netzwerkunterbrechungen zwischen 12:00 und 12:45 Uhr
23.06.2022 13:15 Uhr
Kategorie: Allgemein
Bei Arbeiten an zentralen Netzwerkkomponenten kam es heute gegen 12 Uhr versehentlich zu einer Unterbrechung mehrerer Glasfaser-Verbindungen. Dies führte aufgrund automatisch in Kraft getretener Folgeaktionen im Anschluss für längere Zeit (bis ca. 12:45 Uhr) Zu Erreichbarkeitsproblemen einiger zentraler Dienste.
Betroffen waren unter anderem das E-Mailsystem (RUBmail) sowie der Login am RUBvpn, in den Wohnheimen, an HIRN-Ports und im eduroam.
Folgendes ist passiert:
An einem zentralen Switch-System haben wir im Hinblick auf die bevorstehende Notstromprobe am kommenden Sonntag Änderungen an der Stromversorgung vorgenommen, die prinzipiell ohne Ausfall vonstatten gehen sollten. Gleichzeitig wurde die Software eines anderen Switch-Systems aktualisiert. Ein daran angeschlossener Load-Balancer war inaktiv (das redundante System hatte den Betrieb übernommen).
Versehentlich kam es dann gegen 12 Uhr bei den Arbeiten an der Stromversorgung des erstgenannten Switch-Systems zu einer Unterbrechung mehrerer Netzwerkverbindungen (Schrank ist eng, wenig Platz, Stecker sind klein und hakelig, sprich: menschliches Versagen). Diese Unterbrechung hat den Load-Balancer veranlasst, zurück zu schwenken auf das System, welches an dem sich gerade aktualisierenden Switch-System angeschlossen ist. Das hat dann zur Nicht-Erreichbarkeit der daran angeschlossenen Systeme geführt.
Wir werden uns da zukünftig besser absprechen.