Letzte Woche gab es in meiner Stadt einen Ausfall, wo nur Vodafone Kunden davon betroffen waren. Über 72 Stunden waren wir offline, ohne ETA wann es eine Entstörung gibt. Ein Blick in die Network Outages API von Vodafone zeigte, dass um 11:29 Uhr (also ca. zwei Stunden nach Beginn des Ausfalls) ein Incident Report mit Ticket Nummer eröffnet wurde.
Hier habe ich mich als Informatiker natürlich gefragt, was eine solch lange Ausfallzeit auslösen könnte. Core/Edge Router kaputt? Glasfaserkabel angebaggert? Oder doch nur ein Updatefehler (wie beim davorigen Ausfall)?
Dass das Glasfaserkabel angebaggert wurde ist unwahrscheinlich, weil dann wären auch die DTAG Kunden davon betroffen gewesen.
Also was gemacht? Angerufen. Und mir war klar, dass der 1st Level nicht viel bis gar nichts machen kann, außer ausm FAQ vorzulesen oder die Ticket-Details sich anzuschauen. Bis dato war keine ETA bekannt bzw. angegeben.
Also habe ich nach 48 Stunden nochmal angerufen und nach einem ETA gefragt. Weiterhin keiner in Sicht.
Was ich dann aber von einem Vodafone Techniker erfahren habe, hat mich echt etwas erschüttert. Nicht der Core/Edge Router ist der Problemverursacher gewesen, nein. Die Linecard war der Problemverursacher. Also war eine ganze Stadt über 72 Stunden offline, wegen einer Linecard!? Eine Erklärung wäre hierfür interessant. Lieferengpässe? Keine Linecard im nächst möglichen Lager gehabt?
Und dann war der Austausch doch so simpel. Innerhalb von 40 Sekunden waren wir auf einem anderen Port umgesteckt...
Glaubt ihr mir nicht? Hier mal ein Log-Auszug von meinem Gateway:
Oct 19 16:31:09 XXXXXXXXXXXXX pppd[6185]: Connected to 9c:cc:83:XX:XX:XX via interface eth0
Oct 19 16:31:09 XXXXXXXXXXXXX zebra[753]: interface ppp0 index 3236 <POINTOPOINT,NOARP,MULTICAST> added.
Oct 19 16:31:09 XXXXXXXXXXXXX pppd[6185]: Connect: ppp0 <--> eth0
Oct 19 16:31:09 XXXXXXXXXXXXX zebra[753]: interface ppp0 mtu changed from 1500 to 1492
Oct 19 16:31:09 XXXXXXXXXXXXX pppd[6185]: PAP authentication failed
Oct 19 16:31:09 XXXXXXXXXXXXX zebra[753]: interface ppp0 mtu changed from 1492 to 1500
Oct 19 16:31:15 XXXXXXXXXXXXX pppd[6185]: Connection terminated: no multilink.
Oct 19 16:31:15 XXXXXXXXXXXXX zebra[753]: interface ppp0 index 3236 deleted.
Oct 19 16:31:15 XXXXXXXXXXXXX pppd[6185]: Modem hangup
Oct 19 16:31:45 XXXXXXXXXXXXX pppd[6185]: Connected to 20:e0:9c:XX:XX:XX via interface eth0
Oct 19 16:31:45 XXXXXXXXXXXXX zebra[753]: interface ppp0 index 3237 <POINTOPOINT,NOARP,MULTICAST> added.
Oct 19 16:31:45 XXXXXXXXXXXXX pppd[6185]: Connect: ppp0 <--> eth0
Oct 19 16:31:45 XXXXXXXXXXXXX zebra[753]: interface ppp0 mtu changed from 1500 to 1492
Oct 19 16:31:45 XXXXXXXXXXXXX pppd[6185]: CHAP authentication succeeded
Oct 19 16:31:45 XXXXXXXXXXXXX pppd[6185]: peer from calling number 20:E0:9C:XX:XX:XX authorized
Oct 19 16:31:45 XXXXXXXXXXXXX zebra[753]: warning: PtP interface ppp0 with addr 146.60.x.xxx/32 needs a peer address
Oct 19 16:31:45 XXXXXXXXXXXXX zebra[753]: interface index 3237 was renamed from ppp0 to pppoe0
Oct 19 16:31:45 XXXXXXXXXXXXX pppd[6185]: local IP address 146.60.x.xxx
Oct 19 16:31:45 XXXXXXXXXXXXX pppd[6185]: remote IP address 84.59.xxx.1
Oct 19 16:31:45 XXXXXXXXXXXXX zebra[753]: interface pppoe0 index 3237 changed <UP,POINTOPOINT,RUNNING,NOARP,MULTICAST>.
16:31:09 hat die MAC-Adresse von der Gegenstelle noch mit 9C:CC:83 angefangen, 40 Sekunden später hat diese mit 20:E0:9C angefangen. Resultat: Entweder wurden wir an einen anderen Core/Edge Router angeschlossen, oder wir wurden an eine andere Linecard angeschlossen. In 40 Sekunden.
Mich würde wirklich interessieren, was daran über 72 Stunden gebraucht hat.
VDSL2 100, Draytek Vigor 130, Ubiquiti USG 3P, most traffic gets routed over a WireGuard VPN Tunnel
