Betreff: Packet Burst und Packet loss (zu Stoßzeit...

Arne9 · ‎07.08.2021

Moin Vodafone Team / Community,

nachdem mehrere Störungstickets nicht helfen und der Kundenservice am Telefon die ganze Lage ich gar nicht verstehen oder hören will, wende ich mich jetzt auch noch an euch.

Ich bin eigentlich seit 5 Jahren zufriedener Kabeldeutschland / Vodafone Kunde und war in meiner alten Heimat erst 3 Jahre lang mit einem Kabelanschluss und nach einem Umzug mit einem Vodafone DSL (Telekom Leitung) super zufrieden, bei beiden Anschlüssen traten keinerlei der hier vorhandenen Probleme jemals auf in irgendeiner Form auf. Ich habe die gleichen Dienste verwendet, die gleichen Spiele gespielt und hatte bis auf wenige Ausfälle nie Probleme.

Seitdem ich in Wismar Wohne und den Red Internet & Phone 1000 Cable gebucht habe ist alles irgendwie sehr, sehr suboptimal…

Ich habe mehreren Freunden Vodafone Anschlüsse empfohlen, bei manchen Verträgen im Coax Netz treten genau diese Probleme in letzter Zeit in meinem Freundeskreis und bei mir immer stärker und öfter auf. Auch im Internet findet man etliche Fälle.

Folgende Probleme habe ich bei mir feststellen können:

Download und Upload Raten brechen oft ein, aber zu Stoßzeiten Massiv auf bis zu 400 down / 3 up

Nicht korrigierbare Fehler auf der Fritz-Box von 114 – 146 Mhz Downstream und auch im Upload,

bei Speedtests bzw. Last auf der Leitung innerhalb von 10 Minuten mehrere Millionen.

Packet-Loss in Wireshark, passiert in bursts (geballter Packet loss)

Eine überlastete Ausgangsleitung aus Wismar zu Stoßzeiten zu einigen Servern:
meinem eigenen IPv4 Server mit Games & Nextcloud in München
weiteren IPv4 VOIP und Video Dienste wie Teams etc
zu sämtlichen IPv4 Epic Games, Blizzard und Activision Servern

Problemlos läuft zu Stoßzeiten zum Beispiel CS-GO (Steam) eine lokale Segmentüberlastung ist es also meistens nicht. (kommt aber auch mal vor)

Der Vodafone Telefonsupport hat keine Ahnung von irgendwas, muss jedes Mal alles neu aufnehmen, Probleme seien nicht bekannt. Tickets werden aufgemacht, die um 2 Uhr Nachts wieder geschlossen werden mit der Begründung: Anschluss entstört, Modem ist online… Techniker werden zu mir geschickt, die bei mir vor Ort keine Fehler feststellen…

Diese haben mehrere Male die Leitung durchgemessen, die Box im Keller eingepegelt und mir eine Austausch Fritz-Box 6591 mitgebracht. Einer der Techniker erzählte mir, dass er von genau diesen Problemen immer öfter hört, der andere erzählte mir es liegt eine Großraumstörung in meiner Region vor… die Techniker waren super freundlich und engagiert, an dieser Stelle auch einmal etwas Lob.

Ich aber immer noch ohne brauchbares Internet.

(Ich bin der Typ der zu Stoßzeiten nicht mit Gamen kann, der manchmal auch zu nicht Stoßzeiten bei Youtube alle 4 Minuten wieder auf Play drücken muss und der die Maus schon automatisch beim Webseiten Laden über den Reload Button nimmt, da Seiten manchmal nur teilweise aufbauen - und das mit 1000/50ger Leitung…

Also habe ich mich mithilfe etlicher Beiträge hier selber auf die Suche gemacht um das Problem vielleicht zu verstehen…

Alle Berichte im Vodafone Forum die mit Packet Burst, Jitter und Latenzspikes zu tun haben (davon gibt es mehrere Tausend – wieso sehr ihr so ein Problem nicht?), haben eines gemeinsam – sie messen auf Windows. Egal ob Wireshark oder ein Pingplott.
Vodafone prüft die Bandbreite am mitgelieferten Modem aus dem Vodafone Netz, stellt also keinerlei Probleme fest… warum?

Ich konnte feststellen, dass bei einem Linux System, mit aktivierter Google TCP-Flusskontrolle BBR (https://www.geekbundle.org/linux-tcp-bbr-congestion-control/) die Geschwindigkeitsschwankungen nicht ansatzweise so stark auftreten und deutlich seltener vorkommt.

Der TCP/UDP IP Stack von Windows ist alt und drosselt die Geschwindigkeit sehr stark, sobald starker packt burst / packet loss auftritt. Die Pakete die dann nachgereicht werden kommen zu langsam an (da gedrosselt wurde), wenn der packet burst / packet loss wieder besser wird, wird die Geschwindigkeit wieder erhöht und der der Rest kommt zeitgleich als packet burst (Pakethaufen) an.

Diese Geschwindigkeitsschwankungen treten zwischen 02:00 und 14:00 sehr selten auf, zu Stoßzeiten zwischen 14:00 und 02:00 aber massiv und ununterbrochen (teilweise im 4 Sekunden Takt).

Der Packet loss tritt (ab 100 Mhz) sowie am AFTR Gateway auf und kann zusätzlich durch Jitter vom Intel Puma 6 Chipset in einigen Routern verstärkt werden, mit guten CAT Kabeln lässt sich manchmal noch was raus holen.

Meine erste mehr oder weniger erfolgreiche Lösung war, über IPTables den gesamten Verkehr meines W10-Rechners über einen Raspberry Pi zu leiten und auf diesem die Google BBR TCP Flusskontrolle zu aktivieren statt Cubic.

(Cubic TCP https://en.wikipedia.org/wiki/CUBIC_TCP wird seit Windows 1709 als Standard eingesetzt und haut nochmehr Latenz auf eure "Problempakete")

(Playstations und Xbox-Konsolen scheinen auch beide von der Cubic Problamatik betroffen zu sein.)

Danach lief meine Leitung deutlich schneller, die Geschwindigkeitseinbrüche sind quasi komplett weg, da Windows nicht mehr drosseln kann (Workaround für Windows kommt später) und ich hatte im Vodafone Speedtest sowie im Speedtest.net durchgehend gute Werte, auch zu Stoßzeiten. (min. 800/45)

Problem Nummer 1 anscheinend zufriedenstellend, wenn auch nicht perfekt, gelöst.

Andere Nutzer berichten auch von Packet Loss um 700 - 800 Mhz rum durch LTE Einstrahlung, die lassen wir hier mal außen vor.

Laut Internet scheint das AFTR Gateway von Vodafone ab und zu überlastet zu sein, ich habe mir daher eine feste IPv4 Adresse geben lassen, ich rede mir ein, dass es seit dem durchgehend ganz leicht besser ist (bei einigen Seiten hilft es echt), zu Stoßzeiten aber immer noch absolut unbrauchbar.

Der Packet Loss am AFTR und der Jitter
(selbst mit jitter-gefährdetem Intel Puma 6 / 7 Chip Modem https://www.badmodems.com/ die 6591 soll angeblich auch betroffen sein – vielleicht habt ihr ja noch ein Broadcom zum Testen für mich)

sind aber wirklich nicht so stark, dass wir (10.000de Vodafone Kunden im Ganzen Kabelnetz bis runter nach Bayern) die Effekte spüren dürften, die ich hier nenne und die hier in den VF-Foren die letzte Zeit so massig auftauchen…

Ziehen des Modems sorgt für einen Reset des Windows IP Stack und ein neues entlastetes AFTR Gateway und verbessert die Verbindung kurzzeitig (klappt bei fast allen Foreneinträgen hier und auch bei mir) für 30 bis 60 Minuten. (auch zu Stoßzeiten)

Problem aber irgendwie immer noch da… also gut… nochmal an Wireshark ran.

Der Packet Loss am AFTR, der Jitter und der leichte Packet Loss im Kabelnetz machen also die "Problempakete" mit extremen Latenzspikes, welche 30 FPS Video, VOiP und Game-Server so massig stören und mit denen Windows bzw. der IP-Stack sowieso nicht klar kommt, aber um einiges schlimmer.

Was sind also diese Problempakete?
Sogenannter Packet Burst (Vodafone Support kennt es nicht, 10.000 Leute im Internet sind betroffen) kommt zustande, wenn die Leitung von außen ins Vodafone Netz, der AFTR Gateway oder irgendein Switch / Leitung / CPU bei euch überlastet ist, die Pakete von anderen Kunden werden vorgeschoben und meine Pakete im Haufen zusammengeballt übertragen.
Auch mag die Shared-Kabelmedium-Technik da mit rein spielen – aber Leitung zu mir soll ja laut euch okay sein…

Diese zusammengeballten Haufen leiden dann noch unter dem leichten Packet Loss am AFTR, möglicherweise bei einigen Leuten unter Jitter, und unter dem leichten Packet Loss im Vodafone Kabel Netz und das ist dann für den ollen Windows IP Stack absolut zu viel -> Bandbreite geht in den Keller -> alles wird noch schlimmer. *** hits the Fan.

Dienste wie 30 FPS Video, VOIP Dienste oder Spieleserver, die mit niedriger Tickrate (22 Hz, 30 Hz, 60 Hz) laufen sind damit unbenutzbar bis unspielbar, unser 16K DSL Vertrag von vor 15 Jahren lief zwar nicht schneller aber stabiler…

Durch die Packet Bursts werden aus 30 Live Video FPS schnell mal 8 FPS, Spielen auf oben genannten Servern ist nur eingeschränkt möglich und zu Stoßzeiten unmöglich (alle 4 Sekunden einen dicken Hänger durch Packet Burst) und ständig Seiten neu Laden / nochmal auf Play drücken.

Mein Windows (der olle IP Stack da) oder die Xbox handelt aufgrund dieser Problempakete mit dem angefragten Server eine niedrigere Geschwindigkeit aus, bei Vodafone läuft also aus deren Sicht alles korrekt und die können den Fehler logischerweise auch nicht finden. Die Drosselung findet also bei mir auf dem Rechner noch vor meinem Router statt und VF sieht keine Last auf dem Netz vom Server zu mir.

Daher half auch gegen die Bandbreitenreduzierung meine Lösung mit dem RBPI oben der den Windows IP Stack umgeht. Ihr seht die Bandbreitenreduzierung aber gar nicht, da diese wie gesagt zwischen meinem Windows Rechner und den Webservern ausgehandelt wird.

Vodafone sagt natürlich, dass Netz ist top und das Segment nicht überlastet. Wenn die den Router testen (der nicht den Windows IP Stack bzw. die entsprechende Drosselung bei Packet Burst und Packet Loss macht) haben die wahrscheinlich wirklich fast volle Bandbreite...

Laut Internet lässt sich zwar das BBS Protocol nur im Windows Server aktivieren (nicht unter Pro und Home) dementsprechend kann man nicht darauf umschalten um die Probleme zu beheben.

Eine Alternative, die bei Kollegen auch zu funktionieren scheint, ist aber das deaktivieren der Drosselung für den vorhandenen Netzwerkadapter in dessen Eigenschaften und Adaptereinstellungen: Das macht diesen nicht Fehlerfrei aber deutlich, deutlich schneller.

Interrupt-Drosselung Deaktiviert

Interrupt-Drosselungsrate: aus

Empfangspuffer: 1024 (einfach mal rumprobieren)

Übertragungspuffer: 2048 (1024 wenn weniger Packetloss - einfach mal rumprobieren)

Macht den IP-Stack nicht besser, entfernt aber die komplette Drosselung und vergrößert die Puffer, damit die Pakete nicht ganz so zerstreut (aber noch lange nicht zufriedenstellend) ankommen.

Die Problematik ist in der Windows Welt schon länger bekannt, aber noch nicht in die Consumer Szene vorgedrungen, einfach mal nach LEDBAT (Low Extra Delay Background Transport) googlen.

Leute die ihr Modem im Bridge Modus betreiben und dahinter einen eigenen Router haben, haben auch laut euren Foreneinträgen scheinbar teilweise weniger Probleme, da die zweiten Router teilweise die Pakete erneut sortieren und diese auch nicht so Verstreut beim Endgerät landen.

Irgendwie macht das alles so langsam Sinn...

Und das, was dann am Ende bei mir ankommt von den 22 Server Ticks/s sind alle 4 Sekunden gefühlt nur noch 2 Ticks/s. Bzw. auch mal 8 FPS von 30…

Wir haben es hier also anscheinend mit einem Problem bestehend aus zu Stoßzeiten überlasteter Ausgangsleitung + leichtem Packetloss der eigentlich nicht schlimm wäre + Router die manchmal Jitter erzeugen + einem alten IP-Stack der dann am Ende in dieser Kombination der Probleme damit überhaupt garnicht nicht fertig wird zu tun.

Da der Packet Burst schon am Eingang entsteht und nie wieder zwischendurch entzerrt wird, sind Zeitkritische Anwendungen einfach super schlecht im Vodafone Netz.

Ich (kein Netzwerkexperte aber auch nicht ganz doof) verstehe das Problem irgendwie so:

Würdet ihr diese Packet Bursts schon an dem Punkt, wo sie initial entstehen, vermeiden, wären alle von mir oben festgestellten Problemchen, wie das bisschen Paketverlust, das bisschen Jitter und das Windows Problem überhaupt gar nicht schlimm und ich wäre völlig zufrieden mit meiner Leitung (und viele, sehr sehr viele weitere Kunden mit ähnlicher Problematik wahrscheinlich auch).

(Oder gibt es da viele Netzknoten, wo Packet Burst entsteht? Liegt das Problem gar nicht bei euch? Frankfurt? Telekom? Level3)

Bitte teilt uns doch einfach mit, an welcher Stelle das Problem liegt.

Welche Möglichkeiten habt ihr noch? Was könnt ihr mir anbieten? Könnt ihr mir Bandbreiten garantieren? Könnt ihr mir DSL anbieten? Wäre dieser Problemfrei was Packet Burst betrifft?

Langsam bin ich einfach echt genervt und habe wirklich alle für mich als Endkunden ersichtlichen Optionen ohne große Unterstützung von der Vodafone Hotline alleine durchprobieren müssen. Die können mir gornix dazu sagen…
Das Problem liegt nicht an meinem PC, Lan, Coax Kabel, Fritz Box, es MUSS bei euch sein.
Ich brauche Antworten.

Und glaubt mir, es sind wirklich tausende Betroffen... viele sind nur garnicht in der Lage das Problem zu analysieren und kriegen immer wieder nen Techniker vorbei geschickt... Steckt die Kohle ins Netz Leute...

https://forum.vodafone.de/t5/St%C3%B6rungsmeldungen-Internet-TV/Packet-Burst-bei-Call-of-Duty-kein-P...

https://forum.vodafone.de/t5/St%C3%B6rungsmeldungen-Internet-TV/Niedriger-upload-Packet-Burst-Rubber...

https://forum.vodafone.de/t5/St%C3%B6rungsmeldungen-Internet-TV/Packet-Burst-Hohe-Latenzen-in-Spiele...

https://forum.vodafone.de/t5/St%C3%B6rungsmeldungen-Internet-TV/Packet-Burst-bei-Call-of-Duty-kein-P...

Alle wechseln Sie zum Magenta T (DSL) -> Probleme weg.

Lustigerweise kommen MacBooks mit der Problematik besser klar als Windows Geräte.

Ich glaube ich habe nichts vergessen, solltet ihr irgendwelche Speedtests, Screenshots der Fritz Box Fehler oder Paketverlustes in Wireshark benötigen, ich habe alles aufgezeichnet, ich muss diese nur zurechtschneiden. (stehen überall IPs drin)

Es ist nicht möglich die Warzone Server mit einem Pingplott aufzuzeichnen, Activision erlaubt keine IPv4 Pings, hier im Forum schon 20 Mal von euch gefragt worden, bitte fragt garnicht erst.

Bei den Rocket League Servern gibt es nämlich auch Probleme, diese sind aber aufgrund der höheren Tickrate zu Stoßzeiten nicht so stark betroffen wie die Warzone Server, laufen aber auch nicht zufriedenstellend.

Zu Stoßzeiten verhält es sich folgendermaßen:

Bei Rocket League werden aus 60 Ticks alle 4 Sekunden ca. 30 + leichtes Rubberbanding (schlecht spielbar).

Bei Warzone aus 22 Ticks gefühlt alle 4 Sekunden 11 Ticks mit Standbild (unspielbar).

Exakt diese Probleme treten übrigens auch bei Kabelanbietern in der ganzen USA auf, dort gab es bereits auch schon ein Lawsuit wegen den manchmal problematischen Routern.

Meine 38Mbit Down und gefühlt 0 Up im 4G sind gefühlt zu Stoßzeiten machmal besser als die, bis zum dem Raspberry Pi / Windows Workaround, einbrechende Gbit Leitung.

Und wenn ihr hier ausbauen müsst, teilt mir bitte mit wann wie und wo, das kann hier so kein Dauerzustand bleiben.

Mit freundlichem Gruß

Arne

Arne9 · ‎07.08.2021

Der nächste in Niedersachsen mit exakt dem gleichen Problem:

https://forum.vodafone.de/t5/St%C3%B6rungsmeldungen-Internet-TV/Instabiler-Ping-lags-bei-Online-Gami...
Niedriger Ping, gute Modemwerte und trotzdem Packet Burst - genauso wie bei allen anderen auch.

Arne9 · ‎07.08.2021

Auch hier findet sich exakt das gleiche Problem...

https://forum.vodafone.de/t5/St%C3%B6rungsmeldungen-Internet-TV/Starke-Schwankung-bei-Ping-sowie-bei...

Die niedrige Bandbreite auf Speedtest.net lässt sich mit dem runterschalten von Windows erklären durch den Packet Loss und Packet Burst. Modemwerte ebenfalls fehlerfrei.

Arne9 · ‎07.08.2021

Und noch einer...

https://forum.vodafone.de/t5/St%C3%B6rungsmeldungen-Internet-TV/Seit-2-Wochen-sehr-h%C3%A4ufige-kurz...

Ich kennen übrigens niemanden davon, habe selber auch bestimmt 5 Bekannte mit genau dem Problem.

Sascha_mit_sch · ‎07.08.2021

Um die Liste der weiter zu vervollständigen reihe ich mich mal mit ein:

https://forum.vodafone.de/t5/St%C3%B6rungsmeldungen-Internet-TV/Hoher-packet-loss-Starke-Latenzschwa...

Ebenfalls aus Niedersachsen

Arne9 · ‎07.08.2021

Jetzt gerade in diesem Moment 20:58 sind ich und alle meine Kollegen in verschiedensten Bundeslängern von starkem Packet Burst (alle 4 Sekunden) extremst betroffen.

Es ist uns egal, wenn der Ping mal kurz von 25 auf 36 schwankt, es ist uns auch völlig egal, wenn der Upload mal von 55Mbit auf 33Mbit einbricht - aber die Pakete kommen nicht gleichmäßig an:

Wenn die Geschwindigkeit schon reduziert ist und das Netz stark ausgelastet ist, müssen die Pakete Beispielhaft folgendermaßen ankommen:

A A A A A A A A A A A A A A A A A A A A A

Was aber bei den Kunden ankommt ist:

AAA AAA AAA AAA AAA AAA AAA

Es ist damit unmöglich irgendwelche latenzkritischen Livedienste in jeglicher Form zu nutzen.

Arne9 · ‎07.08.2021

https://forum.vodafone.de/t5/St%C3%B6rungsmeldungen-Internet-TV/Packetloss-gt-Probleme-bei-Videotele...

Auch hier sind genau die Dienste betroffen, von denen ich spreche...

Das kann kein Zufall und auch keine lokale Störung sein.

Ich denke mir halt, wenn es schon so viele Beiträge von technisch versierten Personen nur hier im Forum gibt, wieviele Tausende von Kunden sind dann wahrscheinlich betroffen?

Arne9 · ‎07.08.2021

Stand 22:40 Uhr

Seit 20 Minuten wird es langsam besser, die Leitung ist zwar immer noch überlastet (33 Upload) aber die Pakete kommen jetzt in ausreichend (nicht guten) gleichmäßigen Abständen an, zeitkritische Dienste werden wieder stabiler. Die Ruckler alle 4 Sekunden sind verschwunden, Windows handelt langsam wieder vernünftige Geschwindigkeiten mit den Webservern aus.

Stand 22:56

Der Ping hat sich im Laufe des Abends durchschnittlich um 10 - 13 MS erhöht, die Pakete kommen jetzt aber wieder einigermaßen vernünftig gleichmäßig an, so - das man es nur messtechnisch ermitteln kann.

Arne9 · ‎07.08.2021

Ab jetzt treten nur noch die normalen kleinen Problemchen auf, die man schon immer irgendwie auch außerhalb der Stoßzeiten hatte und die auch garnicht schlimm sind wenn der Packet Burst weg ist.

Die Pakete kommen zufriedenstellend gleichmäßig an, der Ping wieder um 5 gesunken (was mir relativ egal ist, schraubt den sonst auch gern etwas höher wenn es das stabiler macht), die Ausgangsleitungen sind nicht mehr überlastet.

In diesem Zustand, ab ca. 23:10 Uhr, kann man sich auch als technisch versierter Kunde mit der Leitung zufrieden geben und wir würden uns nicht mehr beschweren.

Update: 23:27

Der Ping ist jetzt wieder um 13 - 15 ms gesunken auf den Wert vor 20:00, der Packet Burst ist komplett verschwunden.

Mein Internet konnte ich also heute Abend schon wieder 2 Stunden am Stück komplett durchgehend knicken, alle 4 Sekunden hat es geruckelt und das ist eben jeden Tag so, seit Ende letztem Jahres, mal schlimmer, mal weniger schlimm.

Aber jeden Tag, mal länger, mal kürzer, zu unterschiedlichen Zeiten.

Arne9 · ‎07.08.2021

Update 23:45 Uhr

Zu früh gefreut, nachdem ihr oder die Technik die Latenz im Netz gesenkt hatte, scheint der Packet Burst wieder zu beginngen, langsam stärker werdend.

Update 23:58

Der Packet Burst hat sich jetzt einigermaßen "eingepegelt", es kommt vor, ist aber bei weitem nicht so schlimm wie vor 3 Stunden, ist aber immer noch durchaus störend und immer mal wieder kurzzeitig verstärkt.

Up und Downloadgeschwindigkeiten sind wieder zufriedenstellend, die Netzlast ist also wahrscheinlich wieder geringer...

Sind die Durchsatzraten zufriedenstellend fühlt sich eben auch der (immer noch vorhandene) Packet Burst nicht so schlimm an.

Die Kombination aus hoher Netzlast und manchmal niedrigeren Durchsatzraten + Packet Burst ist einfach unerträglich

Hat man nur eines der beiden "Probleme" wie den Rest des Tages, ist das Internet wenigstens vernünftig verwendbar und ich behaupte, ein "normaler" Kunde der keine Latenzkritischen Anwendungen nutzt merkt garnicht das die Probleme da sind.