Gruslig langsame peerings mit diversen DC's

lindus — Tue, 18 Oct 2022 13:49:09 GMT

Hallo,

ich muss leider feststellen das Peerings zwischen Hetzner Vodafone recht langsam sind. Je Verbindung bekomme ich hier max. 2.5-3 MB/s durch, was echt störend ist und mich in meiner Arbeit einschränkt!

Wenn ich mir mittels "MTR" angucke, wie die Verbindung zwischen Vodafone und Hetzner aussieht, ist das nicht gerade optimal. Der nachfolgende Test zeigt an, wie viel Paketverlust ich zwischen meinem Anschluss zu Hause und Hetzner habe in einem Zeitrahmen von ca. 18 min. Das Resultat sieht bei Netcup bzw. Anexia nicht anders aus:

test@vodafonebox:~$ mtr -s 1000 -r -c 1000 78.47.108.114
Start: 2022-10-18T13:37:19+0200
HOST: vodafonebox                      Loss%   Snt   Last   Avg Best Wrst StDev
  1.|-- _gateway                   0.0% 1000    0.4   0.4   0.4   0.9   0.1
  2.|-- 192.168.2.1                0.0% 1000    1.8   1.4   0.9 14.8   0.8
  3.|-- ???                       100.0 1000    0.0   0.0   0.0   0.0   0.0
  4.|-- 1313a-mx960-01-ae13-1087. 0.3% 1000   10.6 20.3   8.2 3265. 132.2
  5.|-- de-fra04d-rc1-ae-21-0.aor 15.7% 1000   15.9 26.6 13.3 3231. 141.4
  6.|-- de-fra04c-ri1-ae15-101.ao 19.0% 1000   18.0 25.7 12.2 3185. 141.9
  7.|-- static.213.133.113.25.cli 0.2% 1000   18.5 24.7 12.3 3145. 126.2
  8.|-- core11.nbg1.hetzner.com    0.2% 1000   22.8 28.6 15.5 3106. 123.9
  9.|-- spine13.cloud1.nbg1.hetzn 0.2% 1000   39.1 31.1 15.8 3094. 123.5
10.|-- spine4.cloud1.nbg1.hetzne 0.1% 1000 132.9 30.7 15.7 3023. 120.4
11.|-- ???                       100.0 1000    0.0   0.0   0.0   0.0   0.0
12.|-- 14689.your-cloud.host      0.2% 1000   23.3 30.1 15.0 3906. 168.8
13.|-- ???                       100.0 1000    0.0   0.0   0.0   0.0   0.0

Vermutlich irgendwo am DE-CIX eine Störung, die einen Paketverlust zwischen 15-19% verursacht... Ich muss auch dazu sagen, dass dieses Problem schon viel zu lange existiert. Das ist heute genauso problematisch wie vor 12 Monaten.

Der Test wie oben gezeigt sieht mit Hetzner so aus, mit Digitalocean, Linode, Netcup und bestimmt noch einigen anderen. Ich kann auch mit Sicherheit sagen, dass das Problem nicht an mir liegt bzw. explizit an meinem Anschluss, ich hab mehrere Freunde überall in Deutschland gefragt gegen meine Server einen Speedtest zu machen und alle bekommen nicht mehr als 2-5 MB/s pro Verbindung durch, alles Vodafone Kunden.

Jetzt wirds noch ein wenig kruder, Hetzner selbst bietet einen Speedtest an, wo ich auch ordentlich Performance durchbekomme (ca. 90MB/s):

speed.hetzner.de/1GB.bin

Die IP dahinter lautet 88.198.248.254

Kopiere ich das File auf meinen Server und biete es selbst zu download an, bekomme ich 2,5 MB/s durch obwohl beide Endpunkte im gleichen ASN Bereich (78.47.108.114, 88.198.248.254) liegen und ich auch davon ausgehen kann dass das peering hier zumindest was den DE-CIX angeht auch an der gleichen Stelle auskommen. Kann sich darauf irgendjemand einen Reim machen, wieso ich hier nur 2,5 MB/s durchbekomme pro Verbindung? Mache ich mehrere Verbindungen auf bekomme ich auch durchaus 80 MB/s durch, das ist aber nicht im Sinne des Erfinders. getestet habe ich das ganze mittels iperf3 und auch nginx, beide performen richtig schlecht auf dem Netzwerk von Vodafone gegen meine IP bei Hetzner 78.47.108.114.

Siehe auch iperf3 resultat:

Connecting to host 78.47.108.114, port 5201
[ 5] local 192.168.178.43 port 43516 connected to 78.47.108.114 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[ 5]   0.00-1.00   sec   355 KBytes 2.91 Mbits/sec   27   1.43 KBytes
[ 5]   1.00-2.00   sec 62.7 KBytes   514 Kbits/sec   13   1.43 KBytes
[ 5]   2.00-3.00   sec 64.2 KBytes   526 Kbits/sec   12   2.85 KBytes
[  5]   3.00-4.00   sec  0.00 Bytes  0.00 bits/sec    3   1.43 KBytes
[  5]   4.00-5.00   sec  0.00 Bytes  0.00 bits/sec    1   2.85 KBytes
[  5]   5.00-6.00   sec  0.00 Bytes  0.00 bits/sec    0   2.85 KBytes
[ 5]   6.00-7.00   sec 62.7 KBytes   514 Kbits/sec   11   2.85 KBytes
[ 5]   7.00-8.00   sec   191 KBytes 1.57 Mbits/sec   24   5.70 KBytes
[ 5]   8.00-9.00   sec 65.6 KBytes   537 Kbits/sec   16   2.85 KBytes
[ 5]   9.00-10.00 sec 62.7 KBytes   514 Kbits/sec   12   4.28 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[ 5]   0.00-10.00 sec   864 KBytes   708 Kbits/sec 119             sender
[ 5]   0.00-10.01 sec   759 KBytes   620 Kbits/sec                  receiver

iperf Done.

Um jetzt noch einen Schritt weiter zu gehen hab ich den Test gleich auf 10 verschiedene Hetzner Systeme durchgeführt, auch teilweise in verschiedenen Regionen und Netzen, alle haben das gleiche Fehlerbild, alle performen schlecht auf dem Vodafone Netzwerk. Klemmt man z.B. einen VPN dazwischen wird's magischerweise sofort schneller, was wieder dafür spricht, dass die Peerings von Vodafone Käse sind.

Hilfe ist erbeten, dafür zahle ich als Businesskunde kein Geld!

Betreff: Gruslig langsame peerings mit diversen DC's

lindus — Wed, 19 Oct 2022 15:19:45 GMT

Nach weiterer Analyse konnte ich zusammen mit Hetzner feststellen, dass die folgenden Knotenpunkte überlastet zu seinen scheinen, hier mal eine Mitschrift mit dem Hetzner Support:

Ich kann leider keine Engpässe in den involvierten Backboneverbindungen feststellen.

Wir haben mit der Vodafone Germany (AS3209) PNIs in Frankfurt, welche ebenfalls auch noch genügend Kapazität haben. Der Traffic von Hetzner zu 5.146.223.169 wird auch über diesen PNI ausgetauscht.

Jedoch kommt nach dem Vodafone Router, direkt ein Router von Aorta (AS6830) und am Ende kommt es bei Ihnen am Anschluss raus. Aorta ist leider dafür bekannt, dass da öfters mal Probleme mit Bandbreitenengpässen bestehen.

Es scheint wohl so zu sein, dass die Vodafone Business Kunden über die Aorta Backbone geroutet werden. Eine normale Endkunden-Adresse verbleibt im Vodafone Germany Netz bis zum Schluss.

Ende der Mitschrift.

Im Klartext heißt das für mich auch gerade in Bezug zum MTR Test das es hier zu Verbindungsproblemen kommt und das wohl schon eine ganze Weile ... Wäre cool, wenn Vodafone sich mit dem Problem auseinandersetzt. Dann kann ich als Business Kunde von Vodafone auch mein Business mit Hetzner erledigen oder mit all den anderen Hosting-Anbietern, die über den Aorta Router in meinem Fall laufen ...

Betreff: Gruslig langsame peerings mit diversen DC's

lindus — Fri, 21 Oct 2022 12:49:46 GMT

Update:

Seit 2 Tagen ist die Performance jetzt annehmbar, komm so auf rund 400/1000 Mbit die hier am Anschluss verfügbar sind. Das ist das erste mal überhaupt, dass ich die Bandbreite zu Hetzner bekomme. Ist noch immer nicht optimal, aber dafür zumindest jetzt eher nutzbar.

Paket lose an den Aorta Routern ist was heruntergegangen, sind jetzt so bei 6-7%. Ist auf jeden Fall noch Optimierungspotenzial nach oben.

Thema "Betreff: Gruslig langsame peerings mit diversen DC's" in Störungen im Kabel-Netz

Gruslig langsame peerings mit diversen DC's

Betreff: Gruslig langsame peerings mit diversen DC's

Betreff: Gruslig langsame peerings mit diversen DC's