FRITZ!Box 6591 Firmware Bug: Kernel Panic Hashtable

[monofox]

Hallo,

das Kernel-Panic Hashtable-Problem ist wieder da. Dafür gehäuft.

Alter Thread: https://forum.vodafone.de/t5/Ger%C3%A4te/FRITZ-Box-6591-Firmware-Bug-Kernel-Panic-Hashtable/td-p/289...

[21270.501237][1]perf: interrupt took too long (6247 > 6212), lowering kernel.perf_event_max_sample_rate to 32000
[21323.199697] BUG: internet: ipmasq: FATAL: UDP <lan-ip>/63339 (<wan-ip>/63339) still in hashtab after unhash
[21323.211325] ------------[ cut here ]------------
[21323.211559] WARNING: CPU: 0 PID: 0 at /GU/NETWORK_SOURCE_atomp7_build/kernelmodules/libs/datapipe/gen/sharedlibs/datapipe/datapipe.c:3708 0xc5056d78 dpmod_bugmsg+0x88/0xd0 [kdsldmod]
[21323.211563] Modules linked in: kspeedtest(O) krtp(PO) xhci_pci xhci_hcd userman_mod(PO) qca_ol(O) umac(O) ath_spectral(PO) ath_dfs(PO) qdf(O) asf(PO) mem_manager(PO) aae(PO) dect_io(P) avm_dect(P) capi_codec(P) isdn_fbox_fon5(P) pcmlink(P) avm_dvbc_drv(O) cable_netdev(O) toe_drv(O) swapi_mod(O) DWC_ETH_QOS_GBE(O) sec_kernel(O) DWC_ETH_QOS veth mux_drv(O) pumalbr0flt_drv(PO) avm_pa_hw(O) puma_lpal(O) cppp(O) wifi_proxy_netdev(O) dpd_netdev(O) puma7_pp_init hil_drv(O) kdsldmod(PO) cchardev(PO) avm_pp_counter(PO) cprocfsmod(PO) sgc_drv(O) pp_drv(O) pdsp_drv(O) Piglet_noemif(P) led_module(PO)
[21323.211704] CPU: 0 PID: 0 Comm: swapper/0 Tainted: P           O    4.9.250 #1
[21323.211709] Hardware name: Intel Corporation PUMA 7 C0 PLATFORM/TBD, BIOS CGM2.86C.627075.R.1910091149 10/09/2019
[21323.211715]  b400bc50 813a6f95 00000000 c5056d78 b400bc68 810eb017 00000e7c b400bc98
[21323.211739]  c513f524 a6669cd0 b400bc7c 81051b06 00000009 00000000 00000000 b400be9c
[21323.211762]  c5056d78 c5116d04 b400bc98 c5116cf6 ab7e61c0 c511948f 3a475542 746e6920
[21323.211785] Call Trace:
[21323.211791]  <IRQ> 
[21323.211807]  dump_stack+0x51/0x6c
[21323.212019]  ? dpmod_bugmsg+0x88/0xd0 [kdsldmod]
[21323.212030]  __warn+0xb2/0xc9
[21323.212043]  warn_slowpath_null+0x26/0x30
[21323.212252]  dpmod_bugmsg+0x88/0xd0 [kdsldmod]
[21323.212268]  ? enqueue_task_fair+0x861/0xdb0
[21323.212277]  ? ___cache_free+0x12f/0x1d0
[21323.212287]  ? find_next_bit+0x1b/0x30
[21323.212295]  ? cpumask_next_and+0x24/0x30
[21323.212302]  ? update_sd_lb_stats+0x110/0x490
[21323.212313]  ? skb_complete_tx_timestamp+0x90/0xd0
[21323.212321]  ? number+0x3bc/0x3c0
[21323.212330]  ? update_sd_lb_stats+0x420/0x490
[21323.212446]  ? ol_ath_set_channel+0x12e/0x140 [qca_ol]
[21323.212455]  ? vsnprintf+0x32c/0x5a0
[21323.212465]  ? snprintf+0x1d/0x20
[21323.212678]  ? ipaddr2str+0x54/0x60 [kdsldmod]
[21323.212904]  masq_release+0x3e2/0x450 [kdsldmod]
[21323.212914]  ? _raw_spin_unlock_bh+0x13/0x20
[21323.213116]  ? ctimer_unsetup_internal+0x15f/0x190 [kdsldmod]
[21323.213333]  masq_expire_timer+0x49/0x90 [kdsldmod]
[21323.213536]  ctimer_internal_docallouts+0x21e/0x340 [kdsldmod]
[21323.213692]  ? pcp_request_handler+0x140/0x140 [kdsldmod]
[21323.213849]  timer_function+0x1d/0xc0 [kdsldmod]
[21323.214007]  ? pcp_request_handler+0x140/0x140 [kdsldmod]
[21323.214018]  call_timer_fn.isra.29+0x29/0xc0
[21323.214026]  ? __next_timer_interrupt+0x96/0xc0
[21323.214035]  run_timer_softirq+0x1b8/0x3b0
[21323.214192]  ? pcp_request_handler+0x140/0x140 [kdsldmod]
[21323.214200]  ? run_rebalance_domains+0x118/0x1a0
[21323.214208]  __do_softirq+0xf8/0x370
[21323.214216]  ? takeover_tasklets+0x110/0x110
[21323.214226]  do_softirq_own_stack+0x1d/0x30
[21323.214230]  <EOI> 
[21323.214238]  irq_exit+0xb5/0xc0
[21323.214247]  smp_apic_timer_interrupt+0x4b/0x90
[21323.214256]  apic_timer_interrupt+0x2d/0x34
[21323.214266]  ? ip_tunnel_rcv.cold.38+0x34/0x40
[21323.214275]  ? cpuidle_enter_state+0x14d/0x250
[21323.214282]  cpuidle_enter+0xf/0x20
[21323.214292]  call_cpuidle+0x1c/0x30
[21323.214300]  cpu_startup_entry+0x10f/0x1a0
[21323.214308]  rest_init+0x6c/0x6f
[21323.214317]  start_kernel+0x366/0x370
[21323.214325]  i386_start_kernel+0x43/0x45
[21323.214331] ---[ end trace 67d43575bee41032 ]---
[21323.214339] Kernel panic - not syncing: BUG: internet: ipmasq: FATAL: UDP <lan-ip>/63339 (<wan-ip>/63339) still in hashtab after unhash
[21323.214339] 
[21323.230294] CPU: 0 PID: 0 Comm: swapper/0 Tainted: P        W  O    4.9.250 #1
[21323.238370] Hardware name: Intel Corporation PUMA 7 C0 PLATFORM/TBD, BIOS CGM2.86C.627075.R.1910091149 10/09/2019
[21323.249844]  b400bc64 813a6f95 b400bc00 c513f524 b400bc7c 810eae17 c513f524 b400bc98
[21323.258584]  c513f524 a6669cd0 b400be9c c5056d88 c511686a b400bc98 c5116cf6 ab7e61c0
[21323.267319]  c511948f 3a475542 746e6920 656e7265 69203a74 73616d70 46203a71 4c415441
[21323.276068] Call Trace:
[21323.278804]  <IRQ> 
[21323.280960]  dump_stack+0x51/0x6c
[21323.284678]  panic+0x91/0x1b9
[21323.288206]  dpmod_bugmsg+0x98/0xd0 [kdsldmod]
[21323.293187]  ? enqueue_task_fair+0x861/0xdb0
[21323.297966]  ? ___cache_free+0x12f/0x1d0
[21323.302355]  ? find_next_bit+0x1b/0x30
[21323.306550]  ? cpumask_next_and+0x24/0x30
[21323.311035]  ? update_sd_lb_stats+0x110/0x490
[21323.315911]  ? skb_complete_tx_timestamp+0x90/0xd0
[21323.321275]  ? number+0x3bc/0x3c0
[21323.324984]  ? update_sd_lb_stats+0x420/0x490
[21323.329967]  ? ol_ath_set_channel+0x12e/0x140 [qca_ol]
[21323.335718]  ? vsnprintf+0x32c/0x5a0
[21323.339721]  ? snprintf+0x1d/0x20
[21323.343643]  ? ipaddr2str+0x54/0x60 [kdsldmod]
[21323.348824]  masq_release+0x3e2/0x450 [kdsldmod]
[21323.353991]  ? _raw_spin_unlock_bh+0x13/0x20
[21323.358966]  ? ctimer_unsetup_internal+0x15f/0x190 [kdsldmod]
[21323.365605]  masq_expire_timer+0x49/0x90 [kdsldmod]
[21323.371257]  ctimer_internal_docallouts+0x21e/0x340 [kdsldmod]
[21323.377932]  ? pcp_request_handler+0x140/0x140 [kdsldmod]
[21323.384120]  timer_function+0x1d/0xc0 [kdsldmod]
[21323.389436]  ? pcp_request_handler+0x140/0x140 [kdsldmod]
[21323.395479]  call_timer_fn.isra.29+0x29/0xc0
[21323.400257]  ? __next_timer_interrupt+0x96/0xc0
[21323.405329]  run_timer_softirq+0x1b8/0x3b0
[21323.410062]  ? pcp_request_handler+0x140/0x140 [kdsldmod]
[21323.416103]  ? run_rebalance_domains+0x118/0x1a0
[21323.421270]  __do_softirq+0xf8/0x370
[21323.425270]  ? takeover_tasklets+0x110/0x110
[21323.430050]  do_softirq_own_stack+0x1d/0x30
[21323.434726]  <EOI> 
[21323.436879]  irq_exit+0xb5/0xc0
[21323.440403]  smp_apic_timer_interrupt+0x4b/0x90
[21323.445473]  apic_timer_interrupt+0x2d/0x34
[21323.450156]  ? ip_tunnel_rcv.cold.38+0x34/0x40
[21323.455129]  ? cpuidle_enter_state+0x14d/0x250
[21323.460102]  cpuidle_enter+0xf/0x20
[21323.464007]  call_cpuidle+0x1c/0x30
[21323.467912]  cpu_startup_entry+0x10f/0x1a0
[21323.472497]  rest_init+0x6c/0x6f
[21323.476110]  start_kernel+0x366/0x370
[21323.480207]  i386_start_kernel+0x43/0x45
[21323.484597] Remote Queue: Len: 64  Min Free: 59    Local Queue:  Len: 64  Min Free: 44  Dropped: 0
[21323.497577] set_reboot_status: Soft-Reboot(PANIC)  - PANIC(3)SUM(3)UP(21322)UTC(1661866222)FW()HW(233)HWS(8)BV(1.3614)
[21323.509701] Kernel Offset: disabled

Das ganze ist gleich dreimal passiert im Zeitraum 29.08. - 30.08.2022. Ich habe es jedoch nur für die letzten beide Mal das Log rechtzeitig zu ziehen. Diese liegen mir vor. Da sensitive Daten enthalten sein könnte, stelle ich sie bei Bedarf per PN bereit.

Kam etwas aus den Prüfungen der Fachabteilung heraus? Konnte man etwas feststellen? Ich bin weithin der Meinung, dass es sich um einen FritzBox-Software-Bug handelt.

Die obligatorischen Daten:

• In welchem Bundesland wohnst Du? Sende bitte auch die Postleitzahl
  Rheinland-Pfalz, 56355
  
• Welchen Vertrag hast Du? (z.B. Internet + Telefon 100)
  Red Business Internet & Phone 1000 Cable
  
• Welches Modem/ Router nutzt Du? (z.B. Hitron)
  AVM FRITZ!Box 6591 Cable
  
• Nutzt Du ein Leih-Gerät von uns oder hast Du ein eigenes Gerät?
  Leih-Gerät
• Welcher Fehler tritt auf? (Geschwindigkeit zu gering; Packetloss) Schicke dazu auch Screenshots von Speedtests (mit Datum und Uhrzeit) und Tracerts/ Pingplotter-Messungen bei Packetloss oder Ping-Problemen. Stelle beim Pingplotter 2,5 Sekunden beim Intervall ein und nutze betroffene Dienste als Ziel.
  Spontane Neustarts der Fritzbox aufgrund einer Kernel-Panic
• Wie ist Dein Endgerät mit dem Modem verbunden? (LAN; WLAN; zusätzlicher Router; PowerLAN)
  LAN
  
• Beginn und Zeitraum der Störung (z.B: seit Anfang April; nur am Abend)
  29.08.2022 21:42 Uhr; 30.08.2022 09:34 Uhr; 30.08.2022 15:30 Uhr
• Lade dazu noch einen Screenshot von den Signalwerten hoch. Diese findest Du in der Benutzeroberfläche Deines Kabelrouters über 192.168.0.1 bzw. über 192.168.178.1 bei der Fritzbox.
  
  
• Was hat die Prüfung mit dem Netzassistenten und dem Chat-Bot TOBi ergeben?
  Nicht genutzt (außer zur Prüfung, dass keine Regionale Störung vorliegt), da ansonsten Geschwindigkeiten und Verbindung derzeit stabil und sehr gut ist.
  Einzig auffällige: seit 11 Tagen gibt es enorme Korrekturraten im Downstream:
  
• Welche Maßnahmen wurden durch die Störungshotline (erreichbar unter 0800-5266625 für Vodafone Kabel Deutschland bzw. 0221/46619100 für Vodafone West) durchgeführt?
  Keine, es hat kein Anruf stattgefunden
  

[pRo-Marco]

Hi monofox,

so richtig schick sind die Pegelwerte nicht und es gibt immer wieder Frequenzwechsel.

Ich möchte gern einen Techniker beauftragen, der sich das vor Ort anschaut. Wenn das für Dich in Ordnung ist, dann brauche ich noch eine Handynummer, damit wir einen Termin vereinbaren können.
Ist die Hausanlage zugänglich?

Beachte bitte die Hinweise zur Servicepauschale. Liegt die Ursache in unserem Verantwortungsbereich, ist der Einsatz für Dich kostenlos.

Aufgrund der aktuellen Entwicklungen müssen wir gewisse Vorsichtsmaßnahmen treffen. Daher müssen wir wissen, ob in Deinem Haushalt Symptome aufgetreten sind, die im Zusammenhang mit Covid-19 stehen könnten. Wir wollen Dir natürlich nicht zu nahe treten, aber andererseits wollen wir auch nicht unnötig noch mehr Menschen gefährden.

Viele Grüße

Marco

[monofox]

Hallo pRo-Marco,

danke für dein Feedback.

> Wenn das für Dich in Ordnung ist

Ist für mich in Ordnung, wenn ihr es für sinnvoll oder erforderlich erachtet.

> brauche ich noch eine Handynummer

Stelle ich gerne per PN bereit (müsste sogar in den Kundendaten hinterlegt sein), inkl. Kundennummer, wenn nicht sowieo schon bekannt.

> Ist die Hausanlage zugänglich?

Ja, ich habe direkten Zugang zur Hausanlage (Fritzbox, Verstärker,...) im Keller.

Beste Grüße,
monofox

[pRo-Marco]

Hi monofox,

die Rufnummer ist noch hinterlegt

Der Techniker ist beauftragt und ruft Dich noch an, um einen Termin auszumachen.

Viele Grüße

Marco

[monofox]

Hallo @pRo-Marco ,

vielen Dank! Der Techniker war heute hier und meint, es käme zu wenig an, er wolle nochmal Messungen außerhalb des Gebäudes durchführen (lassen) und ggf. an Tiefbau weitergeben.

Unabhängig dessen stürzt hier ja Software ab (= ein AVM spezifisches Linux Kernel Modul), die nicht abstürzen soll. Der Absturz könnte durchaus aufgrund von fehlerhaften Daten oder Signalen getriggert sein. I.d.R. sollte das Kernelmodul die Situation aber abfangen. Habt ihr AVM dazu mal kontaktiert?

Beste Grüße,
monofox / Lukas

[ERFD]

Hallo monofox,

nein, bisher wurde dazu nichts weitergeleitet. Sicher macht es Sinn dies direkt an AVM weiterzuleiten. Dort ist es besser platziert. Hier kann man Dir auch gleich sagen, ob dies ein generelles Problem an dem Modell ist oder ob es sich um fehlerhafte Hardware handelt.

Gruß Fred

[monofox]

Hallo @ERFD ,

danke für die Rückmeldung. Heute wurde die Fritzbox zweimal zwangsgetrennt. Vermutlich durch eure Kollegen. Jedenfalls wurde danach das Ticket abgeschlossen und auch die Fehlerkorrekturraten gingen merklich runter.

Unabhängig dessen habe ich gestern bereits ein Fall bei AVM eröffnet, die ich gerade mit Datenpunkten versorge.

Wenn das i.O. ist, würde ich im Anschluss auch hier etwaiges Feedback von AVM unabhängig des Ergebnisses teilen.

Beste Grüße,
monofox / Lukas

[Wallace]

Hi Lukas,

unsere Techniker haben am 07.09 einen Linienverstärker getauscht und seitdem sieht die Leitung ziemlich sauber aus.

Klar, immer her mit den Infos. Ich bin gespannt was AVM dazu sagt.

VG Wallace

[monofox]

Hallo,

danke Wallace für die technischen Details!

Ich habe zwischenzeitlich auch Feedback von AVM erhalten - schneller als gedacht:

---

ich habe so eben bereits eine Rückmeldung meiner Kollegen erhalten.

Anhand der von Ihnen bereitgestellten Daten und Informationen, sowie die Fehlerberichte, welche von der FRITZ!Box bei uns eingegangen sind, lassen sich die Ursachen der eigenständigen Neustarts auf einen uns bereits bekanntes Problem zurückführen.

Dieses Problem ließ sich soweit auch bereits lösen und ein entsprechender Fix wird mit dem kommenden FRITZ!OS Update erscheinen. Daher kann ich Sie in diesem Fall leider nur um etwas Geduld bitten, bis wir dieses Update veröffentlicht haben und Vodafone dieses auf Ihrer FRITZ!Box installiert hat.

Gerne hätte ich Ihnen eine direkte Lösung für diese Problematik zur Hand gegeben.

Freundliche Grüße aus Berlin

---

Wie vermutet also ein Software-Bug. Ich kenne die Release-Zyklen nicht, aber ich vermute, da wird noch etwas Zeit ins Land gehen, bis das bei den Leih-Boxen landet.

[Martin59]

Hi monofox,

wann das nächste Update zur Verfügung steht und ausgerollt werden kann, steht derzeit noch nicht fest.

Erfahrungsgemäß liegen da aber schon ein paar Monate zwischen der Veröffentlichung von der AVM-Firmware und der angepassten Firmware für uns.

Viele Grüße, Martin