TrueNAS core kernel panic durch Jails bei hoher Netzwerk last

[BoscoLAB]

Hallo zusammen,

ich bin neu hier im Forum und freue mich auf ein interessanten austausch. Ich bin schon viele Jahre in der FreeNAS und TrueNAS Welt unterwegs und betreibe ca. 10 Maschinen.

Nun zu meinem Problem. Mein TrueNAS Core bekommt eine kernel panic wenn ich über die 10G Leitung Backups von Proxmox starte. Nach Analyse habe ich festgestellt das es nicht passiert wenn ich die beiden Jails ausschalte! Die kernel panic kommt neu bei laufenden Jails. Auf der Konsole sieht man diese Meldung:



Danach startet der Server neu.
Wer kann hier helfen?

Hier noch die Technischen Daten des Systems:

Supermicro Server

TrueNAS-12.0-U2.1
2x Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz
64GB RAM
2x HP H220 HBA
10x WD RED 4TB
1x DUAL 10G Chelsio Netzwerkkarte

2 Jails, Plex und Zoneminder


Viele Grüße
Rudolf

 

[micneu]

dann installiere doch die beiden auf deinem proxmox, so umgehst du das problem
sind denn wirklich beide an dem problem beteiligt?
- die CPU ist ja auch nicht die neueste, könnte mir einfach vom alter vorstellen das es da langsam eng wird (denke die kiste ist nicht schneller als meine und verbraucht weit mehr strom)

 

[Patrick M. Hausen]

Mach doch bitte dazu ein FreeBSD Bugticket auf. Der Bridge- und epair-Code ist zwar inzwischen ziemlich stabil, braucht aber immer noch etwas Liebe. Die nächste große Verbesserung durch Kristof Provost ist in FreeBSD 13, aber das ist leider noch nicht in TrueNAS.

 

[BoscoLAB]

Mach doch bitte dazu ein FreeBSD Bugticket auf. Der Bridge- und epair-Code ist zwar inzwischen ziemlich stabil, braucht aber immer noch etwas Liebe. Die nächste große Verbesserung durch Kristof Provost ist in FreeBSD 13, aber das ist leider noch nicht in TrueNAS.

Danke für deine Antwort, kannst du mir einen hinweis geben wo genau ich das Bugticket erstellen kann?

 

[Patrick M. Hausen]

Im FreeBSD Bugtracker:

FreeBSD Bugzilla Main Page

bugs.freebsd.org

 

[BoscoLAB]

Ich habe einen Eintrag im Bugtracker gemacht.
Das Problem konnte ich auf einem anderen System zu 100% reproduzieren.

 

[Patrick M. Hausen]

Benutzt Dein TrueNAS für seine eigene Kommunikation dieselbe Netzwerkschnittstelle wie die beiden Jails? Hast Du die IP-Adresse für das TrueNAS auf dem Bridge-Interface oder auf dem darunterliegenden angelegt?

 

[BoscoLAB]

Ich habe ein Netzwerkinterface mit 10G SFP+, dieses Interface ist die Standard Netzwerkschnittstelle mit fester IP. Auf der Schnittelle laufen auch die Jails. Ich hatte versucht die Jails auf eine andere Schnittstelle zu legen, aber ich darf das IP netz 192.168.x.x nur auf einem Interface verwenden.
Also TrueNAS und Jails liegen auf dem selben Interface.

 

[Patrick M. Hausen]

Leg bitte einmal das Bridge-Interface explizit an statt den Automatismus wirken zu lassen.

1. Bei den Jails Autostart deaktivieren
2. Maschine rebooten - dadurch ist die automatisch angelegte Bridge dann weg
3. Network --> Interfaces --> Add

Typ: Bridge
Name: bridge0
Bridge Members: Dein 10G SFP+

Dann erstmal speichern.

Nächster Schritt:

Die IP-Adresse beim 10G entfernen. Wenn Du IPv6-Autokonfiguration eingeschaltet hast, diese auch deaktivieren. "Disable Hardware Offloading" aktivieren. Wichtig! Save, noch passiert nix.
Dann die IP-Adresse und ggf. IPv6-Autoconifguration bei der Bride eintragen. Ebenfalls Save.
Dann Test Settings und dann final Save - wenn alles klappt, sollte die Verbindung nur kurz unterbrochen sein.

Dann in den Jail-Einstellungen für beide Jails:

Basic Properties - vnet_default_interface: none
Network Properties - interfaces: vnet0:bridge0

Und abspeichern. Danach solltest Du die Jails starten können und Dein TrueNAS kommuiniziert selbst mit dem Bridge-Interface als Layer3-Schnittstelle. Das muss so, FreeBSD-Doku sagt das, der maßgebliche Entwickler sagt das, iXsystems implementiert es nicht so, frag mich nicht weshalb.

Und dann kannst Du ja Dein Backup mit laufenden Jails nochmal testen.

 

[BoscoLAB]

Ich habe nach deiner Doku alles eingestellt. Lieder gab es wieder eine panic.

 

[Patrick M. Hausen]

Hardware-Offloading definitiv aus? Dann ist das ziemlich schräg, ich hab zwei Systeme in der Firma mit 10G und schaufel da mit zfs send|receive von NVMe nach NVMe die Interfaces voll ... da ist allerdings an dieser Stelle auch keine Bridge im Spiel. Und meine ganzen Kisten mit Dutzenden von Jails haben alle nur 1G.

Wenn Deine Kiste mehrere Interfaces hat, könntest Du die Jails auf das zweite legen - ich kann Dir rausschreiben wie das geht. Man muss da ein bisschen aufpassen, besonders wenn man ein Jail mit vnet_default_interface: auto anlegt, dann bridged es einem u.U. die beiden Interfaces zusammen und dann schmilzt durch den Loop das ganze LAN. Aber wenn man weiß, wie das mit Bridging so geht, und alles richtig macht, dann fluppt das. Die Panic passiert ja irgendwo in if_bridge(4) - also die Jails runter von dem Interface mit der Last und alles wird schick

 

[BoscoLAB]

Hardware-Offloading ist am cxgb0 deaktiviert aber an der bridge0 aktiv. Oder soll das auch bei bridge0 deaktiviert werden?

Ich habe noch 4x 1G LAN frei, hier wäre es möglich die Jails auf einen dieser Interfaces zu legen. Über das WebGUI hatte ich es schon mal versucht, aber es ist nicht erlaubt ein zweites Interface für das identische LAN zu konfigurieren. Wenn du die Lösung dafür hat wäre ich dir sehr dankbar! :)

 

[Patrick M. Hausen]

HW-Offloading nur für das phys. Interface, das passt schon so. Also, um die Jails auf die andere Netzwerkkarte zu schieben ...

1. Autostart bei den Jails aus, Reboot
2. Den Tanz mit der IP-Adresse wieder rückwärts, also
- IP Adresse von der Bridge entfernen, IPv6 ggf. auch
- IP Adresse beim 10G hinzufügen
- Hardware Offloading kannst Du wieder aktivieren
- Test - Save
3. Bei einem der 1G Interfaces das HW Offloading deaktivieren und in die Options "up" reinschreiben, sonst nichts konfigurieren
4. Dieses Interface zum Member der bridge0 machen und das 10G von der Bridge entfernen - wichtig!
5. Reboot und mal mit ifconfig gucken, dass wirklich nur das 1G als "member" in der bridge0 ist
6. Wenn das passt, kannst Du das 1G mit einem Kabel verbinden und die Jails wieder hochfahren

 

[BoscoLAB]

Ich habe nach deinen vorgaben alles eingerichtet, die Jails laufen und das Backup auch. Bis jetzt keine panic. Ich bin voller Hoffnung!

Am Sonntag melde ich mich noch mal wenn alles in den Nacht Jobs durchgelaufen ist ohne Fehler.

Danke für deine Hilfe! :)

 

[Patrick M. Hausen]

Dein Mißverständnis war, dass Du dem 1G eine IP-Adresse geben wolltest. Das geht im selben Netz tatsächlich nicht und TrueNAS verhindert das hier völlig zu recht. Das 1G ist nur ein Layer2-Link, die Bridge sozusagen ein virtueller Switch. Wenn Du VMware vSwitche kennst - die FreeBSD Bridge ist genau das. Deshalb als einziges das "up", damit das Interface aktiviert wird. Das passiert, wenn man eine IP-Adresse vergibt, automatisch. Wenn man das Interface nur einschalten will, muss man es halt ausdrücklich rein schreiben.

 

[BoscoLAB]

Ich melde mich noch mal abschließend. Das System läuft mit den neuen Einstellungen stabil und ohne panic!

Danke für die Hilfe!