TrueNAS Core hängt teilweise nach Wechsel der Netzwerkkarte

I

ITEC

Cadet
Joined
Jan 13, 2019
Messages
3
Ich habe eine neue 10GB Netzwerkkarte in den Server eingebaut. Diese meldet sich als mlxen0. Die beiden anderen on board Netzwerk Ports (igb0 und igb1) möchte ich nicht mehr verwenden (igb1 wurde nie verwendet).

Nach dem Einbau habe ich igb0 eine neue IP und mlxen0 die alte IP von igb0 zugewiesen und die MTU auf 9000 gestellt. Ich habe eine neue bridge1 erstellt und alle jails mit der bridge1 verbunden. Danach funktionierte alles wie erwartet. Nach einem Neustart treten jedoch diverse Probleme auf.

Erstmal was alles geht:
TrueNAS und alle Jails starten.
Ich kann TrueNAS und alle jails anpingen.
Die Jails funktionieren teilweise, z.B. ein Jail mit dnsmasq funktioniert, ein Jail mit ttrss oder ein Jail mit postfix funktioniert nicht (keine Verbindung via Browser oder Thunderbird).
Ich kann auf alle Jails mit ssh zugreifen.
Alle zpools sind online und haben keine Fehler (kann auch Daten z.B. auf einen USB Stick kopieren)..

Was nicht mehr geht:
Ich kann nicht auf die Weboberfläche zugreifen (Browser lädt nur Teile aus dem Cache).
Ich habe keinen Zugriff mehr auf meine NFS Shares.
Wenn ich in TrueNAS oder in irgendeinem Jail den midnight commander aufrufe, dann hängt die ganze ssh Verbindung (Terminal bleibt schwarz).
Wenn ich eine SFTP Verbindung zu TrueNAS aufbauen will, dann läuft es in einen Timeout beim Einlesen des Verzeicnisses /root.
Ein simples cat file hängt die SSH Verbindung auf. Editieren mit vi geht jedoch.

Was mir aufgefallen ist:
Mit dmesg bekomme ich Fehlermeldungen wegen MTU, weil TrueNAS irgendwie versucht igb0 (MTU 1500) in die bridge1 (MTU 9000) zu integrieren.
Beispiel (gekürzt):
Code:
vnet0.8: link state changed to DOWN
epair0b: link state changed to DOWN
epair5a: Ethernet address: 02:c2:a4:39:7a:0a
epair5b: Ethernet address: 02:c2:a4:39:7a:0b
epair5a: link state changed to UP
epair5b: link state changed to UP
epair5a: changing name to 'vnet0.9'
epair5b: changing name to 'epair0b'
bridge1: invalid MTU: 1500(igb0) != 9000
vnet0.9: promiscuous mode enabled
lo0: link state changed to UP


Hier noch die Ausgabe von ifconfig:
Code:
root@freenas:~ # ifconfig
igb0: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
    description: ITEC_NAS_1
    options=4e507bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWFILTER,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6,NOMAP>
    ether 0c:c4:7a:69:33:ce
    inet 192.168.1.251 netmask 0xffffff00 broadcast 192.168.1.255
    media: Ethernet autoselect
    status: no carrier
    nd6 options=9<PERFORMNUD,IFDISABLED>
igb1: flags=8822<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
    options=4e507bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWFILTER,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6,NOMAP>
    ether 0c:c4:7a:69:33:cf
    media: Ethernet autoselect
    status: no carrier
    nd6 options=9<PERFORMNUD,IFDISABLED>
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
    options=680003<RXCSUM,TXCSUM,LINKSTATE,RXCSUM_IPV6,TXCSUM_IPV6>
    inet6 ::1 prefixlen 128
    inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3
    inet 127.0.0.1 netmask 0xff000000
    groups: lo
    nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
pflog0: flags=0<> metric 0 mtu 33160
    groups: pflog
mlxen0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 9000
    description: NAS_SFP+
    options=ad00b9<RXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWFILTER,VLAN_HWTSO,LINKSTATE,RXCSUM_IPV6>
    ether e4:1d:2d:7f:6f:90
    inet 192.168.0.251 netmask 0xffffff00 broadcast 192.168.0.255
    media: Ethernet autoselect (10Gbase-CX4 <full-duplex,rxpause,txpause>)
    status: active
    nd6 options=9<PERFORMNUD,IFDISABLED>
bridge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 9000
    description: SFP+
    ether 58:9c:fc:00:36:19
    inet6 fe80::5a9c:fcff:fe00:3619%bridge1 prefixlen 64 scopeid 0x6
    id 00:00:00:00:00:00 priority 32768 hellotime 2 fwddelay 15
    maxage 20 holdcnt 6 proto rstp maxaddr 2000 timeout 1200
    root id 00:00:00:00:00:00 priority 32768 ifcost 0 port 0
    member: vnet0.10 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>
            ifmaxaddr 0 port 13 priority 128 path cost 2000
    member: vnet0.9 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>
            ifmaxaddr 0 port 12 priority 128 path cost 2000
    member: vnet0.7 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>
            ifmaxaddr 0 port 11 priority 128 path cost 2000
    member: vnet0.5 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>
            ifmaxaddr 0 port 10 priority 128 path cost 2000
    member: vnet0.4 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>
            ifmaxaddr 0 port 9 priority 128 path cost 2000
    member: vnet0.3 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>
            ifmaxaddr 0 port 8 priority 128 path cost 2000
    member: vnet0.1 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>
            ifmaxaddr 0 port 7 priority 128 path cost 2000
    member: mlxen0 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>
            ifmaxaddr 0 port 5 priority 128 path cost 55
    groups: bridge
    nd6 options=23<PERFORMNUD,ACCEPT_RTADV,AUTO_LINKLOCAL>
vnet0.1: flags=8963<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 9000
    description: associated with jail: Database as nic: epair0b
    options=8<VLAN_MTU>
    ether 0c:c4:7a:9b:4f:91
    hwaddr 02:93:da:00:ea:0a
    groups: epair
    media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)
    status: active
    nd6 options=9<PERFORMNUD,IFDISABLED>
vnet0.3: flags=8963<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 9000
    description: associated with jail: Gitea as nic: epair0b
    options=8<VLAN_MTU>
    ether 0e:c4:7a:ca:ae:88
    hwaddr 02:f3:17:6f:02:0a
    groups: epair
    media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)
    status: active
    nd6 options=9<PERFORMNUD,IFDISABLED>
vnet0.4: flags=8963<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 9000
    description: associated with jail: Horde as nic: epair0b
    options=8<VLAN_MTU>
    ether 0c:c4:7a:9d:b4:c6
    hwaddr 02:5a:8b:df:64:0a
    groups: epair
    media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)
    status: active
    nd6 options=9<PERFORMNUD,IFDISABLED>
vnet0.5: flags=8963<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 9000
    description: associated with jail: SVN as nic: epair0b
    options=8<VLAN_MTU>
    ether 0c:c4:7a:b5:d1:85
    hwaddr 02:80:a5:56:0d:0a
    groups: epair
    media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)
    status: active
    nd6 options=9<PERFORMNUD,IFDISABLED>
vnet0.7: flags=8963<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 9000
    description: associated with jail: kivitendo as nic: epair0b
    options=8<VLAN_MTU>
    ether 0c:c4:7a:5f:a9:7d
    hwaddr 02:1d:ae:70:53:0a
    groups: epair
    media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)
    status: active
    nd6 options=9<PERFORMNUD,IFDISABLED>
vnet0.9: flags=8963<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 9000
    description: associated with jail: system as nic: epair0b
    options=8<VLAN_MTU>
    ether 0e:c4:7a:83:1b:b0
    hwaddr 02:c2:a4:39:7a:0a
    groups: epair
    media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)
    status: active
    nd6 options=9<PERFORMNUD,IFDISABLED>
vnet0.10: flags=8963<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 9000
    description: associated with jail: ttrss as nic: epair0b
    options=8<VLAN_MTU>
    ether 0c:c4:7a:63:65:10
    hwaddr 02:da:ac:42:9f:0a
    groups: epair
    media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)
    status: active
    nd6 options=9<PERFORMNUD,IFDISABLED>



Was kann ich noch tun?
 
ChrisRJ

ChrisRJ

Wizard
Joined
Oct 23, 2020
Messages
1,919
I

ITEC

Cadet
Joined
Jan 13, 2019
Messages
3
ChrisRJ said:
Um was fuer eine Karte handelt es sich?
Click to expand...
Es ist eine Mellanox ConnectX-3.

Ich konnte das Problem inzwischen lösen. Es lag am Router, der Probleme mit den Jumbo Frames hatte. Nach Tausch geht jetzt alles wieder.
Ich war bei meinen Untersuchungen zu sehr auf die Zeile:

bridge1: invalid MTU: 1500(igb0) != 9000

fixiert. Das kam aber lediglich daher, dass in den Jail Konfigurationen 'vnet_default_interface' auf igb0 stand. Steht jetzt auf 'auto' und damit ist auch diese Meldung weg.
 
You must log in or register to reply here.

Important Announcement for the TrueNAS Community.

The TrueNAS Community has now been moved. This forum will now become READ-ONLY for historical purposes. Please feel free to join us on the new TrueNAS Community Forums.

Related topics on forums.truenas.com for thread: "TrueNAS Core hängt teilweise nach Wechsel der Netzwerkkarte"

Similar threads

Florian8619
  • Locked
Konfigurations- und scheinbar Netzwerkproblem
Replies
2
Views
1K
Florian8619
Florian8619
Poetart
Iocages are unable to connect to network but show up in bridge
Replies
1
Views
993
Poetart
Poetart
N
Help getting 10 gig Peer to Peer working
Replies
16
Views
4K
Redcoat
Redcoat
STREBLO
  • Locked
Properly creating iocage bridges for VNET
Replies
4
Views
5K
STREBLO
STREBLO
H
  • Locked
SOLVED No networking Debian bhyve
Replies
2
Views
4K
HertogArjan
H
Top