Einrichtung LACP FreeNAS 8.3.x

Razorblade · Mar 23, 2013

Hallo zusammen,

ich versuche seit einiger Zeit einen LACP LAGG mit meinem FreeNAS System zu erstellen. Leider ohne Erfolg.

Folgendermaßen gehe ich vor: (Konsole, denn via GUI erhalte ich einen STOP-Error)
- Alle LAN Interfaces löschen
- neues lagg-Interface erstellen
- Neustart
- lagg Interface konfigurieren (IP vergeben oder DHCP)
- Neustart

Bei DHCP erhalte ich beim zweiten Neustart einige Meldungen, dass er den DHCP Server sucht (DHCPDISCOVER) und nach einigen Versuchen ist dann Ende und ich erhalte keine Adresse.
Bei einer statischen IP steht dann zwar die IP dran, ich kann sie aber nicht erreichen - auch ein lokaler Ping auf diese IP funktioniert nicht.

Folgendes erhalte ich am Switch:

Code:

19	2013-03-24 07:24:31	LAG	level_6	 	
Canceled Link Aggregation Group 2, members: Port 3-4.
20	2013-03-24 07:24:30	LAG	level_6	 	
Added new Link Aggregation Group 2, members: Port 3-4.
21	2013-03-24 07:24:25	LAG	level_6	 	
Canceled Link Aggregation Group 2, members: Port 3-4.
22	2013-03-24 07:24:24	LAG	level_6	 	
Added new Link Aggregation Group 2, members: Port 3-4.
23	2013-03-24 07:24:19	LAG	level_6	 	
Canceled Link Aggregation Group 2, members: Port 3-4.
24	2013-03-24 07:24:18	LAG	level_6	 	
Added new Link Aggregation Group 2, members: Port 3-4.
25	2013-03-24 07:24:13	LAG	level_6	 	
Canceled Link Aggregation Group 2, members: Port 3-4.
26	2013-03-24 07:24:12	LAG	level_6	 	
Added new Link Aggregation Group 2, members: Port 3-4.
27	2013-03-24 07:24:07	LAG	level_6	 	
Canceled Link Aggregation Group 2, members: Port 3-4.
28	2013-03-24 07:24:06	LAG	level_6	 	
Added new Link Aggregation Group 2, members: Port 3-4.
29	2013-03-24 07:24:01	LAG	level_6	 	
Canceled Link Aggregation Group 2, members: Port 3-4.
30	2013-03-24 07:24:00	LAG	level_6	 	
Added new Link Aggregation Group 2, members: Port 3-4.
31	2013-03-24 07:23:55	LAG	level_6	 	
Canceled Link Aggregation Group 2, members: Port 3-4.
32	2013-03-24 07:23:54	LAG	level_6	 	
Added new Link Aggregation Group 2, members: Port 3-4.
33	2013-03-24 07:23:49	LAG	level_6	 	
Canceled Link Aggregation Group 2, members: Port 3-4.
34	2013-03-24 07:23:48	LAG	level_6	 	
Added new Link Aggregation Group 2, members: Port 3-4.
35	2013-03-24 07:23:44	LAG	level_6	 	
Canceled Link Aggregation Group 2, members: Port 3-4.
36	2013-03-24 07:23:42	LAG	level_6	 	
Added new Link Aggregation Group 2, members: Port 3-4.
37	2013-03-24 07:23:37	LAG	level_6	 	
Canceled Link Aggregation Group 2, members: Port 3-4.
38	2013-03-24 07:23:36	LAG	level_6	 	
Added new Link Aggregation Group 2, members: Port 3-4.

Der Switch sollte korrekt konfiguriert sein, denn ein anderes LACP-Team funktioniert auf diesen beiden Ports.

Der Fehler trat mit der FreeNAS 8.3.0 und jetzt eben auch mit der 8.3.1 auf.

Was kann ich tun um ein LACP-Team mit FreeNAS zum Laufen zu bekommen?

Atomic · Mar 24, 2013

Moin,

es scheint so als ob das Link Aggregat nicht "hoch kommt". Du solltest dem LAG Interface umbedingt eine feste IP geben und auf dem Switch gucken in was für einem Modus die Link Aggregat Group Interfaces sind.
Mögliche Modi: On / Active / Passive / Off, wenn beide Seiten auf Passiv sind wartet jeder auf den andern und keiner macht was.

Sonst ist hier noch ein Youtube Video zu den Thema: http://www.youtube.com/watch?v=2aHMJoEztxs

Atomic · Mar 24, 2013

Moin Razorblade,

es scheint so als ob das Link Aggregat nicht "hoch kommt". Du solltest der Link Aggregation Group in jedem fall eine feste IP geben und auf dem Switch prüfen in welchen Modus dessen Link Aggregation Group ist.

Mögliche Modi: On / Active / Passive / Off wenn beide Seiten auf passiv stehen, wartet jeder auf den anderen und keiner macht etwas.

Razorblade · Mar 29, 2013

Hallo Atomic,

Danke für die Antwort. Die E-Mailbenachrichtigung hat nicht funktioniert, darum die späte Antwort. :D
Auch mit einer statischen IP ändert sich das Verhalten nicht.
Ich werde das mal überprüfen, gibt es eine Möglichkeit in FreeNAS den Modus umzustellen?

Atomic · Mar 29, 2013

Moin,

im FreeNAS Backend leider nicht aber dein Switch sollte das können. Falls dein Switch keinerlei Einstellmöglichkeiten zu diesem Thema hat, lass lieber die Finger davon. Um LAGs (auch Etherchannels genannt) sinnvoll einsetzten zu können muss der Switch dass ganze auch entsprechend unterstützen, dies tun leider nur Switche aus dem Enterprise Bereich, z.B. Cisco Catalyst 2960 und 3560.:)

Ich habe vor einiger Zeit mal mit einem Netgear GS108T (SmartSwitch) rumexperimentiert und bin zu der Erkenntnis gekommen das dieser Switch dafür nicht geeignet ist.:(

Die oben genannten Modi sind ja nur der erste Schritt, um einen wirklichen Bandbreiten Vorteil zu erzielen muss man auch noch den entsprechenden Betriebsmodus wählen. Wenn Du diese nicht am Switch einstellen kannst bringt Dir dass nicht viel mehr Datendurchsatz.

Mögliche Betriebsmodi: Round-robin / Active-backup / XOR (balance-xor) / Broadcast / Adaptive transmit load balancing (balance-tlb) / Adaptive load balancing (balance-alb)

Ich persönlich bevorzuge Round-robin.

Razorblade · Mar 29, 2013

Danke für die Antwort.
Der Switch unterstützt das, es ist ein Enterprise Switch. Mein vSphere 5.1 Host ist via LACP mit vDS angebunden - daher bin ich mir sicher ;)
Im ESX-Management kann man pasiv/aktiv einstellen, daher dachte ich, dass dies ggf. auch bei FreeNAS geht.

Ich werde weiterversuchen.

Vielen Dank für die Antworten und Deine Hilfe

Atomic · Mar 29, 2013

Moin,

hattest Du denn den ESX schon auf "akive" gestellt?

Sonst einfach mal das "FEC" Protokoll ausprobieren, das ist Cisco proprietär und wird von FreeNAS unterstützt (Angeblich).

Razorblade · Mar 29, 2013

Nein, der ESX ist auf "passive", der Switch steht auf "active".
So auch die Ports für den FreeNAS-Server, die Ports stehen auf "active"

So sieht's aus:

Code:

TL-SG3424#show lacp 1 internal                                                 
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in active mode       P - Device is in passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/1   SA      Up        32768         0x1       0x70f   0x1         0x3d
Gi1/0/2   SA      Up        32768         0x1       0x70f   0x2         0x3d

TL-SG3424#show lacp 2 internal                                                 
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in active mode       P - Device is in passive mode

Channel group 2
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/3   SA      Down      32768         0x2       0       0x3         0x45
Gi1/0/4   SA      Down      32768         0x2       0       0x4         0x45

Channel Group 1 ist der ESX, 2 soll der FreeNAS Server sein.
Es ist kein Cisco Switch, es ist ein TP-Link, daher fällt das mit FEC flach ;)

Atomic · Mar 29, 2013

Okay, Channel groupe 2 sieht so eigentlich ganz gut aus.

Hast Du mal versucht einfach den Mode in ON zu ändern? Weil er ja im active Mode immer noch nach LACPDUs fragt und wenn er dann keine vom FreeNAS bekommt, passiert nichts.

TL-SG3424#show lacp 2 internal
Flags: S - Device is requesting Slow LACPDUs
F - Device is requesting Fast LACPDUs
A - Device is in active mode P - Device is in passive mode

Channel group 2
LACP port Admin Oper Port Port
Port Flags State Priority Key Key Number State
Gi1/0/3 SA Down 32768 0x2 0 0x3 0x45
Gi1/0/4 SA Down 32768 0x2 0 0x4 0x45

Razorblade · Mar 29, 2013

Wenn ich den Mode auf "on" setze, dann funktioniert es. Es ist dann aber eben ein statisches LAG. Ich möchte aber ein dynamisches LACP haben.

So sieht es aus, wenn statisch LACP eingerichtet ist (mit einem Link an der FreeNAS-Box)

Code:

TL-SG3424#show lacp 2 internal                                                 
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in active mode       P - Device is in passive mode

Channel group 2
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/3   SA      Down      32768         0x2       0       0x3         0x45
Gi1/0/4   SA      Up        32768         0x2       0x6bc   0x4         0x5

TL-SG3424#show lacp 2 neighbor                                                 
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in active mode       P - Device is in passive mode

Channel group 2
                  LACP port                  Admin  Oper   Port    Port
Port      Flags   Priority   Dev ID          Key    Key    Number  State
Gi1/0/3   SP      0          0000.0000.0000  0      0      0       0
Gi1/0/4   SA      32768      001b.21bf.653d  0      0x170  0x2     0xd

Er scheint active/active zu machen, aber es funktioniert nicht. --> kein Ping
Setze ich die zweite Channel Group manuell auf passive passiert auch nichts. --> kein Ping

Code:

TL-SG3424(config-if-range)#show lacp 2 internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in active mode       P - Device is in passive mode

Channel group 2
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Gi1/0/3   SP      Down      32768         0x2       0       0x3         0x44
Gi1/0/4   SP      Up        32768         0x2       0x15e   0x4         0x4

TL-SG3424(config-if-range)#show lacp 2 neighbor                                
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in active mode       P - Device is in passive mode

Channel group 2
                  LACP port                  Admin  Oper   Port    Port
Port      Flags   Priority   Dev ID          Key    Key    Number  State
Gi1/0/3   SP      0          0000.0000.0000  0      0      0       0
Gi1/0/4   SA      32768      001b.21bf.653d  0      0x170  0x2     0xd

Nur, wenn ich den Mode auf "on" setze und somit ein statisches LAG einrichte, scheint es zu funktionieren - ping geht:

Code:

TL-SG3424(config-if-range)#channel-group 2 mode on                             

TL-SG3424(config-if-range)#show lacp 2 neighbor                                
Etherchannel group 2 is not running LACP.

TL-SG3424(config-if-range)#show lacp 2 internal                                
Etherchannel group 2 is not running LACP.

Liegt das nun am Switch oder an FreeNAS? Weißt Du da was?

Auf jeden Fall vielen Dank für Deine Hilfe und Deine Hinweise, das hat mir sehr geholfen.

Atomic · Mar 30, 2013

Moin,

hab gerade noch mal in meinen Cisco Unterlagen nachgeschaut.

Wenn das FreeNAS, wie es scheint, nur "ON" oder "OFF" kennt muss Dein Switch auch im Modus "ON" sein damit der Channel hoch kommt.

Varianten:
On + On = Channel
On/Active/Passive + Off = No Channel
Active/Passive + Active = Channel
Passive/On + Passive = No Channel

Quelle: Implementing Cisco Switched Networks, Volume 1, Seite 2-61

Razorblade · Mar 30, 2013

Cool, danke!

Demnach ist es so die einzige Möglichkeit, mit einem statischen LAG. Seh' ich das jetzt richtig?

Was ich festgestellt habe, ist, dass FreeNAS keinen Lastenausgleich macht, sondern wohl nur ein Failover.
Habe versucht via CIFS/SMB Daten zu kopieren, und gleichzeitig via FTP. Jeweils von unterschiedlichen Spindeln. Geblinkt hat nur eine LED am Switch und die Geschwindigkeiten waren jeweils grob knapp über 50MB/s.

Wie bekomme ich nun einen Lastenausgleich hin?

Atomic · Mar 30, 2013

Moin,

jo, scheint nur über eine Statische LAG zu gehen.

Um ein Load-Balancing zu erreichen musst Du den, für Dich passenden, drivemode einstellen.

Mögliche Modi (Cisco):
Round-robin: Default (jede neue Verbindung bekommt eine neue Leitung)
src-mac: Source MAC address
dst-mac: Destination MAC address
src-dst-mac: Source and Destination MAC address
src-ip: Source IP address
dst-ip: Destination IP address
src-dst-ip: Source and Destination IP address
src-port: Source TCP or UDP port
dst-port: Destination TCP or UDP port
src-dst-port: Source and Destination TCP or UDP port

Quelle: Implementing Cisco Switched Networks, Volumen 1, Seite 2-72

Ich würde Round-robin oder src-dst-mac wählen.

Razorblade · Mar 30, 2013

Danke für die Rückinfo.
SRC+DST MAC ist bereits eingestellt. Ich hab jetzt die Prios für die einzelnen NICs des statischen LAGs angepasst. Mal schauen, ob sich da was tut.

Important Announcement for The TrueNAS Community.

Einrichtung LACP FreeNAS 8.3.x

Razorblade

Dabbler

Atomic

Contributor

Atomic

Contributor

Razorblade

Dabbler

Atomic

Contributor

Razorblade

Dabbler

Atomic

Contributor

Razorblade

Dabbler

Atomic

Contributor

Razorblade

Dabbler

Atomic

Contributor

Razorblade

Dabbler

Atomic

Contributor

Razorblade

Dabbler

Similar threads

Important Announcement for The TrueNAS Community.