carte réseau 10 GE <== résolu

[viph]

Bonjour à tous,

j'ai (enfin) pris la décision d’accélérer une partie de mon LAN et de la passer 10 GE.

Actuellement je dispose de 2 NAS maison, construits sur une base de Dell T320 (CPU E3 sandybridge + 48 Go + cartes HBA en mode IT + 8*8TB en Z2).
Ils ont nativement deux ports Gigabit mais j'ai fini par me perdre dans l'agrégation (comme beaucoup apparemment ) et pour des fichiers video, parfois, ça fait long à transférer.

Bref, j'ai commandé des cartes Mellanox CX311A... et de me poser la question : quid de leur installation ?
j'espère qu'elles seront reconnues à la "plug and play"...
...ou bien dois je m'attendre à un peu de bricolage logiciel, voire une réinstallation de Truenas pour leur prise en compte ?

 

[Pitfrr]

Bonjour,

Je n'ai pas d'expérience avec le 10Gb mais il y a une ressource que je te conseille de lire car apparemment c'est pas forcément toujours plug and play! :-O
Et malheureusement, je n'ai pas vu de carte Mellanox dans le matériel conseillé. Après, je te conseille de regarder aussi dans la section anglophone, ici peut-être?

 

[profwalken]

Il me semble avoir lu un article sur le 10 Gb qui deconseillait ce choix de carte ethernet car au final la vitesse est moindre qu'avec une liason fibre et cela consomme plus et c'est beaucoup plus cher.
La fibre est supportée depuis plus longtemps , offre de meilleures perf, consomme moins, et l'on trouve plus de matériel d'occasion à un prix plus attractif.

 

[viph]

Bonjour à tous,
la carte semble reconnue sans problème.

mlxen0 pour une Mellanox, ça sonne bien.

en revanche je ne vois pas comment lui fixer une adresse IP (v4)

le lien actif actuel (ethernet 1gbps de la carte mère) est bge1 et habite au 192.168.1.62/24
quand je fixe, par exemple un 192.168.1.11 à mlxen0, j'ai un message d'erreur (noté en rouge) me disant :
"The network 192.168.1.0/24 is already in use by another interface"

si je tue la .61, je perd la connexion... comment faire ?

 

[viph]

Il me semble avoir lu un article sur le 10 Gb qui deconseillait ce choix de carte ethernet car au final la vitesse est moindre qu'avec une liason fibre et cela consomme plus et c'est beaucoup plus cher.
La fibre est supportée depuis plus longtemps , offre de meilleures perf, consomme moins, et l'on trouve plus de matériel d'occasion à un prix plus attractif.

la carte dispose d'une sortie SFP+ : après, on met ce qu'on veut comme connecteur interface :
- https://mikrotik.com/product/s_rj10 pour connecter un cable ethernet CAT7
ou, dans mon cas, un simple cable DAC

le setup réseau est assez simple :
ces cartes dans les deux truenas : 2*32 euros
un cable entre truenas et switch : 2*15 euros
un switch mikrotik (CRS 305) et un module RJ (sur lequel est raccordé le PC qui sert au montage video, lui-meme armé d'une carte intel x520 ethernet car je ne peux repasser une fibre à la place du cable CAT7) : 220 euros

 

[viph]

J'ai jouer avec les cables
Si bge1 est avec une adresse fixe, j'ai dit à truenas que la mlnx0 est en DHCP et j'ai redémarré.
Pendant le temps de boot, j'ai débranché le cable réseau de bge1 et n'ai laissé que le cable DAC sur la Mellanox.

là, la console m'indique 2 adresses de gestion:
l'ancienne fixe et la nouvelle donnée par le routeur.

en effaçant l'ancienne, tout fonctionne parfaitement ! ouf !

vitesse sur test simple de copie de fichiers videos : entre 890 et 980 Mo/s

 

[Pitfrr]

Juste parce qu'on est dans le sujet du 10Gb et pour rebondir sur le poste de @profwalken, je voulais pointer une autre ressource (avec la discussion associée) qui me semble intéressante et porter sur l'utilisation de fibre ou de câble pour le 10Gb.

Mais vu les résultats que tu obtiens, c'est super!

 

[viph]

Merci Piffr
Oui les ressources anglophones sont toujours intéressante et n'étant qu'un débutant, elle me sont souvent tres utiles.

Effectivement la mellanox semble avoir une pietre réputation mais surtout la 40 GE... La X3 existe en 10 et 40 Gbps et en ethernet ou infiniband.
Dans se dernier cas, il faut la flasher pour pouvoir l'utiliser sereinement, et de préférence dans un environnement windows, selon différents forum.

le truc est que Mellanox a ete racheté par Nvidia et le support sur les produit ancien laisse à désirer !

Pour ma part, je n'ai pas encore eut le temps de constater un désagrément .

Histoire de compléter mes premiers tests :
je me constate limité par les HD D de mon pc de montage : les debits tombent a 200-300.
Pire encore en ecriture sur un disque SMR : 60 !!
Ramdisque vers nas : 900+
Inverse : 800+
Quasi idem vers ou depuis ssd.

Mon nas repose sur 8 disques en Z2

 

[Pitfrr]

Intéressant les résultats des tests.

Pire encore en ecriture sur un disque SMR

Mais sans surprise pour les disques SMR, hélas...

 

[viph]

24 heures que la carte est installée, le système n'a pas signalé d'erreur.
D'ailleurs si vous avez des idées de tests utiles à lancer avec cette carte, you're welcome !

Pour l'instant, je me suis contenté de transferts de gros fichiers (videos), jusqu'à 18 GigaOctets.

 

[Pitfrr]

Tu peux faire des tests avec iperf pour tester le débit de la liaison réseau (ce qui est le but) mais ça ne dure pas longtemps (par défaut 10 secondes je crois mais avec l'option -t on peut changer la durée du test, ça peut valoir le coup de tester différentes durées).

 

[viph]

j'ai poussé le sujet avec des fichiers remplis de gros et petits documents.
les HDD de mon pc plafonnent entre 150 et 200, une fois les "caches" vidés.
je n'ai pas réussi à charger le lien à plus de 3500 pour plus d'une heure

iperf... je ne comprends pas l'installation sur truenas (ce qui confirme mon status de newbie )

 

[Pitfrr]

iperf... je ne comprends pas l'installation sur truenas

C'est déjà disponible sous TrueNAS, il suffit de l'utiliser avec un terminal SSH en ligne de commande (c'est pas dans l'interface graphique).

 

[viph]

humm... souci de port.
j'ai beau spécifier 5001 ou 5021 sur les deux machines,
le server (truesnas) me répond avec un port exotique :

quand le client me dit :

 

[Pitfrr]

Je pense que ça peut venir du fait que les deux versions ne sont pas identiques (iperf -v pour avoir la version).

Pour ma part quand j'essaye, je n'arrive pas non plus à faire fonctionner iperf. Je n'ai pas eu la même erreur que toi par contre.
J'utilise la version 2 du côté de FreeNAS et la version 3 sous windows et apparemment, ils ne veulent pas discuter ensemble.
Lorsque j'ai utilisé la même version, ça a fonctionné.

 

[viph]

oui, j'essayerai.
un point m'étonne : la doc de Truenas 11 parle de iPerf, mais ni 12 ni 13
à suivre !

 

[Pitfrr]

la doc de Truenas 11 parle de iPerf, mais ni 12 ni 13

Ah ouais...
Alors j'ai pas fait attention à ce point là car en fait j'utilise encore FreeNAS majoritairement.
Et iperf est installé par défaut (je me souviens pas avoir lu quelque chose à ce sujet dans la doc de FreeNAS mais c'était y'a quelque temps) et je ne me souviens plus si j'ai testé avec TrueNAS ou pas mais je pense que c'est installé par défaut aussi (et du coup j'ai pas forcément regardé dans la doc).

 

[viph]

j'ai fait un test avec iperf, la "build" version 1.7 en 32 bit... pas trouvé plus ancien!

les résultats ne font pas rêver et semblent en contradiction avec mes premiers tests de transferts : un moyenne de 4 à 5 Gbps

 

[Pitfrr]

Alors là je ne me rends pas compte...
Je pense que plusieurs facteurs peuvent intervenir:
- iperf (selon la version peut-être et entre 32 et 64 bit). Ca me surprend que ça ne fonctionne pas avec une version plus récente (avec FreeNAS, j'ai la version 2.5)
- le cablâge: en 10G en cuivre le moindre défaut dans le cable ca réduire les performances
- j'imagine que les serveurs sont connectés directement sans switch (parce que sinon le switch aura un impact)
- les ressources systèmes, il serait intéressant de regarder la charge CPU durant les tests 10G
- ...

Je n'ai pas d'expérience en 10G mais je crois comprendre que c'est pas aussi simple que du 1G, surtout en cuivre.

 

[viph]

• OK, j'essaierai avec iPerf 2.5.
• le câblage est en CAT 7, donc, normalement ok jusqu'à 40 GE <==
• avec switch et module RJ-45 SFP dans le switch qui dispose de 4 SFP à 10 GE
• ressource de qq % de chaque côté

mais bon, ça ne me traumatise pas plus que cela