ZFS performance (8.3)

[Haiku Hell]

Bonjour

Je m’intéresse de prés a ZFS. J'ai réalisé tout un tas de test (optimisation CIFS, taille de la ram, SSD cache etc..) mais je constate que l'on fait souvent face à des variations de performance.

Actuellement il est sur un 3800+ X2 + 8 go ram avec 2 disque de 2To en raid1. Sous Windows en ntfs on retrouve des perf de l'ordre de 100 mo/s par disque en écriture et lecture mais sur ZFS que se soit avec CIFS ou ISCSI, je ne retrouve pas ces performances avec 2 disques. Cela me semble surprenant surtout que ZFS semble utiliser le Raid1 comme un raid 0 pour la lecture. De mon avis avec cette config, je devrais saturer la bande passante du réseau (au moins 100mo/s).

Une autre constatation, mais il me semble que ZFS répond mal au benchs par exemple. Je trouve qu'il se comporte mieux sous la charge des utilisateurs. tant qu'on le requête pas de façon importante il reste comme en veille (sous utilisé). Cette analyse correspond aussi au type de configuration sur lequel ZFS est sensé être implanté (NAS avec 128go ram etc...)

Avez vous des conseils a ce sujet (tunning ZFS par exemple).

Cordialement
Vincent

 

[loulnux]

1/ Je ne vois pas comment tu peux envisager de saturer le réseau en TCPIP, perso j'arrive péniblement à 80mo/s
2/ Le CIFS est extrêmement gourmand en ressources processeur mono thread il vaut mieux avoir un simple core rapide qu'un multi core moyen mais tout est relatif.
3/ L'utilisation du ZFS en RAW (telle quelle avec FreeNas) est sensée être la plus performante car fonctionnant exclusivement en RAM.
4/ As-tu utilisé un contrôleur dédié sur ta bécane et sur le serveur pour les tests ISCSI ou désactivé les autres services dans le cas contraire? Tu devrais logiquement doubler tes perfs.
5/ 8Go de RAM pour 4To de disques, c'est correcte.
6/ Tu devrais effectivement constater de meilleurs perfs en RAID0 qu'en RAID1.

 

[Haiku Hell]

Merci pour votre reponse

1/ Je ne vois pas comment tu peux envisager de saturer le réseau en TCPIP, perso j'arrive péniblement à 80mo/s

Idem et encore. A l'inverse en 4k c'est plutôt très bon, du moins bien meilleur qu'un raid hard. Je suppose que c'est l'utilisation de la ram qui fait la différence

2/ Le CIFS est extrêmement gourmand en ressources processeur mono thread il vaut mieux avoir un simple core rapide qu'un multi core moyen mais tout est relatif.

Ah oui, donc dans se cas, je pense au vu du monitoring que le processeur n'est pas assez puissant.

3/ L'utilisation du ZFS en RAW (telle quelle avec FreeNas) est sensée être la plus performante car fonctionnant exclusivement en RAM.

oui notamment sur l'utilisation du cache disque il me semble

4/ As-tu utilisé un contrôleur dédié sur ta bécane et sur le serveur pour les tests ISCSI ou désactivé les autres services dans le cas contraire? Tu devrais logiquement doubler tes perfs.

Non mais j'ai lu effectivement que chaque "partage" ISCSI nécessite une utilisation dédié sur une carte réseau. Mais j'avais fait des test en connexion direct sur le nas pour isolé tout problème de switch etc...
Je n'ai pas testé de désactivé les autres service. Cela voudrait dire que même quand tu requêtes pas sur du CIFS, tu as une conso cpu/ram suffisante pour ralentir la machine ?
J'avais amélioré un peu les perf avec les ecritures large bande.
J'ai testé aussi de varié le cache CIFS mais rien n'y fait, c'est plutot mauvais comme modification

5/ 8Go de RAM pour 4To de disques, c'est correcte.

De toute facon je suis au max de ma carte mere. ^^

6/ Tu devrais effectivement constater de meilleurs perfs en RAID0 qu'en RAID1.

Oui je me doute bien mais l'idée reste d'avoir avant tout la redondance. Au mieux du Raid10. Je ne suis pas un grand fan du raid5 que je trouve trop fragile face au raid1 ou 10. De plus les IO sont meilleurs en raid 10 qu'en 5 meme sur ZFS (enfin il me semble)

 

[joeschmuck]

Also realize that performance dropped when ZFS V28 was introduced into FreeNAS. I could saturate my 1GB connection with V15 but once I adopted 8.3.0 and V28, it dropped and now my maximum speed is 89MB/sec over CIFS.

 

[loulnux]

De plus les IO sont meilleurs en raid 10 qu'en 5 meme sur ZFS (enfin il me semble)

Faux, les meilleurs perfs sont évidemment en RAID0 puisqu'on double, triple ou quadruple (suivant le nombre de disques utilisés dans ce mode) en RAID 10 ces perfs sont assez dégradées par le doublage des canaux surtout s'il s'agit du même contrôleur.
Pour moi le meilleur compromis sécurité/rapidité reste avant tout le RAID5 à partir de 4 disques, c'est celui que j'utilise en priorité sur les serveurs pros que je gère.

 

[Haiku Hell]

@joeschmuck => I also found that degradation of performance with ZFS v28

@loulnux => Meme si le débat n'est pas la, je suis d'accord que le raid5 et le raid6 ont leurs avantages. Mais pour avoir vu et parler sur pas mal de test entre ces 2 types de raid, j'ai constaté que le raid10 pour la lecture notamment est meilleur. Il est évident qu'en écriture il ne peut pas suivre un raidz ou 5.


Suite a d'autre recherche, il semble aussi que l'implémentation de CIFS sur freebsd soit plutôt mauvaise. Openfiler qui est sur Debian a (selon les forums) de meilleurs performance via CIFS. Du coup il n'y a pas pour le moment de solution pour avoir a la fois ZFS et un CIFS qui tourne bien ?

 

[loulnux]

Personnellement j'ai commencé avant FreeNas avec Openfiler et j'ai aussi testé Openmediavault, je dispose également de plusieurs postes sous différentes distributions Debian et je peux t'affirmer que CIFS comme disent nos amis anglosaxons "IT SUCKS" et j'utilise le NFS dans ce cas entre distributions Linux.
Il ne faut pas oublier que CIFS est avant tout d'origine Microsoft et que nos amis sont toujours avares de détails auprès des développeurs concurrents, étonnamment c'est souvent avec OSX que j'ai pu constater les résultats les plus "constants" en CIFS.

 

[Haiku Hell]

Ok pour CIFS. Alors à ce jour, existe t il une solution sur ZFS qui apporte des perf interessante sur une utilisation windows ?

J'avais testé un partage avec ISCSI mais on est confronté au multi utilisateur qui pose problème avec ISCSI. De plus on se retrouve avec une surcouche NTFS sur le montage ISCSI

 

[loulnux]

Je comprends assez bien ton souci mais tu fais malheureusement une confusion assez fréquente entre "systèmes de fichiers" et "protocoles de transfert"; les premiers sont là pour organiser, manipuler, sécuriser nos fichiers, les autres pour les acheminer du serveur au client et vice versa; il n'y a heureusement pas de réelle corrélation entre les deux.
Nous avons vu plus haut les vitesses auxquelles tu pouvais "prétendre" espérer transférer tes données; les améliorations convaincantes ne viendront pas du mariage entre telle et telle technique d'écriture et de transfert mais de la qualité du matériel utilisé en adéquation avec la "chaîne" réseau (qualité des disques, des contrôleurs réseau et disques, processeur central, câbles, hubs, etc...)
Grosso modo le ZFS apporte un véritable plus en terme de perfs lorsqu'il est mis en oeuvre dans un environnement où les disques ne se comptent plus (on parle de volumes) et généralement connectés en 10GBaseT ou en Fiber Channel.
Comme dît O. Cochard le ZFS à la maison c'est un peu "overkill"; c'est très bien pour s'initier, çà n'apporte rien de mieux que l'UFS sur une petite configuration.

 

[Haiku Hell]

Merci pour votre réponse. Je comprend le point de vu ZFS sur les installations maisons. Mais rien que la gestion des Snapshots me ferait choisir ZFS plutôt qu'un autre système de fichier. Je comprend aussi bien la différence entre les performances ZFS en local et les fait de passer par une surcouche pour les transferts réseau. J'ai remarqué que les performances en locales sont bonnes mais non par réseau.

Merci pour vos réponses en tout cas.

 

[loulnux]

L'argument du Snapshot pour le choix du ZFS ne tient réellement qu'à partir du moment ou il n'y a plus corrélation entre "volumes" et "unité de sauvegarde" ce qui ne saurait être le cas sur une si petite configuration puisque par essence on peut prédire où sont stockées les données; en l'espèce il suffit d'activer la corbeille afin d'obtenir un niveau équivalent de conservation des données sujettes à erreurs de manipulations.

 

[Haiku Hell]

Je n'ai jamais expérimenté la corbeille. Je vais tester. merci pour l'info