FreeNAS Evolutif ?

[CorbeilleNews]

Bonjour,

J'aimerais savoir si l'on peut (avec la dernière version de FreeNAS 8.04 P2) commencer avec un RAIDZ de 3 disques de 500 Go en ZFS puis les changer par 5 disques (ou plus) de 2 To en RAID Z2 pour avoir plus de place et de redondance ?

J'ai cru lire je ne sais où, que l'on pouvait augmenter la taille du volume en changeant la tailles des disques mais pas augmenter le nombre de disques du volume.

Merci

 

[CorbeilleNews]

Personne ne sais où trouver ou confirmer/infirmer cette info ?

Merci

 

[loulnux]

2To x 5 en RaidZ2 = 10To donc 10Go de RAM pour 6To expoités

 

[loulnux]

Attention j'ai mis des mois à trouver cette info qui figure sur un PDF qe j'ai trouvé récemment : pour fonctionner correctement le ZFS nécessite un Go de RAM par To de disque exploité; en effet grossièrement les index ZFS sont "virtualisés" en mémoire au démarrage du serveur prêts à gérer toute modification nécessaire ce qui explique sa forte réactivité sur le réseau. http://www.freenas.org/images/resources/freenas8.0.1_guide.pdf paragraphe 1.1.2
Personnellement aux vues de la perte ou de dysfonctionnement de certaines fonctionnalités de la V8 j'ai fini par retourner à la V7 en utilisant certaines nightly builts avec des kernels récents qui supportent le hardware

 

[loulnux]

Bonjour,

J'aimerais savoir si l'on peut (avec la dernière version de FreeNAS 8.04 P2) commencer avec un RAIDZ de 3 disques de 500 Go en ZFS puis les changer par 5 disques (ou plus) de 2 To en RAID Z2 pour avoir plus de place et de redondance ?

J'ai cru lire je ne sais où, que l'on pouvait augmenter la taille du volume en changeant la tailles des disques mais pas augmenter le nombre de disques du volume.

Merci

Tu ne peux pas modifier la taille la nature ou la capacité d'un RAIDZ mais tu peux ajouter des "ensembles" de nature différentes ex 1 grappe 3x500Go RAIDZ + 1 grappe 5x2To en RAIDZ2 et pourquoi pas faire en sorte que tout soit géré en un seul volume.
Le ZFS est l'exact inverse de l'idée qu'on se fait des autres systèmes de fichiers (a part sous linux) à savoir : qu'on confie ses données à un environnement unique avec un index quasi infini qui va se charger d'agréger les unités de stockage qu'on lui adjoint dans le temps, et là dedans on peut segmenter en volumes redimensionnables à loisir au fil du temps. Pour les contrôles la maintenance et la sécurité il dispose de fonctions snapshots et backuping pour l'économie d'espace il integre ses propres algorythmes de compression et il est doué de fonctions de contrôle intégrées comme celle qui consiste à gérer les doublons ex : lors de la copie d'un fichier déjà existant ailleurs il se contente de ne gérer qu'un "raccourci" à l'endroit où il est recopié.
Il est aussi doté de fonctions prédictives (prefetch) qui lui permettent d'attribuer la quantité de mémoire nécessaire à l’accomplissement de certaines taches ouverture de mémoire tampon et priorités pour fluidifier les entrées/sorties de façon à alléger les temps de transfert. C'est pourquoi l'attribution d'un Go de RAM par To de données à gérer n'est pas un luxe.En revanche, comme il se charge de toutes ces fonctionnalités très bien, il n'est pas non plus conseillé d'ajouter des unités de stockage déjà gérées en raid matériel en amont il n'y a pas de réel gain de ce fait.
Alors que les autres systèmes de fichiers sont des entités finies avec un index pour chaque unité de stockage.
Le ZFS est une culture en lui même.
Par contre évidemment le hardware peut avoir ses limites ex : plus assez de ports SATA disponibles, impossibilité d'ajouter d'autres interfaces... Freenas fait çà très bien et reloger des disques sur une nouvelle carte mère ne pose pas de problème.

 

[CorbeilleNews]

Selon toi loulnux la quantité de RAM imortante est dûe au fait que tous les indexs sont chargés en RAM au démarrage ?

Les indexs ce sont bien les pointeurs des fichiers ? Dans le cas précis le contenu du NAS serait uniquement des enregistrements issus de FreeBox (soit 99% des fichiers entre 1 et 20 Go)

Dans ce cas est-il utile d'avoir tant de RAM car il devrait y avoir peu d'indexs par rapport à celui qui y met de la musique ou heberge un ou des sites web ?

Aprés révisions/investigations ce serait plutôt un NAS de 16 To en RAIDZ2 soit 10 disques de 2 To ce qui ferait 16 Go de mémoire !!! 6 Go ce n'est pas suffisant au vu du peu de nombre de fichiers ?

Le problème de rajouter des ensembles est que je devrais lors de l'ajout d'un ensemble prévoir les disques de redondance pour cet ensemble (en plus des disques de redondance du ou des ensemble exisant déjà) Ce qui multiplie les disques de redondance non ?

Tandis que si je constitue un seul ensemble je n'aurais besoin que de 2 disques de redondance (RAIDZ2)

Merci.

 

[loulnux]

Ce n'est pas selon moi mais selon les explications en anglais certes mais très claires du PDF dont j'ai mis le raccourci plus haut.En fait c'est le premier document clair à propos de l'implémentation du ZFS dans Freenas; cela fait plusieurs années que je planchais sur ce système de fichiers car il est déjà implémenté dans la version 7 et j'ai tenté de le mettre en oeuvre dès le début avec beaucoup de désagréments récemment encore j'ai voulu me recréer un NAS mini ITX Atom525 passif et 4Go installés avec 4 disques 1,5To en RAIDZ et entre les erreurs de lecture/écriture la privation de services ou le dysfonctionnement de certains de la V8 et la lecture de ce doc, j'ai fini par revenir à la V7 avec un formatage classique UFS en RAID5 et par sécurité j'ai rajouté une autre grappe de 2X2To en RAID0 UFS et une routine interne Rsync qui recopie toutes les heures les éventuelles modifs de ma grappe partagée. Voila comment je gère la sécurité de mes données. C'est grossier certes et c'est aussi fait avec le matériel dont je disposais, j'ai simplement choisi la grappe qui avait les meilleurs perfs sur mon réseau pour le partage : c'est la RAID5 3,2Go/mn en écriture.
Le ZFS est sans doute très bien mais c'est une technologie de vrai gros serveur de données autant SAN que NAS destinée à être administrée dans des environnements "Pro" où on a besoin d'ajouter de l'espace de stockage à la demande où on va gérer des cibles ISCSI où on a besoin de faire de la maintenance à chaud mais tant qu'il ne s'agit que d'avoir un fourre-tout domestique performant et un tant sois peu sécurisé, crois-moi la V7 et l'UFS sont déjà très performants, fiables et plus faciles de mise en oeuvre.
Comme j'essayais de te le faire comprendre plus haut Le ZFS ne gère pas q'un index et le RAIDz², c'est un véritable sous-système à part entière qui est là pour rationaliser la gestion et le stockage des données ainsi que leur accès sur le réseau et qui va mettre à profit les bases matérielles simples proc/mémoire/réseau sans artifice matériel comme les gestionnaires Raid hard et pour que les transferts se passent au mieux il nécessite beaucoup de mémoire.
Quand l'auteur du manuel insiste bien sur le point que quand on dispose d'une carte mère munie d'un chipset graphique qui utilise lui même une certaine quantité de RAM le système est lui même est amputé d'autant et qu'il vaut mieux rajouter une barrette pour faire le compte voir dépasser la capacité préconisée j'ai tendance à penser que c'est indispensable.

 

[CorbeilleNews]

Quand je dis selon toi c'est façon de parler :)

L'ennui c'est que le RAID 5 cela ne donne QUE 4 disques de données soit 8 To car je n'ai à disposition que de disques de 2 To.

Donc je suis coincé si je veux avoir plus d'espace sans multiplier la redondance : solution ZFS en RAIDZ2 ?

PS : Plus tard je ferai aussi un mirroring externe de ce NAS quand le prix des disques aura baissé et que les 4 To seront abordables ...

 

[CorbeilleNews]

Bonjour,

Je n'ai plus de réponses, est ce que cela siginifie que j'ai raison dans mon précédent post ?

Merci

 

[loulnux]

Et le RAIDz2 3 disques sur 5 donc encore moins par contre avec freenas c'est un bon moyen d'allier sécurité et rapidité; il vaut mieux utiliser au moins une grappe redondante à 5 disques comme base et faire évoluer son serveur autour. Autre conseil: si tu utilises des disques neufs fais absolument des tests complets de chaque disque avant ça vaut le coup plutôt que de galérer en cours d'installation ça m'est arrivé 2 fois cette dernière année et c'est très désappointant de se retrouver à identifier des défaillances dès le début une fois avec des disques Hitachi une fois avec des disques WD heureusement à chaque fois j'avais un disque de maintenance de prévu. Pour çà j'utilise une distribution Ubuntu ou Mint sur USB

 

[loulnux]

RE

Bonjour,
En fait je n'ai pas bien compris le problème...
J'ai juste tenté de faire comprendre que je ne préconisais pas l'usage du ZFS dans le cadre d'un nas domestique surtout si on est limité matériellement (voir économiquement). Le RAIDZ2 appliqué a 5 disques de 2To ne laisse plus que 6To exploitables ?... Le RAIDZ étant l'équivalant du RAID5 "classique" on obtient effectivement 8To exploitables pour 5x2To installés.
J'ai aussi l'intime conviction qu'un jour je passerais au ZFS... Quand j'aurais les moyens.
Enfin il faut aussi comprendre que l'usage de freenas dans le temps permet de faire évoluer nos configurations sans perte de données ce qui est primordial.
Maintenant il ne faut pas viser en dessous de ce qui est nécessaire certes, mais partir du principe qu'on a 6 ou 8 To de données à remplir est déjà un projet en sois et le RAID5 un premier niveau de sécurisation.
La première question était à propos de de l'utilisation du ZFS et en gros l'augmentation de la redondance en passant d'un RAIDz à RAIDz2 en ajoutant un disque, par exemple; la réponse est non.
Mais on peut ajouter un espace de stockage (une grappe RAID 0,1 ou 5, ou un simple disque ou plusieurs) à un premier volume pour en augmenter la capacité mais pas la redondance.

 

[olivier]

Pas la peine de ZFS, le module geom_raid5 est capable d'augmenter la taille d'un volume en remplacant les disques 1 par 1.
Exemple:

1. Création de 3 disques de 10MB:
# mdconfig -a -t malloc -s 10m -u 11
# mdconfig -a -t malloc -s 10m -u 12
# mdconfig -a -t malloc -s 10m -u 13

2. Création d'un volume graid5 utilisant ces 3 disques (ce qui va donner un volume de 20MB utilisable):
# graid5 label -s 131072 raid5vol /dev/md11 /dev/md12 /dev/md13

3. Formattage, montage, création d'un fichier de 18MB dessus et calcul du checksum:
# newfs -m 0 /dev/raid5/raid5vol
# mount /dev/raid5/raid5vol /mnt/
# dd if=/dev/urandom of=/mnt/fichier bs=1M count=18
# sha256 /mnt/fichier
SHA256 (/mnt/fichier) = 998731d093a3eb8a0a0b0f48b5933a17c86d7b522c158f6c8271c26a64dde1d4
# df -h | grep raid5vol
Filesystem Size Used Avail Capacity Mounted on
/dev/raid5/raid5vol 19M 18M 1M 95% /mnt

Maintenant nous souhaitons augmenter la taille de ce volume graid5, nous allons donc remplacer les disques de 10Mb par des disque de 20Mb un par un.

4. Création de 3 nouveaux disques de 20Mb:
# mdconfig -a -t malloc -s 20m -u 21
# mdconfig -a -t malloc -s 20m -u 22
# mdconfig -a -t malloc -s 20m -u 23

5. Supression d'un disque de 10MB, ré-insertion d'un nouveau de 20MB et attente de la fine de la re-synchronisation:
# graid5 remove raid5vol md11
# graid5 insert raid5vol md21
# graid5 status
Name Status Components
raid5/raid5vol COMPLETE CALM md12
md13
md21


6. On refait la même chose pour les 2 autres disques (en attendant la re-synchro entre chaque).
# graid5 remove raid5vol md12
# graid5 insert raid5vol md22
# graid5 status
Name Status Components
raid5/raid5vol COMPLETE CALM md13
md21
md22

# graid5 remove raid5vol md13
# graid5 insert raid5vol md23
# graid5 status
Name Status Components
raid5/raid5vol COMPLETE CALM md21
md22
md23

7. Augmenter le filesystem, étape qui se fait volume démonté obligatoirement (FBSD 9.1 pourra re-tailler un filesystème sans le démonter):
# umount /mnt
# growfs /dev/raid5/raid5vol

8. Puis on vérifie la taille du nouveau volume et le fait que notre fichier d'origine n'a pas été modifié:
# mount /dev/raid5/raid5vol /mnt/
# df -h | grep raid5vol
Filesystem Size Used Avail Capacity Mounted on
/dev/raid5/raid5vol 38M 18M 20M 47% /mnt
# sha256 /mnt/fichier
SHA256 (/mnt/fichier) = 998731d093a3eb8a0a0b0f48b5933a17c86d7b522c158f6c8271c26a64dde1d4

Et voila

 

[loulnux]

Belle astuce Olivier, élégante qui plus est, je la note, mais ne penses-tu pas que c'est un peu ardu pour un noob en'a pas encore monté sa bécane?

 

[gaetanmm2]

slt olivier j'ai tester ta manip cela ne fonctionne pas chez moi , j'ai du oublié qq chose

Petite question : je suis entrain de tester freenas avec virtualbox

J'ai un probleme avec mon test , j'ai creer un raid 5 de 3 dd de 2go chacun aucun pb il me detect 4 go
j'ai changer chacun des disque un a un par des 3go puis reconstruit à chaque fois

il m'a bien augmenter ma grappe de raid 5 à 6go par contre dans la page d'accueil , il me specifie toujours 4go et lorsque j'essaye d'ecriture + de 4go sur mon partage , il me dit disque full

y a til une formule que je ne connais pas pour etendre la partition ?

 

[gaetanmm2]

voici un screenshot plus explicite de mon pb