SOLVED Choix HDD et typologie ZFS pour nouveau NAS

[larod241]

Bonjour à toutes et tous,

Je possède actuellement un NAS Syno DS1817+ avec 8 x 4To (WD red ERFX) en Btrfs pour le stockage de mes données et un serveur Proxmox afin d'héberger mes VMs et autre services (Plex, grafana, Unifi, domotique, ...)

Après pas mal de lecture, avis, reviews, ... j'ai décidé de me monter une nouvelle machine afin d'héberger TRUENAS SCALE et ainsi remplacer le Synology et le serveur proxmox.

Je possède une mini baie réseau et, je ne peux pas utiliser une machine de taille standard avec un grand nombre d'emplacement HDD.

J'ai donc fait l'acquisition d'un serveur HPE GEN10+ (pentium G5420). Je l'ai équipé de 32 Go de RAM (non ECC, ce sont des barrettes que j'avais déjà) ainsi que d'une carte iLo.
J'ai aussi installé une carte PCIE double m2 Sata qui était dans mon NAS Synology. Elle est équipée de 2 SSD Samsung Evo 860 de 512 Go que j'avais aussi en réserve.

J'ai installé TRUENAS sur un SSD externe (256Go) sur un port USB3 du serveur car l'utilisation du port USB2 interne du serveur avec une clé USB pour l'os ne respectait pas les préconisations demandées et surtout, me semblait pas vraiment viable à l'utilisation sur du long terme.

Actuellement, j'ai donc, pour résumer :
L'OS installé sur un SSD externe branché en USB3 et un pool de 500 Go (Miroir des 2 SSD de la carte PCIe) qui sera utilisé pour stocker les différentes VMs et applis (docker).


Il me reste maintenant à définir les HDD à acheter, ainsi que la configuration ZFS à utiliser afin de créer le pool de stockage des données.
C'est un peu complexe comparé au Syno et Btrfs que j'utilisais car il suffisait de rajouter un disque pour étendre le volume.
Je comptais partir sur 3 DD de 8 ou 10To en RaidZ1 et en rajouter un 4ème plus tard...
Mais, à la lecture des différents sujets, je me rends compte que l'extension ne sera pas possible et qu'il n'est pas vraiment conseillé d'utiliser du RaidZ1 avec des gros HDD.
Ca me complique un peu la tache car mon serveur ne dispose que de 4 emplacements HDD, et, évidemment, je souhaite le peupler de la meilleur façon qu'il soit.

J'ai un DD externe qui aura la taille suffisante pour contenir une sauvegarde des données très sensibles.
Ma connexion internet (ADSL) ne me permet pas d'envisager un backup ou synchro dans le cloud.

Que me conseilleriez vous afin de partir dans la bonne direction, sachant que mon budget HDD ne peut dépasser les 1000€ :

• 4 HDD en RaidZ1 (optimisation max de l'espace de stockage)
• 4 HDD en RaidZ2 (best practice, mais la moitié de l'espace disque brut perdu)
• 2 HDD de grosse taille (18to) en miroir dans un Pool que je pourrais ensuite étendre par l'ajout de 2 autres HDD de mème taille plus tard ?
• Autre piste éventuelle ?

Merci pour vos conseils et votre expertise, car, je dois l'avouer, la prise de décision était quand même plus simple sur le Syno

Laurent

 

[maximelu]

Hello,

A ce stade de ZFS n'est pas prévu pour être étendu autrement qu'en rajoutant des blocs de même configuration : il n'est pas possible par exemple d'ajouter un HDD et d'ajuster le raid en conséquence. Par contre c'est prévu dans une prochaine version (raidz expansion) (il me semble l'avoir vu apparaitre sur FreeBSD pour le 3ème trimestre de cette année), il devrait mécaniquement apparaitre sur la version linux.

Pour des config similaire sans perdre en stockage une solution peut être de prendre un spare en externe avec un disque de même capacité, ainsi si un soucis se produit avec le raidz1 immédiatement le spare est mis en route ce qui limite le risque et permet de maintenir un disque d'avance en attendant de rajouter le disque.

 

[Pitfrr]

Une option serait d'utiliser une carte contrôleur supplémentaire (de type LSI 9211, flashée en mode IT, voir le post à ce sujet), cela permet de disposer de plus de connecteurs et ne plus être limité à 4 disques seulement (ce qui pour un volume en RAIDz2 est dommage, je trouve).

Un volume en RAIDz1 est en effet déconseillé avec des disques de capacité supérieure à 2To en gros...

Juste une remarque: le système installé sur un disque externe en USB... Je n'ai pas d'expérience sur ce cas là mais de manière générale, l'utilisation de disques externes en USB pour un volume est fortement déconseillée.... je ne sais pas ce qu'il en est pour le disque système (bon c'est peut-être moins critique c'est sûr) mais je suis pas sûr que j'utiliserai cette solution... Je dirai: méfiance et fait une sauvegarde de ta config.

 

[larod241]

Hello,

A ce stade de ZFS n'est pas prévu pour être étendu autrement qu'en rajoutant des blocs de même configuration : il n'est pas possible par exemple d'ajouter un HDD et d'ajuster le raid en conséquence. Par contre c'est prévu dans une prochaine version (raidz expansion) (il me semble l'avoir vu apparaitre sur FreeBSD pour le 3ème trimestre de cette année), il devrait mécaniquement apparaitre sur la version linux.

Pour des config similaire sans perdre en stockage une solution peut être de prendre un spare en externe avec un disque de même capacité, ainsi si un soucis se produit avec le raidz1 immédiatement le spare est mis en route ce qui limite le risque et permet de maintenir un disque d'avance en attendant de rajouter le disque.

Bonsoir, merci pour cette réponse.
Après, je peux aussi partir sur 4 HDD de 8to en Raidz1. Il y a quand même une tolérance de panne de 1 disque et j'ai des sauvegardes des données sensible.
Au regard de votre configuration, vous utilisez du RaidZ1 aussi alors que certains préconisent de ne pas l'utiliser avec des disques de grande taille.
C'est ce qui a un peu perturbé mes plans car je comptais partir directement sur 3 ou 4 HDD en Raidz1.
Une autre piste, mais je ne sais pas si c'est réalisable, serait de créer un VDEV miroir pour alimenter un pool ZFS et, plus tard, en refaire un 2ème pour étendre le pool. Un peu comme sur la photo, mais avec 2 disques miroirs à chaque fois.

 

[larod241]

Une option serait d'utiliser une carte contrôleur supplémentaire (de type LSI 9211, flashée en mode IT, voir le post à ce sujet), cela permet de disposer de plus de connecteurs et ne plus être limité à 4 disques seulement (ce qui pour un volume en RAIDz2 est dommage, je trouve).

Un volume en RAIDz1 est en effet déconseillé avec des disques de capacité supérieure à 2To en gros...

Juste une remarque: le système installé sur un disque externe en USB... Je n'ai pas d'expérience sur ce cas là mais de manière générale, l'utilisation de disques externes en USB pour un volume est fortement déconseillée.... je ne sais pas ce qu'il en est pour le disque système (bon c'est peut-être moins critique c'est sûr) mais je suis pas sûr que j'utiliserai cette solution... Je dirai: méfiance et fait une sauvegarde de ta config.

Bonsoir,

Merci d'avoir pris le temps de me répondre.
Le problème étant que je n'ai pas vraiment de place pour rajouter des disques supplémentaires. Le serveur HPE Gen10+ est prévu pour 4 DD.
Je peux trouver un peu de place pour rajouter, éventuellement, un externe, mais je ne pense pas que panacher du Sata et USB3 soit une bonne chose...

Pour le DD externe, j'ai expérimenté aussi un tutoriel pour créer 2 partition et un pool miroir des 2 SSD présent sur la carte PCIe.

ça me semblait plus fiable, mais à la lecture de certaines discussion, j'ai cru comprendre que c'était pas forcément une chose à faire car une version majeure de TrueNas pourrait éventuellement poser problème...

Le boot et l'utilisation via le ssd en USB3 fonctionne à merveille. Pas vraiment de lenteur vu que je n'héberge que l'os dessus et que j'ai défini le pool des SSD internes en pool data système

Après, j'ai trouvé de tout lors de mes lectures : clé usb, clone de clé usb, ...

 

[Pitfrr]

Après, j'ai trouvé de tout lors de mes lectures : clé usb, clone de clé usb, ...

La (ou les) clé USB n'est plus conseillé pour TrueNAS.
Alors je modère un peu "plus conseillé" veut pas dire que ça ne marchera pas mais ça veut plutôt dire que de manière générale ça peut donner un système moins fiable (et voir dans certains cas ne pas marcher aussi).

Le serveur HPE Gen10+ est prévu pour 4 DD.

Aie dommage... :-O
Perso pour un volume en RAIDz2, je trouve que 6 à 8 disques est un bon compromis (en terme de capacité utile et totale).
4 disques en RAIDz2 ça me fait trop mal de perdre 50% de la capacité... (tout comme un miroir)
Mais c'est ma sensibilité...

Le RAIDz1 avec des disques de grande capacité (comme pour la clé USB pour le volume système) ça marche... aucun soucis...
Mais.... la probabilité qu'une erreur irrécupérable se produise pendant la reconstruction d'un volume (donc avec déjà un disque de perdu et donc le risque de perdre tout le volume) est trop grande pour valoir la peine de courir le risque. En tout cas, de mon point de vue. Après si on connait les risques, on peut prendre une décision en connaissance de cause (c'est un peu la même chose avec le choix entre mémoire ECC ou non).

 

[larod241]

J'ai passé la soirée la soirée à retourner le problème dans tous les sens, il me semble que de partir sur un miroir serait une bonne solution car, je garde ainsi la possibilité de l'étendre plus tard facilement, avec l'ajout d'un autre vdev miroir :

Choosing the right ZFS pool layout

ZFS truly supports real redundant data storage with a number of options, such as mirror, RAID-Z or dRAID vdev types. Follow this guide to better understand these options.

klarasystems.com

J'ai aussi la même sensibilité niveau perte des 50% de capacité, mais c'est le prix de la tranquillité finalement.
Mes données sensibles sont quand même sauvegardées, mais c'est toujours pénible d'avoir construit une machine pour la fiabilité et la tranquillité et se retrouver à perdre des données en route.

Reste maintenant à approfondir cette histoire de disque de démarrage externe...

Plusieurs possibilités s'offrent à moi :

• Rester en l'état avec le SSD externe, et le miroir de SSD interne.
• Partitionner le miroir des SSD internet avec un 32G pour l'os et tout le reste pour les VM, APP, ...
• Monter un petit SSD en interne (vu que je risque de commencer qu'avec 2 gros HDD) et installer l'os dessus.
  

Certains ont des expériences en la matière ?

 

[Pitfrr]

C'est bien d'avoir fait le choix pour le stockage et d'aller vers des miroirs.

Quelques remarques sur tes possibilités:

• Rester en l'état: côté pragmatique: tant que ça marche comme ça... et que tu sauvegardes ta config de TrueNAS (au cas où ça partirait dans les choux un jour) pourquoi ne pas continuer ainsi?
• Partitionner le SSD: j'aime bien cette option aussi mais elle comporte quelques risques, notamment tu n'es pas à l'abri de (mauvaises) surprises lors de mises à jour. En effet, le partitionnage du disque système n'est pas supporté par TrueNAS donc il se peut que cela entre en conflit avec des mises à jour (qui ne s'attendent pas à voir un disque partitionné et ne sauront pas le gérer).
• Petit SSD interne: solution facile, fiable et sûr... mais que se passera-t-il lorsque tu rajouteras tes 2 autres disques... donc seulement temporaire.
• Je reboucle alors sur la carte contrôleur LSI 9211: bon d'accord faudra changer de boitier (ou étudier un boitier externe, je crois que ça peut se faire avec un contrôleur de ce type mais je connais pas bien).

 

[Pitfrr]

- Supprimé: doublon suite à une erreur du forum -
- Deleted: double posting due to forums error -

 

[larod241]

Je reboucle alors sur la carte contrôleur LSI 9211: bon d'accord faudra changer de boitier (ou étudier un boitier externe, je crois que ça peut se faire avec un contrôleur de ce type mais je connais pas bien).

Le problème, c'est que je n'ai qu'un port PCie sur ce serveur, et il est actuellement utilisé par une carte Sata M2 avec les 2 (miroir) SDD Samsung qui composent le pool utilisé en tant que pool pour le système et aussi, pour le stockage des VMs et Apps.

L'espace dans ma baie est assez limité, mais une extension sera peut-être réalisable pour 4 DD dans un boitier 1U. L'idée n'est pas déplaisante en soit.

Mais déjà, je pense que partir sur un pool avec un vdev miroir que je pourrais étendre avec un autre vdev plus tard me laisse un peu de temps.

Autre élément aussi à prendre en compte : la consommation électrique. J'essaye de rationaliser au maximum les matériels et usages. La domotique m'a déjà permis de faire baisser ma consommation de courant de manière significative.
Le fait d'utiliser un minimum de disques est donc en accord avec cet objectif.

Mon serveur HPE consomme 27W au repos actuellement avec la carte PCIe et ses 2 SSD, la carte ILO et le SSD de boot.
Il faudra donc rajouter la consommation des 2 premiers HDD (3w au repos, 6W en écriture).
Ce serveur ne consommera donc, au repos, un peu moins de 35w...
C'est plutôt correct sachant que mon NAS Syno actuel consomme environ 55w au repos et mon NUC proxmox, 20.

 

[Pitfrr]

Merci pour ces précisions.
Si l'objectif est effectivement de limiter la consommation alors un miroir est une bonne solution.
Et on oublie le contrôleur en PCIe, le boitier externe et des disques en plus...

Le tout est de savoir quels sont les facteurs décisifs et il semblerait que tu les as clairement identifiés dans ton cas. Et ton raisonnement me semble cohérent.
Bref, parfait et là comme ça je ne vois pas d'autre remarque.

 

[larod241]

Merci à toi et @maximelu pour le temps pris à m'aider et à me conseiller.

J'attendais les French Days pour commander une première paire de DD mais rien de bien terrible.
Je vais partir sur une paire de WD Red Ultra 12to. J'ai des Red 4to depuis 5 ans dans mon Synology et RAS.

 

[Pitfrr]

A propos de disques: fait bien attention de ne pas prendre des disques SMR, tu peux vérifier ici. Même si je pense pas que les 12To soient en SMR, mieux vaut être sûr...

 

[larod241]

Hello,

Effectivement, j'avais vu/lu les problèmes avec les disques SMR. Les 12To WD Red plus sont bien des CMR.
Quelle galère quand même. Il faut tout vérifier en permanence !