SOLVED Demande avis nouvelle installation

[Nico052020]

Bonjour et très bonne année 2022 à tous,
Je vous contacte car je souhaite faire évoluer la configuration de mon nas.
Je tourne actuellement sur freenas 9.3. En 2022, je souhaite passer sur truenas 13 quand il sera disponible. Je ferai alors une nouvelle installation.
Aujourd'hui, je suis sur une configuration 4x WD red 3Go montés dans un pool en raidz2. Le volume est rempli à un peu plus de 50% de la capacité utile, soit 5,5 Go (sans la fonctionnalité snapshoot activée).
Par ailleurs, mes disques tournent 24/24 depuis un peu plus de 5 ans, mais sont toujours en bonne santé.

Pour ma nouvelle installation, je me pose différentes questions sur l'évolution de l'espace de stockage. En effet, je pense que dans les années à venir je vais devoir d'une part augmenter l'espace de stockage et d'autre part, effectuer un remplacement de disque en raison du risque de défaillance qui va croitre.

De ce fait, plusieurs solutions s'ouvrent à moi :
Solution 1

• remplacer le raidz2 actuel (4x 3To) par un pool sur 3 disques en miroir (qui sauf erreur de ma part, aura la même fonction que mon raidz2 à 4 disques) + 1 spare au cas où. (Cela réduit mon espace de stockage actuel)
• créer un second pool avec 3 disques neufs en miroir de 3To ou 4To.

Solution 2

• rester sur le raidz2 actuel (4x 3To)
• rajouter un disque au raidz2 lorsque l'espace commencera à être limite

Solution 3

• rester sur le raidz2 actuel (4x 3To)
• créer un second pool en raidz2 avec 4 disques neufs de 3To

Solution 4

• rester sur le raidz2 actuel (4x 3To)
• remplacer les disques de 3To par des disques de 4To ou plus. La totalité de l'espace des nouveaux disque ne sera utilisable que lorsque tous les disques auront été remplacés

Quelle(s) solutions vous semblent les plus pertinentes ?

ps : il se peut que je confonde pool et vdev, bien qu'ayant pas mal potassé, j'ai toujours du mal avec cette notion.

En vous remerciant d'avance.

 

[Pitfrr]

Bonjour,

Le problème c'est que c'est toujours un peu compliqué d'étendre un volume en RAIDz2...
Avec des miroirs on peut toujours rajouter un vdev en miroir, ça c'est plutôt pratique. Mais l'inconvénient du miroir c'est qu'on perd 50% de capacité...

Pour la suite, je vais partir sur les hypothèses suivantes:

• Il n'a pas été mention de sauvegardes, je supposerai donc qu'il n'y en a pas.
• Je suppose qu'il s'agit d'une coquille lorsque tu dis que le volume actuel est rempli à 50% soit 5,5Go, on lira plutôt 5,5To.
• Tu n'a pas donné de détails sur l'utilisation type, je pars donc du principe qu'il s'agit d'une utilisation domestique avec stockage sans contraintes particulières (en terme d'IOPS) sur un réseau en gigabit.
• Je ne connais pas la carte mère X10SL7 mais on dirait qu'elle a suffisamment de connecteurs SATA pour 8 disques...

Je proposerai donc de réfléchir à une solution 5:

• Passer sur 8 disques de 3To(*) en RAIDz2
  • C'est un choix/goût personnel mais j'essaye d'obtenir un rapport capacité brute/capacité utile le plus élevé possible, donc je trouve qu'un volume RAIDz2 avec 6 à 8 disques est un bon compromis.
  • Il est relativement facile d'étendre un volume en RAIDz2, en échangeant un par un les disques avec des disques de capacité plus grande (donc par exemple passer de disques de 3To à des disques de 6 ou 8To), de plus, comme c'est un par un, on peut faire ça à son rythme.
• Et un disque de 6 ou 8To pour la sauvegarde
  • Ce disque permettra de faire une sauvegarde.
  • Il peut également servir de spare
  • Et pourra aussi être utiliser lors de l'extension du volume
• Avantages
  • Avec un volume de 6 ou 8 disques, tu vas pouvoir aussi utiliser les snapshots sans trop de restriction, c'est un mécanisme bien pratique!! (mais attention, ce n'est pas une sauvegarde à proprement parler non plus)
• Inconvénient
  • Il faudra détruire le volume existant de 4x 3To, donc il faudrait avant de commencer acheter le disque de 6 ou 8To pour l'utiliser pour la sauvegarde...
• Extension
  • Une fois le nouveau volume créé (en 6 ou 8x 3To), tu pourras l'étendre à ton rythme avec des disques de 8To par exemple et les anciens disques peuvent alors être utiliser pour la sauvegarde à nouveau. Cela permet de faire un roulement entre les nouveaux et les anciens disques.

(*): je ne sais pas si on trouve des disques de 3To facilement, mais on peut "mélanger" avec des disques de 4To sans qu'on perde trop de place. On peut aussi les acheter d'occasion éventuellement. Dans tous les cas pour les disques, prévoir une phase de rodage...

 

[Nico052020]

Bonjour Pitfrr, merci de ton retour.

Pour la suite, je vais partir sur les hypothèses suivantes:

• Il n'a pas été mention de sauvegardes, je supposerai donc qu'il n'y en a pas.
• Je suppose qu'il s'agit d'une coquille lorsque tu dis que le volume actuel est rempli à 50% soit 5,5Go, on lira plutôt 5,5To.
• Tu n'a pas donné de détails sur l'utilisation type, je pars donc du principe qu'il s'agit d'une utilisation domestique avec stockage sans contraintes particulières (en terme d'IOPS) sur un réseau en gigabit.
• Je ne connais pas la carte mère X10SL7 mais on dirait qu'elle a suffisamment de connecteurs SATA pour 8 disques...

1. Je n'ai pas évoqué les sauvegardes car elles sont faites en usb sur 2 disques de 8 To chacun. L'un est à un endroit géographiquement séparé. Je les interverti tous les 5 ou 6 mois (car je ne peux pas le faire plus souvent). L'autre disque de sauvegarde est chez moi, j'essaie de faire des sauvegardes le plus souvent possible, mais j'avoue que des fois je peux rester 1, voire 2 mois sans en faire (pas bien). Le problème étant que je n'ai pas trouvé de solution simple pour effectuer mes sauvegardes du coup, je le fais dès que j'ai un peu de temps. bref.
2. effectivement c'est bien 5,5To
3. il s'agit d'une utilisation domestique sur un réseau gigabit
4. oui elle a 8 connecteurs sata

Avantages

• Avec un volume de 6 ou 8 disques, tu vas pouvoir aussi utiliser les snapshots sans trop de restriction, c'est un mécanisme bien pratique!! (mais attention, ce n'est pas une sauvegarde à proprement parler non plus)

Oui, j'hésite encore à mettre en place les snapshots. J'ai ma sauvegarde sur disque dur et puis j'ai la poubelle SMB, où je peux retrouver les micros sauvegardes de libre-office, microsoft office,... et tous les fichiers que j'ai supprimé. Etant donné que je ne la vide pas souvent...


Tu conseilles d'utiliser 6 ou 8 disques, et non 5 ou 7, est-ce lié au fait de séparer les bits de données et de parité par paires ?
Après, un point qui vient un peu complexifier la chose, c'est que je n'avais pas forcément prévu d'acheter de nouveaux disques tout de suite en tout au moment où je réinstallerais le système. Mais je préfère poser la question avant.

Inconvénient

• Il faudra détruire le volume existant de 4x 3To, donc il faudrait avant de commencer acheter le disque de 6 ou 8To pour l'utiliser pour la sauvegarde...

C'est déjà prévu. D'ailleurs je ne crois pas que ma version de freenas permettent de porter directement le pool de données sur les dernières versions de freenas/truenas.
Mes données étant chiffrées, sauf erreur de ma part, il me semble avoir lu qu'actuellement j'ai 4 clés de chiffrement (une par disque), alors que dans les nouvelles versions, il n'y a qu'une clé de chiffrement pour tout le pool. (ou l'inverse)

 

[Pitfrr]

j'hésite encore à mettre en place les snapshots

Quand je parlais des snapshots je disais que les snapshots n'étaient une sauvegarde à proprement parler mais par contre ça peut te servir pour les sauvegardes.
Je ne sais pas comment tu fais les sauvegardes à présent mais tu pourrais envisager de faire des snapshots (par dataset) et les exporter sur un volume (ton disque de sauvegarde). C'est assez pratique.
Ensuite petit bonus des snapshots: c'est une protection contre les ransomwares... comme c'est assez courant en ce moment, il serait dommage de s'en passer.

les sauvegardes sont faites en usb sur 2 disques de 8 To

Tu as déjà des disques de sauvegarde, super...
Alors si tu rachètes des nouveaux disques, ça peut être intéressant de considérer des disques de 8To... (tu n'auras plus que les disques de 3To existants à échanger pour étendre ton volume ensuite) Bien sûr c'est un investissement et faut le planifier (ou attendre le prochain black Friday! )

Tu conseilles d'utiliser 6 ou 8 disques, et non 5 ou 7, est-ce lié au fait de séparer les bits de données et de parité par paires ?

Non absolument pas, c'est juste que je trouve que c'est un bon compromis entre 6, 7 ou 8 disques. Je pense que c'est surtout un choix à faire en fonction du rapport capacité brute/capacité utile que l'on souhaite et le budget.
Pour ma part, j'ai un serveur avec 6 disques car je n'ai plus de place pour en mettre d'autre. Et un autre serveur (de backup) avec 7 disques.


Pour ce qui est du chiffrement, je ne sais pas exactement pour FreeNAS 9.3 mais j'utilise FreeNAS 9.10 et je ne pense pas que ce soit très différent.
D'un point de vue utilisateur, il n'y a pas une clé de chiffrement par disque mais une clé principale qui permet de déchiffrer tous les disques. Je crois qu'on peut en effet sauvegarder les clés de chaque disques mais je ne suis pas sûr que ce soit très utile si on a la clé principale.
Pour ma part, j'ai également chiffré les données et je ne sauvegarde que la clé principale.

 

[Nico052020]

Bonjour

Ensuite petit bonus des snapshots: c'est une protection contre les ransomwares... comme c'est assez courant en ce moment, il serait dommage de s'en passer.

Pourquoi dis-tu cela, s'il y a un ransomwares, il affectera tout le pool non ? (y compris les snapshots)

Pour ce qui est du chiffrement, je ne sais pas exactement pour FreeNAS 9.3 mais j'utilise FreeNAS 9.10 et je ne pense pas que ce soit très différent.
D'un point de vue utilisateur, il n'y a pas une clé de chiffrement par disque mais une clé principale qui permet de déchiffrer tous les disques. Je crois qu'on peut en effet sauvegarder les clés de chaque disques mais je ne suis pas sûr que ce soit très utile si on a la clé principale.

J'ai retrouvé ce que j'avais lu sur le chiffrement sur truenas :
https://www.truenas.com/community/threads/plus-daccès-à-freenas.87731/#post-608305

Du coup, si je résume, ce que tu me conseilles, c'est de réaliser :
_ un pool de 6 disques en raidz2 avec mes 4x3To + 2x8To neufs. (Remplacer progressivement les 4x3To)
ou bien
_rester sur mon pool de 4x3To en raidz2 et les remplacer progressivement par des 8To

Petite question annexe, j'ai regardé les WD Red. A l'époque où j'ai acheté mes disques, il n'y avait qu'une version. Aujourd'hui, il y a les Red, Red Plus et Red Pro. Y-a-til vraiment des différences au-delà des informations commerciales annoncées ?

 

[Pitfrr]

Ransomware:
Le ransomware se propagera par un partage réseau et non depuis le système (ou le serveur) lui-même (en tout cas c'est très peu probable).
Donc si le partage est sur un dataset, il va infecter le dataset mais ne pourra pas "remonter" plus haut ou "sauter" sur un autre dataset (sauf si y'a un partage). De plus les snapshots ne sont accessibles qu'en lecture et ne sont pas accessibles depuis un partage et donc ne risquent rien.
Et si tu as fait un snapshot avant l'infection du ransomware, tu pourras récupérer ces données.

Chiffrement:
Tu as deux clés: la clé de chiffrement et la clé de récupération (qu'il faut générer manuellement et stocker dans un endroit sûr).
Mais il n'y a pas de clé de chiffrement par disque (je crois qu'on peut les récupérer éventuellement mais cela est inutile car la clé de chiffrement ou celle de récupération suffit).

Volume:
Oui, c'est assez bien résumé.
Je rajouterai un petit modificateur:

_ un pool de 6(*) disques en raidz2 avec mes 4x3To + 2x8To neufs.

(*): 6 ou plus... selon ton budget (car tu as les connecteurs disponibles sur la carte mère)

Un détail encore concernant le volume, si tu augmentes la capacité de ton volume, surveille la mémoire. Tu as actuellement 8Go, ce qui est le minimum recommandé. Il se peut (mais cela dépend de l'utilisation) que si tu passes avec 6x (ou plus) 8To tu constates quelques ralentissements. Dans ce cas, tu pourras envisager à augmenter la RAM à terme. Mais tu verras ça à l'utilisation.

Disques:
Le plus important en ce moment, si tu achètes des disques fait très attention à ne pas prendre des disques qui utilisent la technologie SMR (plus de détails ici)!
Dans la section ressource, il y a un article à ce sujet, je te conseille de le lire et vérifier que les disques que tu choisis ne sont pas dans la liste..
Pour les WD, il faut savoir que les WD red peuvent utiliser la technologie SMR et sont donc à éviter. Je crois qu'il vaut mieux viser les red+.
Je ne connais pas la différence entre red+ et red pro...

Pour ma part, j'ai acheté des disques durant les promos black friday (disques en boitier USB que j'ai ouvert), mais là aussi faut faire un peu gaffe de pas tomber sur des disques SMR.

 

[Nico052020]

Chiffrement:
Tu as deux clés: la clé de chiffrement et la clé de récupération (qu'il faut générer manuellement et stocker dans un endroit sûr).
Mais il n'y a pas de clé de chiffrement par disque (je crois qu'on peut les récupérer éventuellement mais cela est inutile car la clé de chiffrement ou celle de récupération suffit).

Pour moi cela change pas mal de chose (en tout cas dans l'immédiat).
Si je comprends bien, je peux repartir sur une installation toute fraiche (truenas 13) et importer mon pool tel qu'il est avec la clé de chiffrement actuelle ?

Disques:
Le plus important en ce moment, si tu achètes des disques fait très attention à ne pas prendre des disques qui utilisent la technologie SMR (plus de détails ici)!
Dans la section ressource, il y a un article à ce sujet, je te conseille de le lire et vérifier que les disques que tu choisis ne sont pas dans la liste..
Pour les WD, il faut savoir que les WD red peuvent utiliser la technologie SMR et sont donc à éviter. Je crois qu'il vaut mieux viser les red+.
Je ne connais pas la différence entre red+ et red pro...

Merci pour l'info. Heureusement que j'ai posé la question...


Par curiosité, y-a-t-il une raison technique qui fait que rajouter un disque sur un raidz2 existant est une mauvaise chose ?

 

[Etorix]

Par curiosité, y-a-t-il une raison technique qui fait que rajouter un disque sur un raidz2 existant est une mauvaise chose ?

C'est juste impossible.
On peut ajouter de nouveaux vdevs à un pool. On peut ajouter des disques à un vdev mirroir pour augmenter son niveau de redondance. On ne peut pas (encore) ajouter de disques à un vdev raidZ pour augmenter sa largeur : s'il est créé avec 4 disques il aura toujours 4 disques. Le seul moyen de modifier la géométrie d'un raidz est de détruire le pool et de le reconstituer avec de nouveaux vdevs à la géométrie souhaitée.
(Il est possible d'ajouter un vdev constitué d'un disque unique à un pool contenant un ou des raidz2. Catastrophe assurée au premier incident sur le disque isolé, sans redondance !)

 

[Nico052020]

Merci Etorix
Du coup, cette solution que j'évoquais au début du post est juste impossible.

On peut ajouter de nouveaux vdevs à un pool

Dites-moi si je suis bon ou pas :
Cela veut donc dire que je peux augmenter le volume de stockage du NAS en créant un nouveau raidz2 (ou autre) au sein du pool. Si j'ai toujours bon, cela veut donc dire qu'on ne maitrise pas quels dataset sont sur quel vdev au sein du pool ?
Du coup, je pense mieux comprendre l'expression que j'ai souvent lu "si on perd un vdev, on perd le pool".

J'en viens donc à la question suivante : un Freenas/Truenas doit-il nécessairement être constitué d'un seul pool ?

En vous remerciant , c'est très instructif.

 

[Pitfrr]

C'est peut-être plus clair avec des dessins?

Définition:

Un vdev peut être constitué d'un ou plusieurs disques physiques et a un niveau de redondance associé (bon avec un seul disque on ne peut que faire un stripe sans redondance mais sinon: miroir, RAIDz1, RAIDz2 ou RAIDz3).

Et un pool peut être constitué d'un ou plusieurs vdev (voir plus bas "Extension d'un pool"):

Bien entendu on peut aussi avoir plusieurs pool:

Extension d'un pool:
Un pool peut être étendu (donc après création initiale) avec un autre vdev:

Et on peut continuer ainsi autant qu'on veut... mais avec une règle: si on perd un vdev, on perd tout le pool.
Donc il faut que les différents vdev d'un pool aient la même redondance.


Exemple:

Si on a un pool avec un vdev1 en RAIDz2 et qu'on rajoute un vdev2 en stripe (avec un seul disque), si ce disque (ici HDD5) venait à être défaillant, on perd tout le pool!! A ne surtout pas faire.


Dataset:
Les dataset sont à un niveau d'abstraction supérieur et définis par pool (ils ne "voient" donc pas les vdev c'est à dire qu'on ne maitrise pas sur quel vdev ils sont stockés).

 

[Nico052020]

Bonjour,
C'est une très bonne explication. Merci.

Du coup potentiellement je pourrais très bien avoir mes données "personnelles" sur mon raidz2 et transférer la partie "multimédia" (musique, films, reportages, ...) sur par exemple un second pool composé d'un seul disque de 3 To.
Etant donné que le dataset "Multimedia" représente plus de la moitié de mon volume de stockage utilisé actuel, c'est une solution que je peux envisager. C'est pas l'idéal. Ces données ne sont pas "essentielles" et sont aussi sauvegardées sur les deux disques de sauvegarde.

Je pense que ma décision sera aussi portée par le coût des disques
1x WD Red Plus 8To : 250€
1x WD Red Plus 6 To : 180€
1x WD Red Plus 3To ou 4 To : 100-110€
Lorsqu'il faut remplacer 6 ou 8 disques, ça commence à faire un billet...

J'hésite encore entre augmenter la capacité de chaque disque de mon pool actuel
ou augmenter le nombre de disque du raidz2.
ps : un point négligeable mais qui peut rentrer aussi en ligne de compte => plus on augmente le nombre de disque dans un pool, plus la possibilité qu'il y ait une défaillance au niveau du pool (à cause de l'un des disque) augmente.

En tout cas merci à vous deux, j'ai beaucoup avancé dans ma réflexion.

 

[Pitfrr]

Lorsqu'il faut remplacer 6 ou 8 disques

Alors si tu parles en cas de défaillance, il est très peu probable que tu aies plusieurs disques qui lâchent en même temps, heureusement!
J'utilise un disque externe pour la sauvegarde à froid déportée, de capacité supérieur (double) de mes disques (donc si j'ai un volume avec des disques de 4To, le disque de sauvegarde sera de 8To). Comme ça, j'ai suffisamment de place pour les sauvegardes, ça me fait aussi un disque de spare au cas où et le jour où je renouvelle les disques (à une échéance entre 5 et 7 ans je dirais), il est fort probable que j'opte pour des disques plus grand (donc 8To).

Par contre, lors de la création du volume, là oui, ça peut faire mal... Mais tu ne pars par de rien.

un second pool composé d'un seul disque

Perso j'éviterai... même s'il s'agit de données média qu'on peut perdre, c'est toujours agaçant... Dans ce cas, je mettrai au moins en miroir.

1x WD Red Plus 8To : 250€

C'est le prix que j'ai payé (ok un peu plus... ) pour un 16To lors du black Friday... Ok, pas un WD RED mais un WD modèle WD160EDGZ.
Mais effectivement, tu peux rester sur des disques de 3 ou 4To si au niveau de la capacité ça te suffit.
Petite remarque à ce sujet: il vaut mieux éviter de remplir un volume à plus de 80% de sa capacité (on peut dépasser un peu, surtout si c'est un usage domestique) mais c'est à surveiller quand même car au-delà de 80% les performances peuvent baisser et lorsqu'on dépasse 95% on peut même risquer un perte du volume car des comportements erratiques peuvent apparaître.

Bon courage pour la suite alors!

 

[Nico052020]

Je savais qu'il ne fallait pas trop les remplir avant d'agir, mais je n'avais pas le %.
Çà marche. C'est toujours un plaisir d'échanger avec toi :)

 

[Nico052020]

Bonjour,
Je suis en pleine mise à jour, refonte de mon système,... et je viens de tiquer sur l'un de nos premiers échanges (@Pitfrr )

Je ne connais pas la carte mère X10SL7 mais on dirait qu'elle a suffisamment de connecteurs SATA pour 8 disques...

Je viens de m'apercevoir que ma carte dispose de :

• 2 SATA (6Gbps), 4 SATA (3Gbps)
• 8x SAS2 (6Gbps) via Broadcom 2308

Mes 4 disques actuels sont sur les 4 SATA (3Gbps).
Les connecteurs SATA et SAS ont l'air d'être physiquement identiques (voir photo ci-dessous)

1] est-il possible de câbler les disques du pool de données sur ces connecteurs ? (Je pose la question car j'envisage de mettre 6 disques peut-être 8)
2] si oui, à quoi faut-il porter attention : câble particulier ? paramétrages bios ? truenas ? autres ? disque dur compatible ?


Cordialement

 

[Etorix]

1) Oui. SAS est compatible avec SATA. Mêmes câbles.
2) De préférence, flasher le contrôleur en mode IT plutôt que IR.

Flashing the LSI2308 on SuperMicro X10SL7-F to IT mode. Which version to use NOW?

Hello, I have purchase a Supermicro X10SL7-F-O since it's a very recommended motherboard which also has an integrated SAS controller. However, this controller need to be flashed to IT mode prior to usage, so FreeNAS can access it properly. I understand that, however I have read that you're not...

www.truenas.com

 

[Nico052020]

Bonjour,
Lol, en fait, quand j'ai acheté la carte mère d'occasion, après pas mal de lecture, j'avais procédé à la mise à jour du contrôleur SAS (LSI2308) et l'avais passé en mode IT parce que les gens sur les tutos disaient qu'il fallait le faire pour installer freenas.
Je me rend compte aujourd'hui (et sauf erreur de ma part) qu'étant donné que j'utilisais les connecteurs SATA, ça ne m'a jamais servi ?!

Donc si je te suis, j'ai juste à brancher mes disques sur les ports SAS. Y-a-t-il de grosses différences entre SATA et SAS ?Y-a-t-il un intérêt particulier d'utiliser l'un ou l'autre ?

En te remerciant

 

[Pitfrr]

Bonjour,

En gros: un contrôleur SAS peut gérer les deux types SATA et SAS. Un contrôleur SATA ne gère que le SATA.
En pratique, sur les disques SAS, le connecteur est légèrement différent, il n'y a pas de distinction entre l'alimentation et les données (en gros les connecteurs sont identiques au SATA mais sans interruption).

Donc si ta carte est en mode IT, tu devrais pouvoir connecter tes disques SATA sur le contrôleur SAS sans problème.
Le gros avantage, c'est d'offrir plus de connecteurs!
Le SAS est généralement mis en oeuvre dans un cadre professionnel.

 

[Nico052020]

Okkk.

Le SAS est généralement mise en oeuvre dans un cadre professionnel.

Et donc pour ça, il faut des disques durs SAS. Si je comprends bien, avec des disques durs SATA, il ne devrait pas y avoir de différences.

J'y crois pas de trop, mais mes 4 disques raidz2 était sur 4 ports sata 3Gbps, si je les mets sur 4 ports SAS qui sont en 6Gpbs, je pourrais voir mon débit de données augmenter... Mais je pense que je goulets d'étranglement n'est pas là.

 

[Pitfrr]

J'y crois pas de trop, mais mes 4 disques raidz2 était sur 4 ports sata 3Gbps, si je les mets sur 4 ports SAS qui sont en 6Gpbs

Hmmm non, ça ne devrait pas changer grand chose, ça va saturer au niveau du réseau avant (j'imagine que tu es en 1Gb/s)...

 

[Nico052020]

Oui, c'est déjà pas mal :)