Quelle configuration / type de RAID pour un NAS optimisé avec 4 HDD WD RED de 2 Go chacuns ?

[revedigital]

Salut tout le monde,

Ca fait maintenant quelques semaines que j'utilise Freenas et c'est vraiment le top par rapport à ce que j'ai pu essayer avant (OMV).
Les performances sont là, la communautés est excellente, les fonctionnalités aussi !

Du coup maintenant que j'ai bien testé l'OS, je voulais remettre à plat ma config pour qu'elle soit optimisée mais je ne maitrise pas bien le RAID et d'après tout ce que j'ai pu lire j'ai encore des doutes sur la meilleure façon de faire... Alors voilà ce dont je dispose :
- Intel Core i3-6100 (3.7 GHz)
- ASRock B150A-X1
- 2 x G.Skill Aegis 8 Go (1 x 8 Go) DDR4 2133 MHz CL15

Au niveau des disques durs :
- 2 x 2 To WD RED (déja en place dans un pool en mirroir)
- 2 x2 To WD RED (pas encore installés)
- 2 autres HDD (1 WD 320 Go (qui a des problèmes de secteurs défaillants) et 1 FUJITSU 500 Go)

L'OS est installé sur une clé de 16 Go SANDISK

L'utilisation que j'ai du NAS :
- Stockage de ma Musique (500 Go)
- Stockage de Films et séries et partage médiathèque vers KODI via EMBY (1 To environ et a tendance à grossir de plus en plus)
- Sauvegarde Time-Machine de mon mac (1 To)
- Seedbox via TRANSMISSION
Donc en gros une médiathèque perso.

Et dans un futur proche lorsque je maitriserais bien la solution et que je serais sûr de la fiabilité :
- Stockage de mes Photos perso (200 Go)
- Stockage des mes Videos perso (100 Go) comprenant entre autres des montages vidéos
- Stockage de documents perso
Donc en gros un "cloud perso".

Ma question est donc de savoir avec le matos que j'ai et le stockage dont je dispose, quelle est la meilleure config à mettre en place ? Quel type de raid ? Est-ce qu'il va me manquer du stockage ?

Merci beaucoup de vos retours !

 

[Lacoste]

Bonjour,
Si tu veut stocker des données importantes (entendre à ne pas perdre) je pense qu'il vaut mieux que tu change ta Carte mère par une gérant les mémoires ECC et y mettre les mémoires correspondantes.
Sinon tu semble avoir +/- 2.8To de données à stocker, avec les disque que tu as a disposition je pense qu'un pool avec un RAIDZ1 4*2To (qui te fera un peu moins de 6To disponible) est un minimum. Sachant que ZFS ne travaille pas très bien lorsque les disques sont trop remplis, il serait peut-être judicieux de rajouter 2 disques de 2To et faire un RAIDZ2 6*2To (un peu moins de 8To disponible) serais sûrement préférable.
Aussi pense à prendre une seconde clé USB pour faire un miroir de ton boot.

 

[Bidule0hm]

Aussi pense à prendre une seconde clé USB pour faire un miroir de ton boot.

Ou un SSD (un 32 Go suffit largement, pas besoin d'un gros) qui est un peu plus cher (quoique sur le long terme il est moins cher...) mais que tu ne devrais jamais avoir à changer.

 

[boxeman]

Salut !

pour la carte mère et le support mémoire ECC comme Lacoste le mentionne, c'est un plus onéreux mais non négligeable !
si tu ne choisis pas cette option ( voix de la sagesse), je te conseillerais de ne pas activer le scrub automatiquement .
d'effectuer une fois par mois/trimestre un test mémoire avec un MemTest86, et ensuite de lancer un scrub manuel ( et de prier que ta ram ne foire pas ;) )

une seconde clé usb en mirror est un plus pour pas cher, mais pense surtout à backuper la conf régulièrement (et pas sur ton pool ;))

à mon avis,
au vu du volume de stockage nécessaire, si tu peux te le permettre , achète encore 2 wd red 2to
et montes un pool en raidz2 avec les 6 disks de 2To ( je rejoints le point de vue de Lacoste)
en effet, il est pas possible d’étendre un pool en raidz1/2/3 ou de migrer d'un mirror vers du raidz1/2 comme sur du raid
pourquoi du raidz2, tu peux perdre 2 disques...ca fonctionnera encore
ça devrait de faire dans les 7 To utilisables

en gardant 4 disques de 2 To, et en raidz1, tu devrais avoir dans les 5 To
tu peux perdre 1 disque, si tu en perds un second ou s'il a des secteurs défectueux, tu risques la perte de toutes les données.

et dans les deux cas, c'est SI tu peux te permettre de supprimer et de recréer ton pool existant sans risque de perdre des données...

pour tes données critiques (docs perso) je te conseille vivement d'utiliser un cloud, ET en plus ton disque de 500go
pour tes données importantes ( photos & vidéos perso) , tu peux en plus utiliser le disque de 500 go
attention, si le disque est un peu vieux ou si a des alertes smart, faut en acheter un autre... fissa

idéalement, le disque de 500go , mets le ailleurs que chez toi.

Il faut penser risques idéalement:
- pannes de disques
- vols des équipements
- dégâts des eaux ou feu
- erreur(s) humaines

dans le cas du vol, selon tes données, tu peux penser au chiffrement, c'est très pratique, mais bien prendre les précautions de sauvegardes de toutes les infos/clés nécessaires pour pouvoir déchiffrer depuis une autre machine ( master key, recovery key, passphrase) et les mettre dans 2 clouds.


et une fois ton nas officiellement en "production", tu peux utiliser une VM avec freenas (4Go RAM c'est suffisant sauf si tu testes quantités de plugins) pour évaluer les risques de certaines actions ou t'entrainer a changer un disque HS... ça évite certaines erreurs aux conséquences désastreuses.

Note :
- il me vient aussi un conseil à deux balles: si tu utilises des plugins style owncloud, fais bien gaffe à stocker tes données sur ton pool zfs et qu'un répertoire soit monté en RW dans la jail..
en effet, si tu fais pas gaffe et que tu stockes dans la jails, si tu delete la jail... tu perds les données ( bon ok les snapshots peuvent te sauver mais s'ils sont bien activés et récursifs)
- si tu as des risques de coupures électrique, un petit onduleur avec port usb (s'il est supporté par freenas) peut aider


pour exemple de mon cas,
documents : nas1 raidz2 + snapshots, cloud dropbox et hubic , disque externe chiffré avec bitlocker, nas2 (mirror) offline avec chiffrement dans le garage
photos/videos perso , musique, logiciels: : nas1 raidz2 + snapshots, disque externe chiffré avec bitlocker, nas2 (mirror) offline avec chiffrement dans le garage
films : nas1 raidz2 + snapshots, nas3 en mirror

nas2 sur un onduleur Eaton Protection Station 800
il me faut d'ailleurs mettre le nas2 ailleurs, le disque externe au garage et m'en servir pour synchroniser le nas2...
et quand je reconstruirais nas1 j'activerais le chiffrement, malheureusement zfs sur freebsd n'a pas encore la capacité de chiffrements d'un dataset...:(

Cela peut paraitre un peu gros, mais on fait vite à perdre des données...
Regarde le post https://forums.freenas.org/index.php?threads/restauration-possible-apres-reformatage.54684/
pour t'en convaincre.

au final, tu vas dépenser un bras :p

 

[revedigital]

Waouw super, merci pour vos réponses !!

Pour la carte mère je vais regarder ça, d'après le Wiki de FESTER (https://www.familybrown.org/dokuwiki/doku.php?id=fester:hardware_specific), il propose celle-là :

• Supermicro X10SRH-CLN4 Single socket R3 (LGA 2011) 8 SAS3 12Gb and 10 SATA 3 6GB (environ 500 €)

Mais elle coûte un bras.... Du coup je vais me renseigner un peu plus lol et après pour le moment je ne stocke que du multimédia donc pas vital.

Pour l'onduleur (que j'ai prévu de me procurer aussi), y'a celui-là :

• Eaton 5SC 1000i (à 300 € environ)

Après boxeman, tu propose celui-ci : Eaton Protection Station 800 qui est beaucoup moins onéreux (100 €)
Pour ma config RAID, je vais me racheter encore 2 WD RED 2 To pour faire du RADIZ2

Pour le backup de l'OS, ma clé USB actuelle fait 16 Go, du coup je vais en prendre une autre de 16 Go pour le backup (faut que je regarde comment faire les backup d'ailleurs... ^^)

Par contre un truc que je dois avoir moyennement assimilé :

Code:

et dans les deux cas, c'est SI tu peux te permettre de supprimer et de recréer ton pool existant sans risque de perdre des données...

, ca veut dire que si je veux agrandir mon pool actuel ou passer de RAID Z0 (mirroir) à RAID Z1 ou RAID Z2, je vais perdre les données sur les disques ?
(bon pour le moment y'a rien de grave, que des médias et musique que j'ai toujours en local sur mon PC, mais y'a déja 1 To sur le freenas....)

Pour mes données critiques perso, elles sont déja sur des services de Cloud (Drop Box, Google Drive, Hubic, OneDrive, iCloud, ...). Ce que je souhaites c'est les mettre sur le NAS pour libérer la place sur mon PC (d'ailleurs c'est un mac...), après à voir comment synchro tout ça !

Bon après je veux pas que ce soit une usine à gaz que je ne vais pas maitriser et où je risque de faire des grosses boulettes... (J'ai déja perdu un disque dur externe avec pleins de photos, et mes vidéos d'enfance que j'avais numérisé). J'en suis pas encore à synchroniser 2 NAS entre eux... Et surtout je ne maitrise pas du tout les lignes de commandes pour essayer de réparer une bêtise ou autre... Je sais même pas ce que c'est un "Scrub", j'ai encore pleins de trucs à apprendre ! lol

Bref je vais déja rajouter mes 2 WD RED, je vais voir ce que ça donne (mais j'attends vos retours sur le fait que je risque de perdre mon pool déja en place ^^)

 

[boxeman]

• alors pour l'onduleur, il est judicieux d'estimer

- combien d’équipements branchés dessus
- qualité et fiabilité du réseau électrique
si tu es en zone urbaine, que tu n'as pas eu de coupures régulières, et que tu branches seulement ton nas, l'eaton pro station, 800 est suffisant je pense (voir meme le 650), il est supporté par NUT sous FreeBSD donc ca devrait être bon avec freenas qui utilise aussi NUT.Il tient mon nas et un esx (conso total env 120W, mon nas avec 6 disque consomme en 60W), au moins 10 min ( d’après les reports)... je n'ai eu qu'une seule coupure depuis que je l'ai, 3 ans..( de l'ordre de 10 secondes) que l'onduleur a géré .
de toute façon oublie les onduleurs qui dure longtemps, car c'est très cher, et de toute façon, si tu as une coupure qui dure quelques minutes, je dirais qu'il est préférable d’éteindre ton nas si tu le peut ( pour un onduleur géré en usb ou réseau, il faut de toute façon penser à planifier l'arrêt si la capacité de la batterie atteint un certain seuil) car ... un onduleur se décharge vite, mais se recharge très lentement et tu économiseras la batterie...

• Pour la seconde clé usb, ce que te proposait Lacoste, c'est d'avoir un raid mirror sur l'install Freenas, comme ca si une clé est HS, ton NAS fonctionne encore

la sauvegarde de la config n'est pas grosse, de l'ordre de quelques centaines de Ko, fait la depuis ton MAC et mets la régulièrement sur un cloud, comme ca si ta ou tes clés USB lâchent, tu pourras reinstaller freenas et remettre la même conf..

• Pour le truc que tu as moyennement assimilé... tu as peu être déjà un peu senti le truc qui va puer.... je te rassure, ca pue...:D

tu ne PEUT PAS étendre un pool , le réduire ou le convertir en un autre format
exemple1 :
en raid linux ( ou hardware), tu as 2 disques au debut, prudent tu fais un mirror, tu as presque tout rempli, hop, tu branches un nouveau disque, tu convertis le mirror et ajoute le disque pour faire un raid5 , ca sera un peu long comme operation, mais ca marche.
en zfs, ton mirror, tu as 2 disques, tu as presque tout rempli, ... tu ne peut faire comme le raid linux (ou come un raid materiel).. soit tu crée un autre pool, soit tu ajoutes à ton pool un vdev, un autre mirror de 2 disques... ET TU NE PEUT PLUS RETIRER ce vdev !.... bonjour les contraintes....
exemple2:
en raid linux ( ou hardware), tu te montes un raid5 de 3 disques ( tolerances de panne de 1 disques), le temps passe, ca se rempli... tu ajoute un 4e disque à ton raid5, nickel c'est faisable, le temps passe c'est rempli, tu veut ajouter un disque et autre pour avoir redondance de panne de 2 disques ( tu es devenu prudent).... c'est possible...
en zfs, tu crée un pool raidz1 avec 3 disques,...le temps passe c'est presque full...alors soit tu ajoutes un vdev de 3 disques en raidz1.... ou tu crées un autre pool...

-> la morale, en zfs il faut penser à ce qu'on veut faire des le debut...car zfs n'est pas très évolutif.

et surtout, ne pas hésiter à lire la doc freenas et tester sous une VM ! , tu as l'air de bricoler mais de bien vouloir comprendre avant et de limiter les risques, c'est bien

 

[Bidule0hm]

Tu peux étendre une pool... mais pas un vdev.

ZFS est en fait très évolutif mais il a été conçu pour des dizaines (centaines) de disques dans un contexte pro, pas pour 3 disques dans un contexte grand public.

 

[revedigital]

Salut salut,

Merci pour tout ces conseils.

Je me suis acheté 2 WD RED 2 To supplémentaire et je vais bientôt remplacer ma carte mère par une qui gère l'ECC.

Juste j'ai encore un doute sur le nombre de disques durs, j'ai pas envie d'être bloqué et de plus avoir de place alors je pensais racheter encore 2 voir 4 HDD par exemple 2 x 2 To ou 2 x 3 To...

Du coup quelle serait la meilleure config RAID pour cette utilisation ?

Je vais faire un backup de mes données sur mon pool actuel et tout supprimer pour lancer ma config finale.

Une autre question qui me turlupine, est-ce qu'il est possible d'avoir plusieurs pool ? Par exemple si ma première config venait à être pleine (8 Go full), vu que je peux pas étendre celle-ci, je peux toujours crééer un nouveau pool à côté ?

 

[revedigital]

J'ai trouvé cet article mais je ne comprend pas tout...

http://louwrentius.com/the-hidden-cost-of-using-zfs-for-your-home-nas.html

Qu'est-ce que ça fait d'avoir plusieurs VDEV ?

 

[revedigital]

Autre question qui me vient en lisant des articles : est-ce que je vais pouvoir combiner des disques durs de taille différentes dans mon pool ou dans un Vdev ?

J'ai pas fait gaffe mais j'ai acheter des WD RED 2 To, mais aussi des 3 To. Et je me demande si je vais pas acheter des 4 To aussi car c'est plus rentable en faite...

Le RAIDZ2 est-il bien l'équivalent d'un RAID 6 ? Est-ce que je peux calculer la taille utile avec : (N-2)*S avec N nombre de disque de S taille de ceux-ci ?