[resolu] Quelles solutions pour avoir plus que du Raid Z3 ?

[christopheaprendlinux]

Bonjour @ tous,

De mon point de vue, le Raid Z3 était le niveau de protection le plus élevé et le plus efficace pour nos données.
Oui, mais ça, c'était avant !
... A l'époque ou les disques dur ne dépassaient guère les 2 voire 3 To max. Car en cas de panne d'un disque, la reconstruction sollicite tellement la mécanique des autres disques qu'il y a de très grandes chances pour qu'un autre voire 2 ou 3 tombent en panne pendant la reconstruction. En effet, nos grappes de disques, au moment ou une panne se produit, ont tous déjà de trop nombreuses heures de vol.

Alors aujourd'hui que les premiers disques de 10To pointent le bout de leur nez.... bonjour le risque lors d'une reconstruction....


Existe t il donc un moyen pour obtenir une protection supérieure au Raid Z3 ?

Moi, j'avais pensé à 2 vdev, chacun en Raid Z3 mais l'un serait le miroir de l'autre. est ce possible ? et qu'en pensez-vous ?

Bon, pour l'instant je ne vous parle pas du prix !

merci.

 

[Bidule0hm]

Le plus gros problème n'est pas la perte d'un disque (ce qui est déjà assez rare, sans même parler de la perte de plusieurs disques) lors d'une reconstruction (perte qui a par ailleurs rien à voir avec la taille des disques au niveau probabilité) mais surtout d'avoir une URE. Ce problème en est un qu'avec le RAID-Z1 où la perte d'un disque entraine la perte de redondance et où donc la moindre erreur de lecture pendant la reconstruction va entrainer une perte de données.

Le RAID-Z2 permet d'éviter ça; bien-sûr si on perd un autre disque pendant la reconstruction on se retrouve avec le même problème que dans le cas du RAID-Z1, ce que le RAID-Z3 permet de solutionner; il faudrait alors perdre deux disques en plus du premier pour avoir une chance que la reconstruction se passe mal, ce qui est tellement peu probable qu'à mon avis t'as plus de chance de gagner au loto et de te faire frapper par la foudre le même jour...

Ensuite il y a le fait que même en RAID-Z3 on ne dépasse en principe jamais 11 disques par vdev donc même si t'as une pool de 100 vdevs de 11 disques (soit 1100 disques...) il faudrait qu'au moins 3 disques meurent totalement + qu'il y ait une erreur de lecture sur un quatrième disque et que ces 4 disques se trouvent de le même vdev...

Si jamais tu veux plus de redondance il suffit de faire des vdevs en RAID-Z3 mais qui comportent moiss de disques, par exemple 6, tu as alors la moitié des disques dédiés à la parité comme pour du mirror (mais avec certains avantages côté fiabilité et certains inconvénients côté perfs). Et si ça ne suffit toujours pas tu peux toujours utiliser du mirror de N disques, par exemple des mirrors de 5 disques où 4 disques seront utilisés en redondance, ceci dit en général on ne va pas plus loin que 3 disques (des mirrors classiques de 2 disques sont jugés trop peu fiables et ceux de 4 disques ou plus augmentent considérablement les coûts pour un très faible gain de fiabilité au final).

Je rappelle que le RAID, quel qu'il soit, n'est pas une backup, il n'a pas le même but; si tu cherches à utiliser la redondance d'un RAID comme backup tu vas droit dans le mur et dans ce cas le problème ne vient pas de l'informatique mais de l'utilisation que tu en fais.

A noter également que tout admin sys censé va renouveler les disques préventivement un par un (généralement on considère que 5 ans est la durée de vie moyenne d'un disque) en décalant les dates de mise en service de plusieurs mois pour éviter tout problème de group failure.

 

[christopheaprendlinux]

Bonjour Bidule0hm,

Je suis presque tout à fait d'accord avec toi, sauf pour les stat de la loterie nationale !

Bien sûr que la probabilité de perdre un disque n'a aucun lien avec sa capacité. Oui mais.... quoique.... !

Lors d'une reconstruction, nous sommes tous d'accord pour dire que les mécanismes des disques sont très sollicités que cela soit pour un petit ou pour un gros disque. Cependant, ce temps de reconstruction est proportionnel à la taille du disque. Plus le disque sera de taille importante et plus la reconstruction sera longue. C'est justement ce temps de reconstruction pendant lequel la mécanique est chauffée a blanc, qui augmente la probabilité qu'un ou plusieurs autres disques lâches. En d'autres termes, la reconstruction prendra que quelques heures pour un vdev pourvu de disques de 1To mais prendra plusieurs jours pour un vdev pourvu de disques de 10To. Plusieurs jours pendant lesquels la mécanique est mise à rude épreuve.

D'autant que dans la grappe certains disques seront moins vieux que d'autres ou plus fatigués que d'autres, et je ne parle pas de ceux qui auront mal vieilli et ceux qui auront un problème de fabrication. Et c'est donc tous ceux la qui seraient susceptible de rendre leur dernier souffle durant la reconstruction...

Alors je te concède qu'en RAID Z3 ça serait vraiment pas de chance si 3 disques venaient à expirer dans ce laps de temps critique d'une reconstruction. Mais même si statistiquement cette probabilité n'est pas nul, Je ne suis pas d'accord pour dire qu'elle est négligeable. C'était effectivement négligeable au siècle dernier, mais aujourd'hui compte tenu de l'augmentation autant vertigineuse que rapide des capacités des disques dur, ce n'est, à mon avis, plus du tout négligeable. Et ça le sera de moins en moins, car la reconstruction finira par demander au matériel 1 voire plusieurs semaines de travail intensif .

Bien évidemment et comme tu l'as dit, tout cela en partant du principe que le sys admin fait bien son travail....

Du coup, je vois une autre relation qui pourrait se profiler à l'horizon. Comme tu l'as dit, pour diminuer les "risques", nous serons contraint de diminuer le nombre de disques par vdev. Ce qui finira par ne plus laisser beaucoup de place pour les données au bénéfice de la redondance. Le prix du To de stockage réellement disponible pour les données va monter en flèche.

Ma question n'est qu'une "anticipation", et une recherche d'optimisation. Pour palier a ce problème, je fais cette suggestion de constituer 2 vdev en Raid Z3, et les 2 vdev en mirroir l'un de l'autre.

Mon idée est de conserver tout à la fois une bonne (excellente sécurité des données puisqu'on allie a la fois le Z3 et le mirroir) sécurité des données, de faciliter la reconstruction grâce au mirroir, et pour l'usage en fonctionnement normal bénéficier des temps d'accès aux données en lecture bien plus supérieur grâce encore au mirroir.


On ne rappellera jamais assez, que nous parlons bien de solutions techniques visant uniquement à augmenter la sécurité des données et en aucun cas de solutions qui permettraient de se passer de sauvegardes.
Toutes ces techniques, aussi évoluées et efficaces soient elles, ne peuvent autoriser a se soustraire à l'obligation de sauvegarde.



PS : je vois dans ta signature que tu as un boîtier DIY. Peux tu m'en dire un peux plus, as tu des photos ? merci

 

[Bidule0hm]

A moins que la pool soit remplie au max et extrêmement sollicitée il ne faut pas plusieurs jours pour reconstruire un vdev endommagé, même avec des disques de 10 To.

A noter également qu'une reconstruction n'est pas beaucoup plus intensive qu'une copie de fichier.

Les disques ayant un pb de fabrication sont censés avoir été éliminés lors du burn-in (morts infantiles) et on sait également qu'un disque n'ayant pas eu de problème pendant les 2 ou 3 premières années de sa vie durera très probablement largement au-delà des 5 ans. Sans compter que comme je le disais tout admin sys qui se respecte et ayant des contraintes aussi élevées que celles que tu décris va remplacer les disques préventivement, il ne va pas attendre qu'ils meurent de vieillesse.

Ok elle n'est pas nulle mais aucune proba n'est nulle. Sauf que là on parle d'un chiffre tellement faible que tu as une tonne d'autres soucis à régler (catastrophe naturelle, vol, incendie, alim qui lâche, ...) avant de t'inquiéter de celui-là.

Pour moi tu t'inquiètes beaucoup trop pour ce problème et pas assez pour tous les autres qui ont une proba bien plus élevée (et quand je dis bien plus élevée je parle de plusieurs ordres de grandeur) de se produire. Il faut quand même préciser que je suis quelqu'un d'extrêmement prudent qui préfère over-designer les choses que je fais plutôt que l'inverse (c'est pour ça qu'ici je suis quasi le seul à avoir un RAID-Z3 plutôt qu'un RAID-Z2 par ex) donc je ne prends pas ce genre de choses à la légère.

Tu ne peux pas mettre des vdevs en miroir, les vdevs sont toujours stripés entre eux. J'avais également eu l'idée mais aussi bien qu'il soit ZFS ne permet malheureusement pas de faire ça.

Les miroirs permettent uniquement d'avoir plus d'IO/s mais pas d'avoir une latence réduite (pour ça il y a l'ARC de ZFS ainsi que les SSD...).

J'ai jamais eu le temps de prendre des photos du boitier totalement terminé ni de faire un topic dédié sur sa réalisation mais j'ai des photos des premières étapes :

Show : Photos

Simu 3D que j'avais fait (très (très)) vite fait juste pour avoir les dimensions des planches:

C'était pas la bonne CM sur les photos précédentes, je l'avais juste utilisée pour les tests, voici la config définitive (avec notamment la double cage des disques) :

Il manque un tas de trucs (les cornières d'alu sur les arrêtes, le filtre et les grilles, la poignée du rack, ...) qui ont été ajoutés mais dont je n'ai pas eu le temps de faire les photos. Si t'as des questions n'hésite pas (je n'ai pas détaillé car c'est super long à écrire et je l'ai déjà fait plusieurs fois mais impossible de retrouver les posts, je hais la recherche de ce forum...) ;)

 

[christopheaprendlinux]

En fait, nous sommes alors 2 ici à avoir construit un NAS en Raid Z3. Et je suis étonné que le Raid Z3 ne soit pas plus utilisé.

Je suis moi aussi d'un naturel prudent, et bien que le coût ait toujours une inévitable place importance dans la réalisation d'un projet de ce genre, j'évite au maximum les économies de "bouts de chandelles" à la conception. Car 3 fois sur 4 on finit toujours par payer ces économies très chers. Et s'agissant de données informatique, les pertes pourraient même être irrécupérable.

J'ai aujourd'hui un NAS/SAN sous Freenas d'une capacité net de stockage de 24 To occupée à 76% (2 vdev de 6 disques). J'ai besoin de tripler cette capacité et donc je souhaite construire un nouveau NAS/SAN pour cet été en espérant utiliser FreeNas 10....

Quitte à repartir d'une une feuille blanche j'essaie de pousser mes réflexions le plus possible, histoire de pérenniser ma création. Ce qui explique ma question sur le forum.
Mes débuts de cogitations m'orienteraient vers 3 vdev de 8 disques soit 15 disques de 5To (je n'aime pas trop dépasser 80% de l'espace disponible).

Merci pour tes photos, je souhaitais connaître ton procéder pour fixer les disques. Car dans ce projet c'est bien évidemment l'implantation des disques dans le boîtier qui est le plus compliqué. D'autant que pour moi il s'agit de construire une machine avec 24 disques que je souhaite évolutive avec la possibilité d'ajouter une "baie" de disques de 24 emplacements supplémentaires par la fixation d'un "caisson" externe. Et le tout rackable, sinon ça serait pas drôle !!
Pour l'implantation des disques je sèche encore un peu même si j'ai dans l'idée, pour l'instant, d'utiliser des morceaux de caoutchouc anti-vibration à chaque point d'accroche des disques et sur les 2 cotés des vis. Je continue mes cogitations....

D'ou mes petites préoccupations.....

 

[Bidule0hm]

Il n'est pas plus utilisé car justement le RAID-Z2 est déjà super safe et les autres causes de perte de données (erreur humaine, incendie, ...) deviennent prépondérantes donc la plupart des membres jugent que le RAID-Z3 n'augmente pas significativement la fiabilité globale.

Yep, exactement, y'a certaines choses sur lesquelles on peut économiser mais d'autres sur lesquelles c'est une très mauvaise idée (l'alim par ex, énormément de personnes la néglige).

C'est une double cage avec la cage interne suspendue de manière souple pour amortir les vibrations transmises et donc le bruit (but premier du serveur: fiabilité, but second: silence). Mais ça demande pas mal d’ingénierie et il ne faut pas faire n'importe quoi sous peine d'abréger leur durée de vie. Là je suis au boulot donc je n'ai pas le temps de m'étendre mais ce soir (si j'y pense...) je pourrais détailler sans souci ;)

 

[Bidule0hm]

Pour détailler sur le montage des disques:

Idéalement un disque doit être monté le plus rigidement possible afin de ne pas vibrer lorsqu'il actionne ses mécanismes internes. Le problème c'est qu'en général les vibrations sont transmises au boitier qui agi comme une caisse de résonance, à moins qu'il soit extrêmement rigide et lourd...

Le problème dans 99% des cas dès qu'on cherche à absorber les vibrations est qu'on monte le disque de façon plus ou moins souple afin de le découpler du boitier ce qui lui permet de vibrer et donc a néfaste à sa durée de vie (au hasard les silent blocs en caoutchouc sont pas une bonne idée...).

La solution que j'ai choisi est d'utiliser l'inertie des disques eux-même comme système de montage rigide (i.e. ils sont montés de façon rigide les uns aux autres, leur poids et donc leur inertie simule un montage rigide face aux vibrations, surtout si leur fréquence est élevée) et de découpler l'ensemble par rapport au boitier par un montage souple (câbles avec ressorts, initialement je voulais mettre uniquement des ressorts mais je n'en avais pas qui avaient la bonne raideur donc j'ai modifié mes plans et le résultat est probablement similaire à du full ressort au final d'après ce que j'ai pu observer, c'est pour ça que je n'ai pas changé depuis). A noter que 4 disques sont montés dans un sens et les 4 autres dans l'autre sens afin d'éviter tout effet de couple (surtout au démarrage).

Je dois dire que c'est plutôt efficace et je ne pense pas qu'il soit possible de faire beaucoup mieux avec des moyens amateur donc je suis plutôt content :)

 

[christopheaprendlinux]

Y a quelque chose que je ne comprends pas.

Pour moi, le bruit n'est pas trop un problème car j'ai la chance d'avoir un local technique. Cependant, il faut protéger les disques des vibrations sous peine d'écourter sensiblement leur durée de vie.

Mais, alors pourquoi les constructeurs de boîtiers rackable pour les serveurs de stockage avec plusieurs dizaine d’emplacements ne prennent ils pas autant de précaution que nous autres en DIY ?

En effet, les disques sont vissés dans leur "tiroir' qui coulisse chacun dans son emplacement. Il n y a pas de ressort, silence bloc et autre matière plus ou moins caoutchouteuse pour atténuer les vibrations.

Pourquoi, nous autres makers DIY, devons nous nous prendre la tête sur un point alors que les industriels concepteurs de boîtiers ne le font pas ??

 

[Bidule0hm]

Pour ma part le bruit est un critère très important étant donné que je dors à 2 m du serveur...

Relis mon post STP: les silent blocs et autres amortisseurs sont mauvais pour la durée de vie du disque car ils atténuent les vibrations transmises au boitier mais du même coup permettent au disque de vibrer.

Donc justement, les constructeurs de boitiers rackables and co cherchent à avoir le montage le plus rigide possible (une autre raison dans ce cas là est également d'éviter les faux contacts dû aux vibrations au niveau du connecteur) et ne vont pas mettre d'amortisseur. Le bruit est évidemment pas un problème dans ce cas là car tout ce qui compte est la fiabilité, peu importe s'il faut mettre des protections auditives quand on entre dans le datacenter.

 

[Pitfrr]

@BiduleOhm: merci pour les photos! C'est sympa à voir comme montage et comme boitier fait maison. Et le coup du montage des disques est vraiment intéressant.
J'ai aussi regardé pour me faire un boitier maison mais je n'ai pas trop attaché d'importance à ce sujet (et puis la mécanique et moi... :-O). Au final les disques sont sur un support rigide et niveau bruit ca va. Mais ca sera un point à prendre en compte pour la prochaine fois! Merci.

 

[Bidule0hm]

De rien ;)

 

[christopheaprendlinux]

Bon j'ai plus qu'a retirer mes silence-bloc en caoutchouc et à visser directement les disques dur sur des glissières. 2 disques par par paire de glissières (pour sortir les 2 disques façon tiroir). Chaque disque monté l'un à l'inverse de l'autre. De cette manière les vibrations pourront "sortir" des disques et donc ne les endommageront pas. Pour le bruit je m'en fou un peu, mais je vais quand même essayer de l'atténuer.

 

[Bidule0hm]

Ben si c'est un boitier rackable il est très probable que tu n'entendes déjà pas du tout les disques vu le bruit que les ventilos doivent faire.