Conseils nouveau disque dans grappe

[Paul042020]

Bonjour à tous,
Je reviens vers vous avec quelques questions :

1] Je suis en train de refaire mes grappes de disque dur. J'ai actuellement 4 disques de 3To WD Red (ref : WD30EFRX) de mon ancien pool.
J'ai une opportunité d'acheter un disque de 4to WD Red Plus (ref : WD40efzx).
Je ne parle pas du dernier téra qui ne sera pas vu par le système, mais plutôt des caractéristiques techniques.
Sur la doc officielle (https://www.westerndigital.com/fr-f...uct-brief-western-digital-wd-red-plus-hdd.pdf), voir page 3/3.
On peut voir que le cache est de 128Mio pour celui que je souhaite acheter, alors que mes anciens 3To ont un cache de 64Mio.
Est-ce que ça pourrait poser un problème d'avoir un disque légèrement différent dans la grappe ?

2] Par ailleurs, dans cette documentation, je ne saisi pas bien la différence entre la puissance en mode "inactif" et en mode "veille et repos".
En effet la puissance consommée en mode "inactif" est très supérieure à la puissance consommée en mode "veille et repos". J'aurais cru le contraire.
Savez-vous en d'autres terme ce que signifient ces modes ?

3] Ma question ici : pensez-vous que je puisse continuer dans mon nouveau pool avec mes 4x3To, ou alors qu'il serait préférable d'ajouter ce 5ème disque dur maintenant ?
En effet actuellement j'ai 1800Go d'espace utilisé sur les 5600Go utilisables, soit environ 30% d'espace utilisé. Il me reste donc environ 70% d'espace libre.
Toutefois, si je prends en compte les "limitations" de ZFS qui apparaissent au delà de 80% d'espace utilisé, j'en suis à 1800Go d'espace utilisé sur 4500Go (80% de 5600Go), soit 40% d'espace utilisé. Il me reste donc 60% d'espace à remplir avant qu'il n'arrive le moment où je serais bloqué par les limitations de ZFS.

Par ailleurs mon taux de remplissage du pool (Go/an) n'est pas énorme. En prenant très très très large, environ 250Go/an, ce qui me laisse 10 ans avec le pool actuel avant que je n'atteigne les 80%.
Par ailleurs, le jour où je devrais remplacer mes anciens 4 disques de 3To, je les passerais tous en 4To (étant donné que j'aurais déjà un de 4To). Donc j'augmenterais de fait ce jour-là ma capacité globale de mon pool et mon espace disponible.
Je précise par ailleurs, je ne possède pas de disque en stock s'il en a un qui venait à lâcher, sachant que mes 4 anciens disque ont 6 ans (ils sont toujours au top).

En vous remerciant d'avance
Cordialement

 

[Pitfrr]

Bonjour,

1) Non, la différence au niveau du cache des disque n'aura pas un impact significatif.
Il y aura d'autres goulots d'étranglement avant...


2) Je ne suis pas familier avec ces termes mais vu les valeurs, je pense que la consommation en mode "inactif" est tout simplement lorsque le disque est allumé, tourne mais sans accès.
La consommation en mode "veille et repos" c'est lorsque le disque est arrêté (mais toujours sous tension).
La recommandation est de ne pas mettre les disques en veille pour un NAS (afin d'éviter qu'ils vieillissent prématurément), donc la consommation qui t'intéresse sera celle "inactif".


3) Difficile à dire, il faudrait que tu précises un peu plus la configuration de ton pool. D'après ce que tu dis, je suppose un volume en RAIDz2...
Tout est une question de vitesse de remplissage de ton volume. Si tu penses qu'avec le volume actuel tu es encore bon pour les 10 prochaines années alors il n'y a pas de nécessité. Au pire, tu pourras te reposer la question lorsque tu arriveras à 80%.
Par ailleurs, si tu rajoutes un 5ième disque tu risques d'avoir un problème: on ne peut pas ajouter un disque comme ça à un volume existant.

Il y a deux façons:

• même nombre de disques: on échange un à un les disques avec des disques de capacité plus grande et une fois tous les disques échangés, la capacité du volume est augmentée.
• on peut étendre un volume avec un autre volume mais il faut faire attention que ce nouveau volume ait la même redondance que celui existant sinon c'est très risqué pour les données.

Une bonne raison pour acheter un nouveau disque pourrait être pour faire des sauvegardes. Tu n'en parles pas dans ton post donc je ne sais pas ce que tu as de prévu à ce niveau là.

le jour où je devrais remplacer mes anciens 4 disques de 3To, je les passerais tous en 4To

A noter que si tu rachètes des disques dans 5 ans mettons, il y a fort à parier que des disques de 3 ou 4 To seront difficiles à trouver...

sachant que mes 4 anciens disque ont 6 ans

Il faut savoir que plus les disques sont âgés plus le risque de défaillance augmente (bien entendu cela dépend aussi d'autres facteurs comme la température, le nombre de démarrages/arrêts, ...).

 

[Paul042020]

Bonjour, merci pour tes réponses (1]). J'étais quasi sur de moi, mais avant de faire une connerie, on sait jamais.

Difficile à dire, il faudrait que tu précises un peu plus la configuration de ton pool.

Oui, effectivement raidz2.

Une bonne raison pour acheter un nouveau disque pourrait être pour faire des sauvegardes. Tu n'en parles pas dans ton post donc je ne sais pas ce que tu as de prévu à ce niveau là.

Oui, tout est ok de ce côté là, mes données sont bien sauvegardées ailleurs.

Tout est une question de vitesse de remplissage de ton volume.

Eh oui, la grosse question.!!
A contrario mettre un disque supplémentaire, c'est augmenter la capacité disponible, mais c'est aussi avoir un disques qui tournent presque pour "rien"...

on ne peut pas ajouter un disque comme ça à un volume existant.

Oui c'est pour cela que la question est plus complexe qu'elle n'y parait ;)

A noter que si tu rachètes des disques dans 5 ans mettons, il y a fort à parier que des disques de 3 ou 4 To seront difficiles à trouver.

Tu crois ? Je pensais effectivement cela il y a 5/6 ans quand j'ai acheté mes premiers disques. Finalement les 1To sont encore vendus aujourd'hui.
Et puis peut-être que les prix des ssd (x To) va finir pas baisser aussi... En terme de fiabilité global, lecture/écriture des données et de consommation d'énergie, c'est le top.

Il y a une seule chose que je n'ai pas mis en place et que j'aimerais mettre en place, ce sont les snapchots. Vous allez me dire que ça va dépendre, mais je n'ai aucune idée du volume qu'il faut envisager pour un instantané.

Cordialement

 

[Pitfrr]

Finalement les 1To sont encore vendus aujourd'hui.

Certes mais à quel prix (€/To)... Et il est probablement plus rentable d'acheter un disque de plus grande capacité.

Les SSD baissent en effet et d'ici 5 ans ils devraient être encore plus abordables.
Et effectivement ne plus avoir de parties mécaniques c'est vraiment un avantage.
Pour l'instant cela reste envisageable pour des volumes de petite capacité car dépasser le To avec un SSD reste encore un peu cher (comparativement à un disque mécanique bien sûr). Bon par contre, niveau performances, rien à voir mais là aussi pour un usage personnel c'est relativement limité.

Les snapshots: ben ils ne prennent pas de place et ils en prennent beaucoup! :-D
Comme ce sont des deltas, cela dépend de la quantité de données.

Je vais essayer d'illustrer:

On part sur un volume vide.
- Ecriture du fichier A de 1Go
- Snapshot 1 - taille: 1Go
- Ecriture du fichier B de 100Mo
- Snapshot 2 - taille: 100Mo
- Modification du fichier A (et on va dire que la taille reste à 1Go)
- Snapshot 3 - taille: 1Go
- Suppression du fichier A
- Snapshot 4 - taille 0o

Au final, la taille occupée par les fichiers est de 100Mo (il ne reste que le fichier B) mais la taille occupée par les snapshots est de 2,1Go.
On peut aussi configurer les snapshot avec une durée de rétention, donc genre supprimer les snapshots de plus de 6 mois ce qui permet de limiter l'espace occupé par les snapshots (mais limite aussi jusqu'à quand on peut "remonter" en arrière).

Perso, je te conseillerai de mettre en place les snapshots, c'est vraiment une sécurité supplémentaires. Cela permet de corriger les erreurs du type "ouups je viens de supprimer (ou modifier) ce fichier super important que je voulais pas toucher"!
Et offre aussi une protection supplémentaires contre les ransomwares.
Et ça peut être utile pour les sauvegardes par réplication (mais cela dépend de la manière dont les sauvegardes sont faites).

 

[Paul042020]

Bonjour,

Et offre aussi une protection supplémentaires contre les ransomwares.

C'est pour cela que je voulais mettre en place les snapshots. Mes sauvegardes sur DD externe n'étant pas très régulières car manuelles, je voulais effectivement pouvoir avoir une sécurité supplémentaire.
Ma stratégie c'était de faire un snapshot par semaine qui s'efface automatiquement au bout de 4 semaines et un snapshot par jour qui s'efface automatiquement au bout d'une semaine.


Comme ça les snapshots journaliers permettent de sauvegarder les changements quotidiens, ensuite, si jamais il arrivais un truc, j'ai encore les snapshots hebdomadaires qui me permettent de remonter à un mois en arrière. Et normalement si je fais bien mon boulot, après j'ai la sauvegarde sur le dd externe qui prends le relais. Et tous les 5/6 mois, j’intervertis ce disque de sauvegarde avec un autre disque de sauvegarde qui est géographiquement ailleurs.

JJe ne sais pas si cette stratégie est possible et quelle place ça représente.
En terme de volume de données, il peut y avoir pas grand chose par mois, comme "beaucoup", quand je vide les cartes mémoires des appareils photos, que je sauvegarde des reportages vidéos,... ça fait vite du volume.

Question : comment est vu un fichier qui change de répertoire ou un fichier qui change de nom ? C'est du volume en plus ou bien le snapshot est fait intelligemment par freenas ?
Vu que je fais pas mal de tri sur mon nas, il y a beaucoup de renommage et/ou déplacement de fichiers / répertoires.
Du coup, sur le volume de mes données personnelles il n'y a pas beaucoup de changements, mais vu des snapshots, qu'en est-il ?

Je reviens sur le disque que je viens d'acheté (ça y est), sur d'autres post tu parles de "rodage", qu'entends-tu par-là ?

Cordialement

 

[Pitfrr]

Oui c'est une bonne stratégie de faire des snapshots quotidien avec une semaine de rétention et ensuite un snapshot par semaine avec une durée de rétention plus longue.

Mes sauvegardes sur DD externe n'étant pas très régulières

Pour la rétention des snapshots, je te conseille d'avoir une période de rétention supérieure à tes sauvegardes externes.
Par exemple si, en moyenne tu fais une sauvegarde sur un disque externe tous les 2 mois, je te conseille de garder les snapshots 4 mois en gros.

Pour savoir la place que ça représente, le mieux c'est de tester cette stratégie de snapshot et tu verras bien!

comment est vu un fichier qui change de répertoire ou un fichier qui change de nom ?

Bonne question et j'en ai aucune idée! :-D
Je n'ai jamais vraiment regardé je dois dire mais je suppose que les snapshots ne sont pas "intelligents" donc si tu déplaces un répertoire et bien c'est comme si tu supprimais un fichier et que tu en recrées un ailleurs. Ce n'est qu'une supposition de ma part et je me trompe peut-être...
En pratique, si tu supprimes tes snapshots au bout d'un certain temps, cela devrait avoir un impact relativement limité. Temporairement un snapshot pourra te prendre beaucoup de place mais à un moment il va libérer cette place quand il sera supprimé.

tu parles de "rodage", qu'entends-tu par-là ?

Pour tout nouveau matériel (que ce soit neuf ou d'occasion), il est conseillé de faire un rodage. Cela s'applique à la RAM, au disque dur et éventuellement aussi au CPU (moins critique mais ça peut pas faire de mal).
Pour la RAM, l'idée est de la tester pour voir si elle fonctionne correctement (avec memtest86).
Pour les disques durs, l'idée est de stresser le disque (avec badblocks et les tests SMART) pour, s'il est neuf, éviter une mort infantile (en production) et, s'il est d'occasion, pour s'assurer qu'il est encore en forme. Ca peut prendre assez longtemps (surtout pour des gros disque, ça peut se compter en semaines).

 

[Paul042020]

Bonjour,
Je viens d'acheter un nouveau disque dur WD Red 4 To.
Tu as évoqué qu'il fallait stresser le disque avec Badblocks. Je ne connais pas cet utilitaire et il m'a l'air d'avoir pas mal d'options, je m'y perds un peu.
Ici , un tuto pas mal, mais je ne sais pas si c'est la procédure dont tu parles ?
Tu as également évoqué qu'il faudrait plusieurs semaines de test ?
Cordialement

 

[Pitfrr]

Bonjour,

Oui, le tuto que tu cites n'est pas vraiment pour faire le rodage...

Avant de rentrer dans le vif du sujet, un peu de littérature.
Il y a sur le forum une ressource concernant le rodage du matériel (pas que de disque) et qui pointe vers une autre ressource plus spécifique (un script en fait) pour le rodage des disques.

Personnellement, je n'utilise pas ce script... sans raison particulière, c'est juste que j'applique en gros le protocole suivant pour le rodage des disques que je lance "à la main":

• SMART court
• SMART long
• SMART court
• badblocks (minumum 3 passes)
• SMART court
• SMART long
• SMART court

Je lance cela depuis un terminal (en utilisant screen pour ne pas devoir laisser le terminal ouvert tout le temps).

Les tests SMART courts durent 2-3 minutes.
Les tests SMART long durent assez longtemps (lecture de toute la surface du disque), ça dépend de la taille du disque (15h pour un disque 8To si je me souviens bien, en gros).
Les tests SMART sont effectués en lecture seule (donc non destructifs), ils sont donc incomplets (mais conviennent pour la maintenance).

C'est pourquoi j'utilise aussi badblocks (en écriture donc en mode destructif) avec la ligne de commande suivante:
badblocks -b 4096 -v -p 3 -s -w /dev/da1
avec les paramètres:
/dev/da1: disque que l'on souhaite tester... la dénomination du disque peut varier selon le système et faut pas se planter donc le mieux c'est de retirer tous les autres disques pour éviter les catastrophes... (mais nooon, on a toujours des sauvegardes bien entendu!)
-b: avec un chiffre qui indique la taille des blocs: ça dépend des disques aussi et ça peut jouer sur la vitesse d'exécution. J'ai trouvé que 4096 était une bonne taille pour mes disques
- v: verbose: affiche plus de détails
- s: affiche la progression
- w: write: effectue le test en écriture (donc destructif)
- p: avec un chiffre qui indique le nombre de passes à effectuer. Il faut savoir qu'une passe (en mode destructif) est composée de:

• Ecrit toute la surface du disque avec le premier motif (motif: 0xAA)
• Lit toute la surface du disque (et vérifie le motif)
• Ecrit toute la surface du disque avec le deuxième motif (motif: 0x55)
• Lit toute la surface du disque (et vérifie le motif)
• Ecrit toute la surface du disque avec le troisième motif (motif: 0xFF)
• Lit toute la surface du disque (et vérifie le motif)
• Ecrit toute la surface du disque avec le quatrième motif (motif: 0x00)
• Lit toute la surface du disque (et vérifie le motif)

Donc si pour lire toute la surface, le disque met 15h (et en supposant que la durée d'écriture est à peu près équivalente), pour compléter une passe il faudra: 15h x 8 = 120h donc 5 jours. Pour 3 passes, il faudra 15 jours....
Comme j'ai pris des valeurs pour un disque de 8To, je suppose que pour un de 4To, c'est deux fois moins, donc 7.5 jours.

 

[Paul042020]

ouaa , il y a beaucoup d'informations sur la page du rodage du matériel...
Par exemple, l'auteur dit qu'il faut s'intéresser à comment sont remontées les erreurs (bios,IPMI, OS), j'avoue que je me suis déjà posé la question, mais je ne sais toujours pas comment ça se passe, et si tout est m'est communiqué. Freenas m'a déjà remonté des dépassements de températures disques (seuil à 41°C), du coup je me suis dit que je serai averti pour d'autres problèmes, mais sans vraiment grande certitude, d'autant plus qu'il est difficile de simuler une erreur ECC par exemple.

Merci pour ton protocole. Je vais suivre ta méthode.
A moins qu'il y ait une contre-indication, vu le temps qu'il faut je vais effectuer les passages badblocks en plusieurs fois séparé. Je ne sais pas s'il y a un avantage à faire cela, mais je pourrais modifier la taille des blocks pour chaque passage, par exemple : un passage à 512, un passage à 1024 (valeur défaut de badblocks), un passage 2048 et finir par un passage à 4096.
Qu'en penses-tu ? Mauvaise idée ?

 

[Pitfrr]

Alors pour les remontées bios, IPMI, ... je sais pas trop...
Je veux dire par là que c'est assez dépendant du matériel que tu as et toutes les infos ne seront pas disponibles.
Pour ma part, ce qui m'importe le plus c'est les infos des disques et pour cela SMART est suffisant (je trouve). Bon éventuellement la température CPU en bonus...
Ma compréhension des erreurs ECC est la suivante (en gros): si une erreur se produit et qu'elle est corrigée, alors c'est transparent (c'est probablement enregistré dans un log du système mais qui va aller voir...). Si une erreur se produit et qu'elle n'est pas corrigible, le système se plante (volontairement pour éviter que l'erreur soit propagée, après on peut aller voir dans les logs (IPMI ou autre) pour connaitre la raison du plantage).

Pour trouver le bon compromis en taille de blocs, il y a ce thread qui en parle.
Par ailleurs ce post donnera quelques informations et il y a un lien vers un script pour trouver un bon compromis. Apparemment l'option -c (nombre de blocks testés en même temps) peut avoir une influence (je ne me souviens plus si j'avais testé ce paramètre... faudra que je teste ça la prochaine fois que je jouerai avec badblocks!).

Sinon, tu peux utiliser smartclt ou diskinfo pour avoir la taille des blocks.

• smartclt -a /dev/da2 par exemple (pour le disque da2) au début, tu trouveras la ligne Sector Sizes et ce qui t'intéresse c'est la taille physique.
  === START OF INFORMATION SECTION === Model Family: Western Digital Ultrastar He10/12 Device Model: WDC WD80EMAZ-00WJTA0 Serial Number: 4ECYFBYZN LU WWN Device Id: 5 000cca 27ecd82bb Firmware Version: 83.H0A83 User Capacity: 8,001,563,222,016 bytes [8.00 TB]
Sector Sizes: 512 bytes logical, 4096 bytes physical Rotation Rate: 5400 rpm Form Factor: 3.5 inches Device is: In smartctl database [for details use: -P show] ATA Version is: ACS-2, ATA8-ACS T13/1699-D revision 4 SATA Version is: SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s) Local Time is: Wed Apr 27 11:54:46 2022 CEST SMART support is: Available - device has SMART capability. SMART support is: Enabled
• ou diskinfo -v /dev/da2 qui te donnera la taille des secteurs (mais là c'est la taille logique) et faut regarder la valeur pour stripsize qui donne la taille physique des blocs:
  da2 512 # sectorsize 8001563222016 # mediasize in bytes (7.3T) 15628053168 # mediasize in sectors 4096 #stripesize 0 # stripeoffset 972801 # Cylinders according to firmware. 255 # Heads according to firmware. 63 # Sectors according to firmware. 4ECYFBYZN # Disk ident.

Je pense que ça vaut le coup de faire quelques tests vite fait avant pour trouver un bon paramètre (tu n'es pas obligé d'effectuer une passe complète) car si tu attends de le faire entre chaque passe, ça risque de te prendre trèèès longtemps surtout si tu as un paramètre qui ralenti fortement la progression.
Je ne vois pas l'intérêt de faire les passes en séparées. L'avantage de faire en une fois, tu n'as pas à t'en occuper (quand relancer la passe suivante) et tu vérifies juste de temps en temps si y'a pas d'erreur...

 

[Paul042020]

Merci pour toutes ces infos, je vais potasser tout ça. Mais j'avoue que je commence à être largué au niveau technique.

 

[Pitfrr]

Bah écoute, regarde un peu de ton côté et n'hésite pas à repasser si tu as des questions et on essayera d'éclaircir ça.

 

[Paul042020]

Bonjour,
je viens donner quelques nouvelles.
J'ai testé mon nouveau disque. Voici le protocole que j'ai suivi :


Dashboard (logiciel officiel Western Digital)
=> Test SMART court
=> Test SMART étendu

badblocks
=> sudo badblocks -v -p 1 -s -w /dev/sdb

gnome-Disk-utility
=>Test SMART étendu

badblocks
=> sudo badblocks -b 4096 -v -p 1 -s -w /dev/sdb
=> sudo badblocks -b 2048 -v -p 1 -s -w /dev/sdb
=> sudo badblocks -b 4096 -v -p 1 -s -w /dev/sdb

Dashboard (logiciel officiel Western Digital)
=> Test SMART court
=> Test SMART étendu

Chaque passage de badblock a pris environ 1,5 à 2 jours.
Tout s'est bien passé pour moi

Je ne sais pas si cela a du sens , mais j'ai voulu faire un passage pour plusieurs tailles de bloc de données 1024 (par défaut), 2048 et 4096 octets. J'ai tenté 512 octets, mais le logiciel n'a pas voulu.

 

[Pitfrr]

Content que tout se soit bien passé!
Au total tu as fais 4 passes avec badblocks, c'est bien, plus les tests SMART, ça devrait être bon...

Je ne sais pas si cela a du sens , mais j'ai voulu faire un passage pour plusieurs tailles de bloc de données

Alors non, cela ne fait pas vraiment de différence.
En fait, la taille des blocs va influencer la vitesse d'exécution de badblocks.
Il faut trouver la bonne valeur pour le disque.
La valeur par défaut est souvent un bon compromis.

Si tu prends une valeur trop différente par rapport à la taille des blocs du disque alors ton test peut durer beaucoup plus longtemps (genre le double je crois voir même plus).
J'ai vu des scripts qui permettent de trouver la taille la plus efficace mais en pratique, je teste rapidement avant pour voir ce que ça donne quand j'ai des nouveaux disques.