Restauration possible apres reformatage ?

[Beux]

Bonjour

Utilisateur convaincu de ZFS depuis 7 ou 8 ans, après avoir testé beaucoup de filer sous Linux (OpenMediaVaullt, Openfiler, mdam likes...), j'ai testé nas4free et freenas.
Armé d'une carte SAS/SATA 6GB LSI chip 2008 flashée en passthrough, au début 3 hdds dessus, maintenant 6 à 8 devices.
L'idée de départ était de me faire un lab pour tester des $'trucs', avec plusieurs hyperviseurs. ZFS étant le FS parfait pour la virtualisation, bossant sur du vmware (et dans le but de prendre su skill pour me certifier), je me suis fait l'infra suivante :

- 1 ESXi maitre allumé 24/24 en I7 avec 32GO de DDR3 avec 2 ports PCIe
+ carte IBM 1015 qui est une LSI 9260 8i de méméoire
+ carte Infiniband Mellanox DDR (20Gb/s) par port, 2 ports
- 2 autres ESXi utilisés diskless au sens VmWare booté sur clefs USB avec 24 et 12Go de RAM (poste de travail ou jeux avec SSD) reliés en Infiiband à 20Gb/s et latence à la nanoseconde

VM Freenas avec accès vt-d à la carte SAS/SATA sur l'ESXi principal entre 6 et 10 de RAM réservée/allouée

Je pourrais vous faire part de près de 100 benchs sur des conf réalisées sur différents hardware coté Freenas ou ESXi, et les 2 conbinés... Avec plus ou moins de vRAM, de vCPU, de taille de bloc sur les Zvols, ... Je bosse plus ou moins là-dedans et j'ai même fais des CR en powerpoint basés sur iozone que je présentais au collègues...

Depuis une VM W7 exécutée sur un ESXi sans datastore local (ESXi 5.5 sur clef USB), hdd de la vm dans un datasore pointant en iSCSI via infinband à un zpool sur l'ESXi principal exécutant freenas, je suis monté à des pics à quasi 2Go/s en ecriture séquentielle vers une LUN dédiée accédée par la client Windows iSCSI. Dément, puissant et robuste !

Donc actuellement j'ai une grappe raidz1 de 5*2To Maxtor Red et red Pro + mes vieux SSDs pour y stocker des SGBD (les 8 ports sont occupés).

Et alors qu'en ce moment mon hdd de backup en USB à été pété par un gosse donc HS donc no backup (le temps d'en racheter un autre), il m'a pris l'envie de tester comme hyperviseur Proxmox sur mon hyperviseur maitre qui pour rappel tourne H24. Proxmox, c'est un gars de chez Red Hat au taf qui m'en a vanté les mérites, sous Linux, KVM, ZFS, docker, CEPH, ... Out of Box, ça s'annonce plutôt bien tout çà ! Du coup, afin de ne pas flinguer mon système qui est stable et maitrisé depuis plusieurs années sous VmWare, j'ai mis un autre SSD en SATA sur la carte mère de mon ESXi principal pour installer PROXMOX VE 4.4.

Donc la semaine dernière, grand jour, j'ai enfin le temps de tester çà, l'installeur de proxmox est simple et concis.
Sauf que cet "En..lé" de Proxmox de $Mierda, voulant hériter potentiellement directement de mes données en ZFS sans passer par une VM Freenas en passtrough, lorsque tu sélectionnes la destination de l'install en raidz0, de base il me sélectionne 4 devices (la carte SAS a 2 cables de 4 ports SATA). Je désélectionne les 3 Hdds utilisés sur ma grappe ZFS raidz1 , je ne laisse cocché que le SSD de 60Go.
Reboot en fin d'install et là, dès les premières IHM sur la webUI, what the fuck, 6To d'espace local ZFS !
Cet Enculé a écrasé sans me prévenir 3hdds sur les 5 qui composent ma grappe principale de 10To.

Dans le désastre je perds (je dématérialise un max, j'ai un scanner par lot de dingue au taf, donc le courrier une fois scanné c'est poubelle)
- salaires
- impôts
- dossier de santé (et j'ai un eu un tas d'accidents !)
- tout mon taf informatique (SGBD, certificats, Benchs, DAT, ..., ... ,... , grrrr)
- tout le code lié à mes projets domotique équipant plusieurs domiciles
- photos perso
- musique
- films
- ...

Bon j'arrête de raconter ma vie mais pour vous dire que voilà, est -il possible de scanner le contenu de la partition ZFS écrasée par une nouvelle, et en plus même si l'OS de promox est léger, il s'est installé (en écrivant de nouvelles données) sur 3 Hdds en écrasant la partition ZFS de mes données perso ???

A mon avis je l'ais dans le cul mais bon je tente ici...

J'espère qu'un sauveur me lira...
A votre bon coeur

 

[boxeman]

hello

un pool en raidz1 avec 3 disques ayant des données réécrites même en partie...sans être expert, ça semble bien mort.
tu es bien sur que ton pool où il y a tes données critiques n' as pu être montée ? en ligne de commande, tu vois bien le pool dans un status non recoverable ( il doit te dire un truc genre insufisient replicas)?

tu ne pourrais pas essayer d'envoyer le disque USB dead à un service pro de récupération de données ? ca peut couter quelques centaines a qq milliers de €, mais vu ce que tu as perdu...

sans remuer le couteau dans la plaie, ou donner des leçons, tu as quand même commis de multiples erreurs pour quelqu'un du métier:
- mélanger systèmes de tests et données critiques
- ne pas débrancher les disques ou la carte à ne pas utiliser lors de l'install d'un produit
- avoir peu de sauvegardes/copies sur de multiples systèmes différents ( cloud/nas/disques externes)
- jeter les version papiers de documents très importants ( fiches de salaire, trucs de maladies, etc) .. le papier est une forme de sauvegarde.
- ne pas tenir compte de la loi de l'emmerdement maximum ( ton disque de sauvegarde lâche.... l'unique prio c'est régénérer un backup viable et ne pas toucher à l'existant).

d'une certaine manière, en publiant ton problème, tu vas probablement aider d'autres personnes à prendre conscience de la fragilité de leurs données...

 

[Beux]

Par rapport à tes remarques boxeman (et déjà merci pour ton retour) :
-mélanger systèmes de tests et données critiques :
N'ayant que peu de budget et en // du facteur WAF, c'était prévu comme cela depuis le départ, le design de mon infra fut basé sur cette hypothèse, j'avais donc prévu une isolation par zvol/dataset pour séparer le perso de mon lab de POC.
- ne pas débrancher les disques ou la carte à ne pas utiliser lors de l'install d'un produit :
J'avoue là j'ai bien merdé, ne pas faire de tests (meme si identifiés peu critiques) en mode crevé à 00h30 pour découvrir au réveil une sacrée merde !
- avoir peu de sauvegardes/copies sur de multiples systèmes différents ( cloud/nas/disques externes) :
là aussi fautif, je n'aurais jamais du tester des choses sans avoir un backup concistant à jour, pour ma défence, toujours un soucis de budget, hdd 2,5" niqué par un gosse à une copine y'a + ou - un mois, j'attendais les $$$ pour me ré-équiper. Soucieux de la sécurité de mes données, si je suis parti sur une solution consistant à me monter un IAAS privé, ce n'est pas pour stocker mes backup (meme chiffré et encore si cela sert, cf affaire récente windsor blue) dans un cloud public...
- jeter les version papiers de documents très importants ( fiches de salaire, trucs de maladies, etc) .. le papier est une forme de sauvegarde :
je prends note mais lorsque tu déménages souvent et dans des logements exigus, compliqué d'avoir toute la bibliothèque de tes docs perso importants sous la main en papier (plusieurs procédure judiciaire en cours pour des AVP, donc beaucoup de dossier à constituer avec plein de documents) ... J'ai bossé sur de gros projets de dématérialisation dans le secteur bancaire, si eux considèrent que le papier est désuet alors...
-ne pas tenir compte de la loi de l'emmerdement maximum
cf point au dessus, need $$$ pour racheter un hdd de backup en USB > 4To

Et sinon, je ne pensais pas qu'il y avait autant d'implementation ZFS différente, je m'imaginais naivement que proxmox allait pouvoir importer mes grappes ZFS crées sous Freenas, les features ZFS supportées c'est un peu la loterie suivant l'implémentation.
Genre ZFS fourni par solaris n'a pas la meme implémentation en x86 et Itanium ...

Le fait qu'en selectionannt un backend d'install en raidz0, il m'a selectionné automatiquement 3 hdds de ma grappe zfs crée sous freenas et le ssd. J'ai déselectionné les 3 hhds et je suis parti dans les menus avancés pour vérifier la taille de bloc par défaut (ashift 12, dedup off, compress on, ...); je me dis que les tests fait par proxmox sur l'installeur graphique n'ont pas pris en compte le séquensage dans les menus tel je l'ai fait, l'installeur ne résummant pas les paramètre d'install av de lancer, impossible de voir qu'il allait s'installer sur 4 devices au lieu d' 1...

On peut donc voir ci dessous que Proxmox doit faire du zfs via les drivers fuse, il crait donc les partitions de type "Solaris /usr & Apple ZFS" alors que freenas 9.10 fait du "FreeBSD ZFS"

Je suppose que vu que zfs permet de définir la taille de bloc par défaut, on ne peut connaitre la structure de la partition zfs et donc utiliser des softs qui parcourent tous les blocs des mes disques sur lesquels les partitions ont été écrasées.
Je ne fais rien sur mon infra avant d'etre sur que c'est bien impossible, c'était la raison premiere de mon post...

Voici ce que je vois désormais sur mon install Proxmox :

root@pve:~# zpool status -v
pool: rpool
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
sdh2 ONLINE 0 0 0
sdc ONLINE 0 0 0
sdd ONLINE 0 0 0
sde ONLINE 0 0 0

errors: No known data errors

root@pve:~# zpool history
History for 'rpool':
2017-05-16.22:45:40 zpool create -f -o cachefile=none -o ashift=12 rpool /dev/sdb2 /dev/sde /dev/sdf /dev/sdg
2017-05-16.22:45:40 zfs create rpool/ROOT
2017-05-16.22:45:40 zfs create rpool/data
2017-05-16.22:45:40 zfs create rpool/ROOT/pve-1
2017-05-16.22:45:41 zfs set atime=off rpool
2017-05-16.22:45:41 zfs set compression=on rpool
2017-05-16.22:45:41 zfs create -V 4849664K -b 4K rpool/swap
2017-05-16.22:45:41 zfs set com.sun:auto-snapshot=false rpool/swap
2017-05-16.22:45:41 zfs set sync=always rpool/swap
2017-05-16.22:45:41 zfs set copies=1 rpool/swap
2017-05-16.22:45:41 zfs set sync=disabled rpool
2017-05-16.22:48:37 zfs set sync=standard rpool
2017-05-16.22:48:38 zfs set mountpoint=/ rpool/ROOT/pve-1
2017-05-16.22:48:43 zpool set bootfs=rpool/ROOT/pve-1 rpool
2017-05-16.22:58:55 zpool import -N rpool
2017-05-16.23:10:53 zpool import -N rpool
2017-05-16.23:53:06 zpool import -N rpool
2017-05-17.00:14:02 zpool import -N rpool
2017-05-19.02:22:19 zpool import -N rpool
2017-05-22.22:34:17 zpool import -N rpool

root@pve:~# fdisk -l
Disk /dev/sda: 1.8 TiB
Device Start End Sectors Size Type
/dev/sda1 128 4194431 4194304 2G FreeBSD swap
/dev/sda2 4194432 3907029127 3902834696 1.8T FreeBSD ZFS

Disk /dev/sdb: 1.8 TiB
Device Start End Sectors Size Type
/dev/sdb1 128 4194431 4194304 2G FreeBSD swap
/dev/sdb2 4194432 3907029127 3902834696 1.8T FreeBSD ZFS

Disk /dev/sdc: 1.8 TiB
Device Start End Sectors Size Type
/dev/sdc1 2048 3907012607 3907010560 1.8T Solaris /usr & Apple ZFS
/dev/sdc9 3907012608 3907028991 16384 8M Solaris reserved 1

Disk /dev/sdd: 1.8 TiB
Device Start End Sectors Size Type
/dev/sdd1 2048 3907012607 3907010560 1.8T Solaris /usr & Apple ZFS
/dev/sdd9 3907012608 3907028991 16384 8M Solaris reserved 1

Disk /dev/sde: 1.8 TiB
Device Start End Sectors Size Type
/dev/sde1 2048 3907012607 3907010560 1.8T Solaris /usr & Apple ZFS
/dev/sde9 3907012608 3907028991 16384 8M Solaris reserved 1


Personne donc n'aurait conaissance d'un soft permettant de reconstruire les données sur une partition ZFS écrasée, tel qu'il en exsite pour du NTFS/FAT/ext3 ou 4, ... ?Par rapport à tes remarques boxeman (et déjà merci pour ton retour) :
-mélanger systèmes de tests et données critiques :
N'ayant que peu de budget et en // du facteur WAF, c'était prévu comme cela depuis le départ, le design de mon infra fut basé sur cette hypothèse, j'avais donc prévu une isolation par zvol/dataset pour séparer le perso de mon lab de POC.
- ne pas débrancher les disques ou la carte à ne pas utiliser lors de l'install d'un produit :
J'avoue là j'ai bien merdé, ne pas faire de tests (meme si identifiés peu critiques) en mode crevé à 00h30 pour découvrir au réveil une sacrée merde !
- avoir peu de sauvegardes/copies sur de multiples systèmes différents ( cloud/nas/disques externes) :
là aussi fautif, je n'aurais jamais du tester des choses sans avoir un backup concistant à jour, pour ma défence, toujours un soucis de budget, hdd 2,5" niqué par un gosse à une copine y'a + ou - un mois, j'attendais les $$$ pour me ré-équiper. Soucieux de la sécurité de mes données, si je suis parti sur une solution consistant à me monter un IAAS privé, ce n'est pas pour stocker mes backup (meme chiffré et encore si cela sert, cf affaire recente windsorgreen) dans un cloud public...
- jeter les version papiers de documents très importants ( fiches de salaire, trucs de maladies, etc) .. le papier est une forme de sauvegarde :
je prends note mais lorsque tu déménages souvent et dans des logements exigus, compliqué d'avoir toute la bibiothèque de tes docs perso importants sous la main en papier (plusieurs procédure judicaire en cours pour des AVP, donc beaucoup de dossier à constituer avec plien de documents) ... J'ai bossé sur de gros projets de dématérialisation dans le secteur bancaire, si eux considèrent que le papier est désuet alors...
-ne pas tenir compte de la loi de l'emmerdement maximum
cf point au dessus, need $$$ pour racheter un hdd de backup en USB > 4To

Et sinon, je ne pensais pas qu'il y avait autant d'implementation ZFS différente, je m'imaginais naivement que proxmox allait pouvoir importer mes grappes ZFS crées sous Freenas, les features ZFS supportées c'est un peu la loterie suivant l'implémentation.
Genre ZFS fourni par solaris n'a pas la meme implémentation en x86 et Itanium ...

Le fait qu'en selectionannt un backend d'install en raidz0, il m'a selectionné automatiquement 3 hdds de ma grappe zfs crée sous freenas et le ssd. J'ai déselectionné les 3 hhds et je suis parti dans les menus avancés pour vérifier la taille de bloc par défaut (ashit 12, dedup off, compress on, ...); je me dis que les tests fait par proxmox sur l'installeur graphique n'ont pas pris en compte le séquensage dans les menus tel je l'ai fait, l'installeur ne résummant pas les paramètre d'install av de lancer, impossible de voir qu'il allait s'installer sur 4 devices au lieu d' 1...

On peut donc voir ci dessous que Proxmox doit faire du zfs via les drivers fuse, il crait donc les partitions de type "Solaris /usr & Apple ZFS" alors que freenas 9.10 fait du "FreeBSD ZFS"

Je suppose que vu que zfs permet de définir la taille de bloc par défaut, on ne peut connaitre la structure de la partition zfs et donc utiliser des softs qui parcourent tous les blocs des mes disques sur lesquels les partitions ont été écrasées.
Je ne fais rien sur mon infra avant d'etre sur que c'est bien impossible, c'était la raison premiere de mon post...

Voici ce que je vois désormais sur mon install Proxmox :

root@pve:~# zpool status -v
pool: rpool
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
sdh2 ONLINE 0 0 0
sdc ONLINE 0 0 0
sdd ONLINE 0 0 0
sde ONLINE 0 0 0

errors: No known data errors

root@pve:~# zpool history
History for 'rpool':
2017-05-16.22:45:40 zpool create -f -o cachefile=none -o ashift=12 rpool /dev/sdb2 /dev/sde /dev/sdf /dev/sdg
2017-05-16.22:45:40 zfs create rpool/ROOT
2017-05-16.22:45:40 zfs create rpool/data
2017-05-16.22:45:40 zfs create rpool/ROOT/pve-1
2017-05-16.22:45:41 zfs set atime=off rpool
2017-05-16.22:45:41 zfs set compression=on rpool
2017-05-16.22:45:41 zfs create -V 4849664K -b 4K rpool/swap
2017-05-16.22:45:41 zfs set com.sun:auto-snapshot=false rpool/swap
2017-05-16.22:45:41 zfs set sync=always rpool/swap
2017-05-16.22:45:41 zfs set copies=1 rpool/swap
2017-05-16.22:45:41 zfs set sync=disabled rpool
2017-05-16.22:48:37 zfs set sync=standard rpool
2017-05-16.22:48:38 zfs set mountpoint=/ rpool/ROOT/pve-1
2017-05-16.22:48:43 zpool set bootfs=rpool/ROOT/pve-1 rpool
2017-05-16.22:58:55 zpool import -N rpool
2017-05-16.23:10:53 zpool import -N rpool
2017-05-16.23:53:06 zpool import -N rpool
2017-05-17.00:14:02 zpool import -N rpool
2017-05-19.02:22:19 zpool import -N rpool
2017-05-22.22:34:17 zpool import -N rpool

root@pve:~# fdisk -l
Disk /dev/sda: 1.8 TiB
Device Start End Sectors Size Type
/dev/sda1 128 4194431 4194304 2G FreeBSD swap
/dev/sda2 4194432 3907029127 3902834696 1.8T FreeBSD ZFS

Disk /dev/sdb: 1.8 TiB
Device Start End Sectors Size Type
/dev/sdb1 128 4194431 4194304 2G FreeBSD swap
/dev/sdb2 4194432 3907029127 3902834696 1.8T FreeBSD ZFS

Disk /dev/sdc: 1.8 TiB
Device Start End Sectors Size Type
/dev/sdc1 2048 3907012607 3907010560 1.8T Solaris /usr & Apple ZFS
/dev/sdc9 3907012608 3907028991 16384 8M Solaris reserved 1

Disk /dev/sdd: 1.8 TiB
Device Start End Sectors Size Type
/dev/sdd1 2048 3907012607 3907010560 1.8T Solaris /usr & Apple ZFS
/dev/sdd9 3907012608 3907028991 16384 8M Solaris reserved 1

Disk /dev/sde: 1.8 TiB
Device Start End Sectors Size Type
/dev/sde1 2048 3907012607 3907010560 1.8T Solaris /usr & Apple ZFS
/dev/sde9 3907012608 3907028991 16384 8M Solaris reserved 1


Personne donc n'aurait conaissance d'un soft permettant de reconstruire les données sur une partition ZFS écrasée, tel qu'il en exsite pour du NTFS/FAT/ext3 ou 4, ... ?

 

[boxeman]

Appliquer la dématérialisation comme des grands compte, ok mais en multipliant les petits pains...(nas/cloud/disques externes, ET dans des endroits séparés)....
Franchement, le risque de hack de données dans un cloud est aussi à comparer si un margoulin te vole tes disques externes, ton NAS... ou si tu as un incendie ou un gros dégât des eaux...
sinon un vps stockage 50GB, RAID1 me coûte 6$/mois (paiement paypal)..bon c'est en Russie.... mais je doutes que mes fiches de paie, courriers importants ,mes factures & garanties intéressent les services secrets russes ou le fournisseur s'ils arriver à décrypter les partitions.

essais d'obtenir un devis de reparation du disk usb, si tu ne l'a pas jeté...
un soft de reconstruction zfs avec des données manquantes au delà du scrub....je ne pense pas que cela existe....il n' y a déjà pas d'outils de defrag ...

il me vient une idée probablement bête, mais... si les disques du pool initial sont les mêmes que ceux qui ont été récrits ...
à tester d'abord en VM pour recréer ton problème ...! si tu as noté les infos des partitions de tous les disques, les gptid de ces partitions, y a peu être quelque chose à tenter...
essais de recréer la même partition GPT que les disques non touchés...
avec des commandes du style :
gpart create -s GPT xxx (xxx ton disk ecrasé ... ada0 da0 ou autre)
gpart add -t partition type -i ID xxx
ensuite trouve les gptid des partitions freebsd-zfs via "glabel list"
et tente de remplacer les gptid des membres manquants du vdev par les numéro de gptid recrée ( le problème c'est de savoir quel était l'ancien gptpid par disk à moins que l'id ne soit pas aléatoire ...et sois le meme quand la partition est recrée...je ne sais pas..)
si les données n'ont pas été altérés dans les anciennes partitions, peu être que...
-> bien maquetter sur une VM !:p

 

[Beux]

Merci pour ton retour

Le soucis avec ta démarche (que je vais etudier ce weekend) est que l'install de Proxmox a écrit 700Mo sur le pool raidz0 crée. Si il avait seulement écrasé les partitions, en refaisant le MBR/GPT des disques avec les vielles infos de mes anciennes partitions ca passerai, mais là le fait qu'il ait reformatté et ecrit des données dessus, je doute...

Pour ce qui est des infos de comment j'ai crée tout ca, bien sur je le sauvegardais sur ma grappe détruite...
Mais dans mes mails de supervision, j'ai çà

NAME STATE READ WRITE CKSUM
beux-storage ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
gptid/10cc5a52-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0
gptid/112f87fa-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0
gptid/1193eb1d-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0
gptid/1222cff3-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0
gptid/12e3ad52-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0

Checking status of zfs pools:
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
beux-storage 9.06T 3.43T 5.63T - 16% 37% 1.00x ONLINE /mnt
freenas-boot 7.94G 784M 7.17G - - 9% 1.00x ONLINE -

Merci en tout cas de tes réponses

 

[Beux]

Yearh boxeman

Tu es mon sauveur (bon même si j'avais une petite idée de comment tester)

J'ai de nouveau accès à ma grappe raidz1 sous freenas 9.10

Promox a créer les partitions ZFS en début de disque alors que freenas y place une partition de swap de 2Go.
Du coup, les 700Mo écrit par l'installeur de Proxmox (réparti sur 4 disques:1SSD et 3 hdds) n'ont pas été écrit sur des données écrites sous freenas.
Trop de chatte !

Et cela m'a servi de leçon, mon backup externe sera remplacé dès demain (quitte a moins prendre de congés !)


[root@freenas] /# gpart show
=> 34 33554365 da0 GPT (16G)
34 1024 1 bios-boot (512K)
1058 6 - free - (3.0K)
1064 33553328 2 freebsd-zfs (16G)
33554392 7 - free - (3.5K)

=> 34 3907029101 da1 GPT (1.8T)
34 94 - free - (47K)
128 4194304 1 freebsd-swap (2.0G)
4194432 3902834696 2 freebsd-zfs (1.8T)
3907029128 7 - free - (3.5K)

=> 34 3907029101 da2 GPT (1.8T)
34 2014 - free - (1.0M)
2048 3907010560 1 !6a898cc3-1dd2-11b2-99a6-080020736631 (1.8T)
3907012608 16384 9 !6a945a3b-1dd2-11b2-99a6-080020736631 (8.0M)
3907028992 143 - free - (72K)

=> 34 3907029101 da3 GPT (1.8T)
34 94 - free - (47K)
128 4194304 1 freebsd-swap (2.0G)
4194432 3902834696 2 freebsd-zfs (1.8T)
3907029128 7 - free - (3.5K)

=> 34 3907029101 da4 GPT (1.8T)
34 2014 - free - (1.0M)
2048 3907010560 1 !6a898cc3-1dd2-11b2-99a6-080020736631 (1.8T)
3907012608 16384 9 !6a945a3b-1dd2-11b2-99a6-080020736631 (8.0M)
3907028992 143 - free - (72K)

=> 34 3907029101 da5 GPT (1.8T)
34 2014 - free - (1.0M)
2048 3907010560 1 !6a898cc3-1dd2-11b2-99a6-080020736631 (1.8T)
3907012608 16384 9 !6a945a3b-1dd2-11b2-99a6-080020736631 (8.0M)
3907028992 143 - free - (72K)

[root@freenas] /# gpart delete -i 1 da2
da2p1 deleted
[root@freenas] /# gpart delete -i 9 da2
da2p9 deleted
[root@freenas] /# gpart delete -i 9 da4
da4p9 deleted
[root@freenas] /# gpart delete -i 1 da4
da4p1 deleted
[root@freenas] /# gpart delete -i 1 da5
da5p1 deleted
[root@freenas] /# gpart delete -i 9 da5
da5p9 deleted
[root@freenas] /# gpart destroy da2
da2 destroyed
[root@freenas] /# gpart destroy da4
da4 destroyed
[root@freenas] /# gpart destroy da5
da5 destroyed
[root@freenas] /# gpart show
=> 34 33554365 da0 GPT (16G)
34 1024 1 bios-boot (512K)
1058 6 - free - (3.0K)
1064 33553328 2 freebsd-zfs (16G)
33554392 7 - free - (3.5K)

=> 34 3907029101 da1 GPT (1.8T)
34 94 - free - (47K)
128 4194304 1 freebsd-swap (2.0G)
4194432 3902834696 2 freebsd-zfs (1.8T)
3907029128 7 - free - (3.5K)

=> 34 3907029101 da3 GPT (1.8T)
34 94 - free - (47K)
128 4194304 1 freebsd-swap (2.0G)
4194432 3902834696 2 freebsd-zfs (1.8T)
3907029128 7 - free - (3.5K)

[root@freenas] /# gpart create -s gpt da2
da2 created
[root@freenas] /# gpart create -s gpt da4
da4 created
[root@freenas] /# gpart create -s gpt da5
da5 created
[root@freenas] /# gpart add -b 128 -i 1 -s 2g -t freebsd-swap da2
da2p1 added
[root@freenas] /# gpart add -b 128 -i 1 -s 2g -t freebsd-swap da4
da4p1 added
[root@freenas] /# gpart add -b 128 -i 1 -s 2g -t freebsd-swap da5
da5p1 added
[root@freenas] /# gpart add -i 2 -t freebsd-zfs da2
da2p2 added
[root@freenas] /# gpart add -i 2 -t freebsd-zfs da4
da4p2 added
[root@freenas] /# gpart add -i 2 -t freebsd-zfs da5
da5p2 added
[root@freenas] /# gpart show
=> 34 33554365 da0 GPT (16G)
34 1024 1 bios-boot (512K)
1058 6 - free - (3.0K)
1064 33553328 2 freebsd-zfs (16G)
33554392 7 - free - (3.5K)

=> 34 3907029101 da1 GPT (1.8T)
34 94 - free - (47K)
128 4194304 1 freebsd-swap (2.0G)
4194432 3902834696 2 freebsd-zfs (1.8T)
3907029128 7 - free - (3.5K)

=> 34 3907029101 da3 GPT (1.8T)
34 94 - free - (47K)
128 4194304 1 freebsd-swap (2.0G)
4194432 3902834696 2 freebsd-zfs (1.8T)
3907029128 7 - free - (3.5K)

=> 34 3907029101 da2 GPT (1.8T)
34 94 - free - (47K)
128 4194304 1 freebsd-swap (2.0G)
4194432 3902834696 2 freebsd-zfs (1.8T)
3907029128 7 - free - (3.5K)

=> 34 3907029101 da4 GPT (1.8T)
34 94 - free - (47K)
128 4194304 1 freebsd-swap (2.0G)
4194432 3902834696 2 freebsd-zfs (1.8T)
3907029128 7 - free - (3.5K)

=> 34 3907029101 da5 GPT (1.8T)
34 94 - free - (47K)
128 4194304 1 freebsd-swap (2.0G)
4194432 3902834696 2 freebsd-zfs (1.8T)
3907029128 7 - free - (3.5K)
[root@freenas] /# glabel list



NAME STATE READ WRITE CKSUM
beux-storage ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
gptid/10cc5a52-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0 c'est donc da1p2
gptid/112f87fa-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0
gptid/1193eb1d-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0 c'est donc da3p2
gptid/1222cff3-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0
gptid/12e3ad52-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0

Tout colle, mes disques touchés sont donc da2p2,da4p2,da5p2

[root@freenas] /# glabel label -v gptid/112f87fa-58fc-11e5-aa13-000c29dba019 da2p2
Metadata value stored on da2p2.
Done.
[root@freenas] /# glabel label -v gptid/1222cff3-58fc-11e5-aa13-000c29dba019 da4p2
Metadata value stored on da4p2.
Done.
[root@freenas] /# glabel label -v gptid/12e3ad52-58fc-11e5-aa13-000c29dba019 da5p2
Metadata value stored on da5p2.
Done.

Reboot

Et magie

[root@freenas] ~# zpool status -v
pool: beux-storage
state: ONLINE
scan: scrub repaired 0 in 4h38m with 0 errors on Sun Apr 23 04:38:33 2017
config:

NAME STATE READ WRITE CKSUM
beux-storage ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
gptid/10cc5a52-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0
da2p2 ONLINE 0 0 0
gptid/1193eb1d-58fc-11e5-aa13-000c29dba019 ONLINE 0 0 0
da4p2 ONLINE 0 0 0
da5p2 ONLINE 0 0 0

errors: No known data errors

pool: freenas-boot
state: ONLINE
scan: scrub repaired 0 in 0h1m with 0 errors on Fri Apr 21 03:46:17 2017
config:

NAME STATE READ WRITE CKSUM
freenas-boot ONLINE 0 0 0
da0p2 ONLINE 0 0 0

errors: No known data errors


Merky encore !

 

[boxeman]

ca c'est super :).. tu as le cul bordé de nouilles :D
cliques éventuellement sur un thanks alors si je t'ai "sauvé"...

mais en me répétant... tu es "limite" sur tes backups... un seul disque c'est border line pour ton affaire..qui plus est..au même endroit que ton Freenas ... pense sérieusement à mettre certains documents ( les plus vitaux) sur (voir deux) cloud gratuit.... les incendies /dégâts des eaux/vols ca n'est pas toujours pour les autres ...

 

[Beux]

Le scrub m'a detecté 2 films en fullhd corrompus mais tout ce qui était vital pour moi est valide...
Trop de chance...

Pour le backup, je prévois
-1hdd 2To 2.5" en USB à brancher à la freebox pour y faire du "rsync --detect-renamed --detect-moved"
-1hdd USB 4To en eSATA branché en local a la demande sur mon hyperviseur contenant ma solution de stockage (qui risque de basculer sur du CEPH au passage)
- snapshot vmware/pool

Un backup de mes données les plus immportantes chiffré comme il faut sur un cloud public

Si je tombe sur une bonne affaire -> un VPS avec du chiffrement bgp à tout va

Enjoy

 

[Beux]

J'avais pas mis le bon rapport de scrub...
Au passage je tiens a noter que ZFS est vraiment efficace, le scrub sur ma grappe reconstruite a tout de même corrigé 9040 bad blocs (si on peut appeler comme ça sous ZFS)
"scan: scrub repaired 8.71M in 4h48m with 9042 errors", au final 1 film de 12Go et un de 20Go que je peux retélécharger (stack couchpotato + sickrage + transmission) easyly

J'ai de nouveau accès à mes factures, CPAM, ...
Yessss hiiiiii

 

[Beux]

Au passage un blog qui parle de l'interret d'avoir de la RAM ECC, je lis beaucoup de trucs sur l'hardware et je trouve sa réflexion assez inintéressante.
cf https://www.davd.eu/posts-freebsd-nas-concept-hardware-selection/ en § 3.1. ECC vs. Non-ECC memory