Remise en route serveur après 2 ans d'arrêt // Quelques questions...

[revedigital]

Bonjour à tous,

J'avais mis en place un serveur sous Freenas en 2016 qui fonctionnait au top jusqu'en 2018 où la clé USB sur laquelle était installé l'OS a planté.
Du coup j'ai jamais repris le temps de me poser et de remettre en route le bouzin.

Mais c'est désormais chose faite avec quelques upgrade et passage sous FreeNAS-11.3-U5 :

• installation de l'OS sur un SSD interne
• ajout d'une carte PCI-E avec 6 ports SATA supplémentaires
• ajout de quelques HDD WD RED pour augmenter le stockage

La réinstallation s'est bien passé, j'ai pu réimporter mon Pool et récupérer mes données et même importer ma configuration de l'OS que j'avais sauvegardé. Jusque là tout est OK.

J'ai cependant 3 problèmes.

1. Le premier est l'objet de ce post : j'avais à l'époque installé quelques plugins et je souhaite les récupérer :

• PLEX
• EMBY
• SUBSONIC
• Etc...

Savez comment je peux les remettre en route et surtout comment je peux récupérer les configurations de l'époque qui sont toujours dans mes jails ?
Car si je réinstalle un plugin, FreeNas va le créer un nouveau jail et une installation toute neuve du plugin et vide du coup...

Une petite capture d'écran pour vous montrer ce que j'ai :

2. 2ème problème, je m'aperçois que mon volume NAS est "DEGRADED", mais je ne sais pas à quoi celà correspond et surtout ce que je peux faire pour corriger ça ? je penses que ce n'est pas normal et qu'il doit y avoir un soucis quelque part ? peut-être sur un des mes HDD ?

3. 3ème problème, j'ai l'impression que mon système reboot comme ça sans prévenir et de façon aléatoire ce qui rend son utilisation assez compliquée... Sauriez-vous ce qu'il peut se passer ?

Pour info, voici mon setup :
- Fractal Design Define R5 Black
- Intel Core i3-6100 (3.7 GHz)
- ASRock B150A-X1
- 2 x G.Skill Aegis 8 Go (1 x 8 Go) DDR4 2133 MHz CL15

HDD :
1 HDD CRUCIAL BX500 240Go pour l'OS
2 x WD RED 2 To
1 x WD RED 3 To
2 x WD RED 4 To
2 autres HDD (1 WD 320 Go and 1 FUJITSU 500 Go)
PCI-E 6 Ports Sata en Plus

Merci pour votre aide.

 

[Pitfrr]

Bonjour,

1) Aucune idée!

2) Que dit zpool status?

3) Y'a-t-il des messages particuliers dans les logs qui permettraient d'en savoir plus?
Regarder dans /var/log, les logs suivants peuvent donner quelques infos:

• console.log
• messages
• middlewared.log

Ensuite j'essayerai par élimination.
Monter juste la RAM (une barrette), le CPU et le disque pour l'OS et voir si c'est stable (bon c'est sûr on peut pas faire grand chose je sais... ).
Puis ajouter des composants petit à petit...
Je pencherai pour une incompatibilité avec la carte PCIe 6 ports SATA. La référence n'est pas mentionnée et je suppose qu'il s'agit d'une carte contrôleur SATA supplémentaire. Malheureusement ces cartes ne fonctionnent souvent pas bien avec FreeNAS, il vaudrait mieux s'orienter vers des cartes de type LSI 9211 ou équivalent flashée en mode IT.

Par curiosité à quoi servent les deux disques de 320Go et de 500Go, juste en stockage ou pour autre chose?

 

[revedigital]

Hey hey merci pour la réponse ;-p

Pour 1) je vais continuer de chercher

Pour 2)

Code:

Warning: settings changed through the CLI are not written to
the configuration database and will be reset on reboot.

root@NAS:~ # zpool status
  pool: NAS
state: DEGRADED
status: One or more devices could not be opened.  Sufficient replicas exist for
        the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
   see: http://illumos.org/msg/ZFS-8000-2Q
  scan: scrub repaired 0 in 0 days 08:38:33 with 0 errors on Sun Jun  3 08:38:34 2018
config:

        NAME                                            STATE     READ WRITE CKSUM
        NAS                                             DEGRADED     0     0 0
          mirror-0                                      DEGRADED     0     0 0
            7440287865462013336                         UNAVAIL      0     0 0  was /dev/gptid/babb323d-2202-11e7-8354-d050999b74b3
            gptid/f246a77e-2826-11e7-8531-d050999b74b3  ONLINE       0     0 0

errors: No known data errors

  pool: freenas-boot
state: ONLINE
  scan: none requested
config:

Du coup de ce que je comprend c'est que j'avais fait au plus simple, un mirror avec 2 disques... Donc je penses pouvoir faire mieux maintenant avec 6 disques, et encore de la place pour 4 autres disques potentiels... Je suis déja en train de m'organiser pour sauvegarder ce que j'ai dans mon pool actuel et repartir de zéro ensuite

Pour 3) je vais regarder en détails mais ça ne semble plus le faire après que j'ai débranché mes 2 disques (celui de 320 et de 500 go) qui ne servaient à rien au final...

 

[Pitfrr]

Alors effectivement, un des disques du miroir est manque à l'appel...

Pour savoir lequel, on peut utiliser la ligne de commande mais c'est un peu fastidieux.
On peut trouver l'information dans l'interface aussi.

Sous: Storage/Pools, le pool NAS est listé et à droite il y a une icône d'engrenage pour afficher les options du pool.

Dans cet écran, lorsque l'on clique sur les trois petit points verticaux en bout de ligne d'un disque, l'option "Edit" apparaît et lorsque l'on clique dessus, on a quelques informations supplémentaires, notamment le numéro de série du disque pour pouvoir l'identifier.
Comme c'est un miroir, c'est facile, si c'est pas l'un c'est l'autre...

Maintenant, comprendre pourquoi le disque n'est plus visible...
Est-ce juste un problème de cable? Probable. La commande zpool status ne montre pas d'erreurs dans les colonnes READ, WRITE et CKSUM. On dirait que le disque n'est juste pas présent (ou n'a pas été présent au démarrage).
Vérifier les cables, vérifier les branchements, vérifier que le disque est bien détecté au démarrage (regarder dans l'interface web sous Storage/Disks c'est plus simple... ou voir les messages de la console au démarrage avec dmesg ou dans le log /var/log/messages).
Le disque peut aussi être défaillant, dans ce cas, il serait bien d'avoir ses informations SMART (avec smartctl -a /dev/ada0, en adaptant le ada0 en fonction du disque dans le système).

Dans tous les cas, c'est une trèèèès bonne idée de faire une sauvegarde!! :-D
Et c'est effectivement l'occasion de refaire un volume à neuf... surtout qu'on ne peut pas facilement modifier un volume une fois créé.
Toutefois, sans plus de détails matériels, je me méfierai de la carte SATA PCIe...
Il serait d'ailleurs intéressant de savoir si le disque manquant dans le miroir est connecté à cette carte?

 

[revedigital]

Hey encore merci pour ta réponse rapide je vais regarder ça ASAP.

Juste pour info, la carte d'extension SATA que j'ai acheté c'est un truc chinois... Sur Amazon...

MZHOU Carte PCIe SATA 6 Ports, Carte d'extension contrôleur PCIe vers SATA, Carte PCIe SATA 3.0 6 Gbit/s avec 6 câbles SATA, Puce Marvell 88SE9215 à 6 Ports, Prise en Charge de HDD ou SSD

Lien Amazon

Et du coup oui j'étais sceptique sur cette carte mais je me suis dit que j'allais tester car je n'ai pas vraiment trouvé de référence compatible avec FreeNas.

A part peut-être ça :
LSI SAS interne SATA 9211–8i HBA 6 Gbit/s 8 ports PCI-e carte contrôleur RAID

Lien Amazon

Si tu as une référence, éprouvée, je suis preneur !

 

[Pitfrr]

Oui alors je confirme, pour avoir fait l'expérience moi-même avec un contrôleur Marvell (intégré sur une carte mère AsRock C2750), j'ai eu pas mal de problèmes (disques qui se déconnectaient)... bref, je suis passé sur une LSI 9211....

La référence que tu as donné (LSI 9211) est une valeur sûre (les IBM M1015 aussi sont des valeurs sûres).
Tu peux aussi regarder d'occas' (sur leboncoin ou ebay) l'idéal c'est d'en trouver une flashée en mode IT (comme là par exemple)

 

[revedigital]

OK alors dans ce cas je vais commander celle-ci sur ebay, ce sera déja mieux ! Je te remercie pour ce lien j'avais pas trouvé l'info ;-p Je vais renvoyé la chinoise héhé

Et à quoi ça sert d'en avoir une flashée en mode IT ? (c'est quoi ce mode ?), et peut-on la flasher en DIY ?

 

[Pitfrr]

Le mode IT (Initiator Target) est un mode particulier de fonctionnement de la carte.
On veut utiliser la carte comme HBA (Host Bus Adapter) et non comme contrôleur RAID car on veut que FreeNAS ait un accès direct aux disques (ce qui n'est pas le cas avec une carte contrôleur RAID), bref on veut désactiver toutes les fonctionnalités RAID matérielles.

Entre autre, cela permet aux disques de remonter les informations SMART au système d'exploitation par exemple. Dans le cas d'un RAID matériel, alors le système d'exploitation ne voit qu'un volume (constitué de plusieurs disques probablement mais ça il ne le sait pas) et n'a pas accès aux données SMART.

On peut le faire soi-même (voici un tuto par exemple mais il y en a pleins d'autres) mais j'ai cru comprendre que selon les tutos y'a plusieurs méthodes, ça prête parfois à confusion alors tant qu'à faire, si elle est déjà flashée, c'est pratique! )

Il faut aussi ajouter des câbles de type SFF-8087 (de ce genre). En effet, la carte possèdes deux connecteurs et sur chacun de ces connecteurs on peut connecter jusqu'à 4 disques SATA ou SAS. Bien faire attention que les connecteurs soient SATA (si les disques le sont). Les connecteurs SAS sont quasi identiques, la différence c'est que le connecteur comporte aussi la partie alimentation.
Je crois qu'on peut aussi chaîner les cartes HBA (pour aller jusqu'à je-sais-plus-combien-mais-dans-la-centaine-de-disques-je-crois) entre elles pour connecter un grand nombre de disques, mais ça j'ai jamais fait, donc je sais pas...

 

[revedigital]

Hello,

du coup j'ai lancé un test SMART sur le disque qui semblerait défaillant :

Code:

Warning: settings changed through the CLI are not written to
the configuration database and will be reset on reboot.

root@NAS:~ # smartctl -a /dev/ada1
smartctl 7.0 2018-12-30 r4883 [FreeBSD 11.3-RELEASE-p14 amd64] (local build)
Copyright (C) 2002-18, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Red
Device Model:     WDC WD20EFRX-68EUZN0
Serial Number:    WD-WCC4M5CJ4HKX
LU WWN Device Id: 5 0014ee 263936db0
Firmware Version: 82.00A82
User Capacity:    2,000,398,934,016 bytes [2.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Wed Dec  2 13:55:19 2020 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (27240) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 275) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x703d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       22
  3 Spin_Up_Time            0x0027   166   166   021    Pre-fail  Always       -       4666
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       98
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   087   087   000    Old_age   Always       -       10080
10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       98
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       59
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       928
194 Temperature_Celsius     0x0022   125   105   000    Old_age   Always       -       22
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%       982         -
# 2  Short offline       Completed without error       00%       981         -
# 3  Short offline       Completed without error       00%       980         -
# 4  Short offline       Completed without error       00%       979         -
# 5  Short offline       Completed without error       00%       978         -
# 6  Short offline       Completed without error       00%       977         -
# 7  Short offline       Completed without error       00%       976         -
# 8  Short offline       Completed without error       00%       975         -
# 9  Short offline       Completed without error       00%       974         -
#10  Short offline       Completed without error       00%       973         -
#11  Short offline       Completed without error       00%       972         -
#12  Short offline       Completed without error       00%       971         -
#13  Short offline       Completed without error       00%       970         -
#14  Short offline       Completed without error       00%       969         -
#15  Short offline       Completed without error       00%       968         -
#16  Short offline       Completed without error       00%       967         -
#17  Short offline       Completed without error       00%       966         -
#18  Short offline       Completed without error       00%       965         -
#19  Short offline       Completed without error       00%       964         -
#20  Short offline       Completed without error       00%       963         -
#21  Short offline       Completed without error       00%       962         -

SMART Selective self-test log data structure revision number 1
SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing

Et le log de démarrage :

Code:

  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

root@NAS:~ # dmesg
Copyright (c) 1992-2019 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 11.3-RELEASE-p14 #0 r325575+c936002dbe2(HEAD): Mon Sep 28 10:48:27 EDT 2020
    root@tnbuilds05.tn.ixsystems.net:/freenas-releng/freenas/_BE/objs/freenas-releng/freenas/_BE/os/sys/FreeNAS.amd64-DEBUG amd64
FreeBSD clang version 8.0.0 (tags/RELEASE_800/final 356365) (based on LLVM 8.0.0)
WARNING: WITNESS option enabled, expect reduced performance.
VT(vga): text 80x25
CPU: Intel(R) Core(TM) i3-6100 CPU @ 3.70GHz (3696.17-MHz K8-class CPU)
  Origin="GenuineIntel"  Id=0x506e3  Family=0x6  Model=0x5e  Stepping=3
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x7ffafbbf<SSE3,PCLMULQDQ,DTES64,MON,DS_CPL,VMX,EST,TM2,SSSE3,SDBG,FMA,CX16,xTPR,PDCM,PCID,SSE4.1,SSE4.2,x2APIC,MOVBE,POPCNT,TSCDLT,AESNI,XSAVE,OSXSAVE,AVX,F16C,RDRAND>
  AMD Features=0x2c100800<SYSCALL,NX,Page1GB,RDTSCP,LM>
  AMD Features2=0x121<LAHF,ABM,Prefetch>
  Structured Extended Features=0x29c67af<FSGSBASE,TSCADJ,SGX,BMI1,AVX2,SMEP,BMI2,ERMS,INVPCID,NFPUSG,MPX,RDSEED,ADX,SMAP,CLFLUSHOPT,PROCTRACE>
  XSAVE Features=0xf<XSAVEOPT,XSAVEC,XINUSE,XSAVES>
  VT-x: PAT,HLT,MTF,PAUSE,EPT,UG,VPID
  TSC: P-state invariant, performance statistics
real memory  = 17179869184 (16384 MB)
avail memory = 16225947648 (15474 MB)
Event timer "LAPIC" quality 600
ACPI APIC Table: <ALASKA A M I >
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
FreeBSD/SMP: 1 package(s) x 2 core(s) x 2 hardware threads
WARNING: VIMAGE (virtualized network stack) is a highly experimental feature.
ioapic0 <Version 2.0> irqs 0-119 on motherboard
SMP: AP CPU #1 Launched!
SMP: AP CPU #3 Launched!
SMP: AP CPU #2 Launched!
Timecounter "TSC-low" frequency 1848083801 Hz quality 1000
random: entropy device external interface
random: registering fast source Intel Secure Key RNG
random: fast provider: "Intel Secure Key RNG"
kbd1 at kbdmux0
mlx5en: Mellanox Ethernet driver 3.5.1 (April 2019)
nexus0
vtvga0: <VT VGA driver> on motherboard
cryptosoft0: <software crypto> on motherboard
aesni0: <AES-CBC,AES-XTS,AES-GCM,AES-ICM> on motherboard
padlock0: No ACE support.
acpi0: <ALASKA A M I > on motherboard
acpi0: Power Button (fixed)
cpu0: <ACPI CPU> on acpi0
cpu1: <ACPI CPU> on acpi0
cpu2: <ACPI CPU> on acpi0
cpu3: <ACPI CPU> on acpi0
hpet0: <High Precision Event Timer> iomem 0xfed00000-0xfed003ff on acpi0
Timecounter "HPET" frequency 24000000 Hz quality 950
Event timer "HPET" frequency 24000000 Hz quality 550
Event timer "HPET1" frequency 24000000 Hz quality 440
Event timer "HPET2" frequency 24000000 Hz quality 440
Event timer "HPET3" frequency 24000000 Hz quality 440
Event timer "HPET4" frequency 24000000 Hz quality 440
atrtc0: <AT realtime clock> port 0x70-0x77 irq 8 on acpi0
atrtc0: Warning: Couldn't map I/O.
atrtc0: registered as a time-of-day clock, resolution 1.000000s
Event timer "RTC" frequency 32768 Hz quality 0
attimer0: <AT timer> port 0x40-0x43,0x50-0x53 irq 0 on acpi0
Timecounter "i8254" frequency 1193182 Hz quality 0
Event timer "i8254" frequency 1193182 Hz quality 100
Timecounter "ACPI-fast" frequency 3579545 Hz quality 900
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x1808-0x180b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
vgapci0: <VGA-compatible display> port 0xf000-0xf03f mem 0xde000000-0xdeffffff,0xc0000000-0xcfffffff irq 16 at device 2.0 on pci0
vgapci0: Boot video device
xhci0: <Intel Sunrise Point USB 3.0 controller> mem 0xdf130000-0xdf13ffff irq 16 at device 20.0 on pci0
xhci0: 32 bytes context size, 64-bit DMA
usbus0: waiting for BIOS to give up control
xhci_interrupt: host controller halted
usbus0 on xhci0
usbus0: 5.0Gbps Super Speed USB v3.0
pci0: <simple comms> at device 22.0 (no driver attached)
ahci0: <Intel Sunrise Point AHCI SATA controller> port 0xf090-0xf097,0xf080-0xf083,0xf060-0xf07f mem 0xdf148000-0xdf149fff,0xdf14c000-0xdf14c0ff,0xdf14b000-0xdf14b7ff irq 16 at device 23.0 on pci0
ahci0: AHCI v1.31 with 6 6Gbps ports, Port Multiplier not supported
ahcich0: <AHCI channel> at channel 0 on ahci0
ahcich1: <AHCI channel> at channel 1 on ahci0
ahcich2: <AHCI channel> at channel 2 on ahci0
ahcich3: <AHCI channel> at channel 3 on ahci0
ahcich4: <AHCI channel> at channel 4 on ahci0
ahcich5: <AHCI channel> at channel 5 on ahci0
ahciem0: <AHCI enclosure management bridge> on ahci0
pcib1: <ACPI PCI-PCI bridge> irq 16 at device 28.0 on pci0
pci1: <ACPI PCI bus> on pcib1
pcib2: <ACPI PCI-PCI bridge> irq 16 at device 29.0 on pci0
pci2: <ACPI PCI bus> on pcib2
pcib3: <ACPI PCI-PCI bridge> irq 18 at device 29.2 on pci0
pci3: <ACPI PCI bus> on pcib3
ahci1: <Marvell 88SE9215 AHCI SATA controller> port 0xe050-0xe057,0xe040-0xe043,0xe030-0xe037,0xe020-0xe023,0xe000-0xe01f mem 0xdf040000-0xdf0407ff irq 18 at device 0.0 on pci3
ahci1: AHCI v1.00 with 4 6Gbps ports, Port Multiplier supported with FBS
ahcich6: <AHCI channel> at channel 0 on ahci1
ahcich7: <AHCI channel> at channel 1 on ahci1
ahcich8: <AHCI channel> at channel 2 on ahci1
ahcich9: <AHCI channel> at channel 3 on ahci1
isab0: <PCI-ISA bridge> at device 31.0 on pci0
isa0: <ISA bus> on isab0
pci0: <memory> at device 31.2 (no driver attached)
pci0: <multimedia, HDA> at device 31.3 (no driver attached)
em0: <Intel(R) PRO/1000 Network Connection 7.6.1-k> mem 0xdf100000-0xdf11ffff irq 16 at device 31.6 on pci0
em0: Using an MSI interrupt
em0: Ethernet address: d0:50:99:9b:74:b3
acpi_button0: <Sleep Button> on acpi0
acpi_button1: <Power Button> on acpi0
wbwd0: <Nuvoton NCT6793 (0xd1/0x21) Watchdog Timer> at port 0x2e-0x2f on isa0
orm0: <ISA Option ROMs> at iomem 0xc0000-0xcffff,0xd0000-0xd2fff on isa0
atkbdc0: <Keyboard controller (i8042)> at port 0x60,0x64 on isa0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
ACPI Warning: \134_PR.CPU0._PSS: Found unexpected NULL package element (20171214/nsrepair-335)
coretemp0: <CPU On-Die Thermal Sensors> on cpu0
est0: <Enhanced SpeedStep Frequency Control> on cpu0
coretemp1: <CPU On-Die Thermal Sensors> on cpu1
est1: <Enhanced SpeedStep Frequency Control> on cpu1
coretemp2: <CPU On-Die Thermal Sensors> on cpu2
est2: <Enhanced SpeedStep Frequency Control> on cpu2
coretemp3: <CPU On-Die Thermal Sensors> on cpu3
est3: <Enhanced SpeedStep Frequency Control> on cpu3
ZFS filesystem version: 5
ZFS storage pool version: features support (5000)
Timecounters tick every 1.000 msec
freenas_sysctl: adding account.
freenas_sysctl: adding directoryservice.
freenas_sysctl: adding middlewared.
freenas_sysctl: adding network.
freenas_sysctl: adding services.
ipfw2 (+ipv6) initialized, divert enabled, nat enabled, default to accept, logging disabled
ugen0.1: <0x8086 XHCI root HUB> at usbus0
uhub0: <0x8086 XHCI root HUB, class 9/0, rev 3.00/1.00, addr 1> on usbus0
pmp0 at ahcich9 bus 0 scbus10 target 15 lun 0
pmp0: <Port Multiplier 10921b21 0008> ATA device
pmp0: 600.000MB/s transfers (SATA 3.x, NONE, PIO 8192bytes)
pmp0: 3 fan-out ports
uhub0: 22 ports with 22 removable, self powered
ugen0.2: <MOSART Semi. HP Wireless Keyboard and Mouse> at usbus0
ukbd0 on uhub0
ukbd0: <MOSART Semi. HP Wireless Keyboard and Mouse, class 0/0, rev 1.10/1.13, addr 1> on usbus0
kbd2 at ukbd0
ada0 at ahcich0 bus 0 scbus0 target 0 lun 0
ada0: <CT240BX500SSD1 M6CR022> ACS-3 ATA SATA 3.x device
ada0: Serial Number 2028E4069DE3
ada0: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 512bytes)
ada0: Command Queueing enabled
ada0: 228936MB (468862128 512 byte sectors)
ada1 at ahcich2 bus 0 scbus2 target 0 lun 0
ada1: <WDC WD20EFRX-68EUZN0 82.00A82> ACS-2 ATA SATA 3.x device
ada1: Serial Number WD-WCC4M5CJ4HKX
ada1: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada1: Command Queueing enabled
ada1: 1907729MB (3907029168 512 byte sectors)
ada1: quirks=0x1<4K>
ada2 at ahcich3 bus 0 scbus3 target 0 lun 0
ada2: <WDC WD40EFRX-68N32N0 82.00A82> ACS-3 ATA SATA 3.x device
ada2: Serial Number WD-WCC7K0KF25LS
ada2: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada2: Command Queueing enabled
ada2: 3815447MB (7814037168 512 byte sectors)
ada2: quirks=0x1<4K>
ada3 at ahcich4 bus 0 scbus4 target 0 lun 0
ada3: <WDC WD40EFRX-68N32N0 82.00A82> ACS-3 ATA SATA 3.x device
ada3: Serial Number WD-WCC7K6AKJ44N
ada3: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada3: Command Queueing enabled
ada3: 3815447MB (7814037168 512 byte sectors)
ada3: quirks=0x1<4K>
ada4 at ahcich5 bus 0 scbus5 target 0 lun 0
ada4: <WDC WD30EFRX-68EUZN0 82.00A82> ACS-2 ATA SATA 3.x device
ada4: Serial Number WD-WCC4N3ZX58P2
ada4: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada4: Command Queueing enabled
ada4: 2861588MB (5860533168 512 byte sectors)
ada4: quirks=0x1<4K>
ada5 at ahcich9 bus 0 scbus10 target 0 lun 0
ada5: <WDC WD20EFRX-68EUZN0 82.00A82> ACS-2 ATA SATA 3.x device
ada5: Serial Number WD-WCC4M3VPADCX
ada5: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada5: Command Queueing enabled
ada5: 1907729MB (3907029168 512 byte sectors)
ada5: quirks=0x1<4K>
ada6 at ahcich9 bus 0 scbus10 target 1 lun 0
ada6: <WDC WD20EFAX-68FB5N0 82.00A82> ACS-3 ATA SATA 3.x device
ada6: Serial Number WD-WX72A30FJJE1
ada6: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada6: Command Queueing enabled
ada6: 1907729MB (3907029168 512 byte sectors)
ses0 at ahciem0 bus 0 scbus6 target 0 lun 0
ses0: <AHCI SGPIO Enclosure 2.00 0001> SEMB S-E-S 2.00 device
ses0: SEMB SES Device
ses0: ada0,pass0 in 'Slot 00', SATA Slot: scbus0 target 0
ses0: ada1,pass1 in 'Slot 02', SATA Slot: scbus2 target 0
ses0: ada2,pass2 in 'Slot 03', SATA Slot: scbus3 target 0
ses0: ada3,pass3 in 'Slot 04', SATA Slot: scbus4 target 0
ses0: ada4,pass4 in 'Slot 05', SATA Slot: scbus5 target 0
random: unblocking device.
WARNING: WITNESS option enabled, expect reduced performance.
Trying to mount root from zfs:freenas-boot/ROOT/default []...
warning: KLD '/boot/kernel-debug/ums.ko' is newer than the linker.hints file
ums0 on uhub0
ums0: <MOSART Semi. HP Wireless Keyboard and Mouse, class 0/0, rev 1.10/1.13, addr 1> on usbus0
ums0: 5 buttons and [XYZT] coordinates ID=3
lo0: link state changed to UP
em0: link state changed to UP
warning: KLD '/boot/kernel-debug/vmm.ko' is newer than the linker.hints file
warning: KLD '/boot/kernel-debug/sdt.ko' is newer than the linker.hints file
warning: KLD '/boot/kernel-debug/systrace.ko' is newer than the linker.hints file
warning: KLD '/boot/kernel-debug/systrace_freebsd32.ko' is newer than the linker.hints file
warning: KLD '/boot/kernel-debug/profile.ko' is newer than the linker.hints file
lock order reversal:
1st 0xfffff801d4dac240 tmpfs (tmpfs) @ /freenas-releng/freenas/_BE/os/sys/kern/vfs_mount.c:908
2nd 0xfffff801d79249a0 zfs (zfs) @ /freenas-releng/freenas/_BE/os/sys/kern/vfs_mount.c:919
stack backtrace:
#0 0xffffffff80b6eee0 at witness_debugger+0x70
#1 0xffffffff80b6ed76 at witness_checkorder+0xe76
#2 0xffffffff80adf5d1 at lockmgr_lock_fast_path+0x1b1
#3 0xffffffff811eb9c1 at VOP_LOCK1_APV+0xe1
#4 0xffffffff80be8fd7 at _vn_lock+0x67
#5 0xffffffff80bcff4d at vfs_domount+0xd1d
#6 0xffffffff80bcec89 at vfs_donmount+0x7b9
#7 0xffffffff80bce4a1 at sys_nmount+0x71
#8 0xffffffff8101a712 at amd64_syscall+0x792
#9 0xffffffff80ff487d at fast_syscall_common+0x101
GEOM_ELI: Device ada1p1.eli created.
GEOM_ELI: Encryption: AES-XTS 128
GEOM_ELI:     Crypto: hardware
hwpmc: SOFT/16/64/0x67<INT,USR,SYS,REA,WRI> TSC/1/64/0x20<REA> IAP/4/48/0x3ff<INT,USR,SYS,EDG,THR,REA,WRI,INV,QUA,PRC> IAF/3/48/0x67<INT,USR,SYS,REA,WRI>
warning: KLD '/boot/kernel-debug/t3_tom.ko' is newer than the linker.hints file
warning: KLD '/boot/kernel-debug/toecore.ko' is newer than the linker.hints file
warning: KLD '/boot/kernel-debug/t4_tom.ko' is newer than the linker.hints file
em0: link state changed to DOWN
em0: link state changed to UP
CPU: Intel(R) Core(TM) i3-6100 CPU @ 3.70GHz (3696.17-MHz K8-class CPU)
  Origin="GenuineIntel"  Id=0x506e3  Family=0x6  Model=0x5e  Stepping=3
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x7ffafbbf<SSE3,PCLMULQDQ,DTES64,MON,DS_CPL,VMX,EST,TM2,SSSE3,SDBG,FMA,CX16,xTPR,PDCM,PCID,SSE4.1,SSE4.2,x2APIC,MOVBE,POPCNT,TSCDLT,AESNI,XSAVE,OSXSAVE,AVX,F16C,RDRAND>
  AMD Features=0x2c100800<SYSCALL,NX,Page1GB,RDTSCP,LM>
  AMD Features2=0x121<LAHF,ABM,Prefetch>

Du coup ce serait mon 2ème disque (ada1), est-ce que je dois le remplacer ?

J'ai vérifié les câbles etc, tout a l'air correct...

 

[revedigital]

OK j'ai trouvé ! Il y avait un des 4 câbles d'une prise MOLEX qui était mal connecté... J'ai bien tourné en rond lol

Bon donc déja je n'ai plus d'erreurs sur mon pool !

 

[Pitfrr]

OK j'ai trouvé ! Il y avait un des 4 câbles d'une prise MOLEX qui était mal connecté...

C'est ce que j'allais dire:
D'après les résultats SMART le disque semble correct donc probablement un problème de connectique...
Ensuite faut savoir que les tests SMART ne sont que des tests en lecture (non destructifs d'un point de vue données) donc ils ne détectent pas forcément toutes les erreurs non plus... mais c'est mieux que rien.

Si je comprends bien, tu as 3 disques de 2To (ada1, ada5 et ada6) et dont deux sont en miroir.

Du coup ce serait mon 2ème disque (ada1)

Qu'est ce qui te fait dire ça? (juste pour comprendre le raisonnement. Parce que basé sur les deux informations (résultat SMART et dmesg) c'est difficile de conclure cela.)

Autre remarque: ton disque n'a semble-t-il fait que des tests SMART courts. Est-ce parce que les longs sont plus loin dans la liste de tests et on ne voit que les derniers qui sont des courts?

 

[revedigital]

J'ai noté tout les n° de série des HDD c'est comme ça que j'ai retrouvé ;-p

Alors pour les tests SMART j'ai mis l'intégralité du résultat de la commande... Est-ce qu'il y a un réglage à faire pour faire des tests smart longs ? Et à quoi ça sert de faire des tests longs par rapports aux tests courts ?


Bon sinon j'ai fais un peu le point sur ma stratégie liée au Pool ZFS et à mes sauvegardes (je vais peut-être ouvrir un post à part pour la suite ?)

Au niveau des disques durs, voici ce que j'ai:

Disque dur réseau "WD RED 2 To n°1"

Disque dur réseau "WD RED 2 To n°2"

Disque dur réseau "WD RED 4 To n°3"

Disque dur réseau "WD RED 4 To n°4"

Disque dur réseau "WD RED 3 To n°5"

Disque dur réseau "WD RED 3 To n°6"

Disque dur réseau "WD RED 2 To n°7"

Disque dur interne NAS pour OS "CRUCIAL SSD 240 Go n°0"

+ 1 WD NAS RED 3 To que j'utilise actuellement comme HDD externe tampon pour faire des transferts de données (ma bibliothèque Apple Photos est dessus pour le moment, avec une double de mes dossiers photos sur un autre HDD externe de 2 To)

J’ai aussi récupéré 2 HDD WD CAVIAR GREEN 1 To d’un vieux NAS BUFFALO Linkstation (qui fonctionne toujours mais, lent, très lent…)

L'OS est installé sur un SSD qui sera branché en USB 3, sur la CM (pour le moment il est sur un port SATA, mais il va me falloir de la place lol)

Mon utilisation du NAS :

Mon but ultime est de centraliser mes données à un seul endroit, fiable et sécurisé (actuellement j’ai une multitude de disques durs externes, sans compter ceux du NAS je dois en avoir une bonne 20taines !!! Dont certains sont éparpillé comme les données d’ailleurs, il y en a de partout, avec bien sur le risque de perte qui va avec etc…)

Mes données :


Données ultra critiques : (impensable de perdre ces données !!) donc à priori RaidZ3 dans un premier pool
- Stockage de mes Photos perso (1000 Go) (sauvegarde sur iCloud, Google Photos et autres HDD externe de temps en temps)
- Stockage des mes Videos perso (500 Go) comprenant entre autres des montages vidéos (sauvegarde, même principe que pour les photos)
- Stockage de documents perso et pro (100 Go)(sauvegarde sur du cloud, Google Drive+ iCloud, Hubic, Mega, Box etc…)
- Sauvegarde Time-Machine de mon mac (1 To)

Si vous connaissez aussi un outil qui permet de sauvegarder des données sur du multicloud et de les répartir en fonction de la taille, c’est cool…

Médiathèque critique, donc à priori RaidZ2, dans un deuxième pool
- Stockage de ma Musique (1000 Go), des SACD, des RIP de mes vinyles, beaucoup de FLAC, lu par mon ampli/lecteur réseau Haute-Fidélité (pas de sauvegarde, sauf de temps en temps sur des HDD externes)

Médiathèque non critique, en raidZ (mirroir), dans un 3ème pool ? :
- Stockage de Films et séries et partage médiathèque vers KODI via EMBY (1 To environ et a tendance à grossir de plus en plus) (pas de sauvegarde, à voir s’il me reste de la place pour en faire une)

Côté plugins/jails :

• Emby
• Plex
• Madsonic
• Transmission
• Owncloud (à voir ?)

A terme, j’aimerai peut-être aussi installer un serveur Yuno dans un jail supplémentaire pour tester des trucs.
Et quand je pourrais, remplacer ma carte mre, par une carte plus serveur, avec prise en charge RAML ECC, et bien sur mise en place de RAM ECC

Ma question est donc de savoir avec le matériel que j'ai et le stockage dont je dispose, quelle est la meilleure config à mettre en place ? Quel type de raid ? Est-ce qu'il va me manquer du stockage ? Est-ce qu'il faut que j'achète encore des HDD ?

Est-il possible d'avoir plusieurs Pool ? Est-il possible de faire plus simple comme configuration que ce que je propose ? (1 seul Pool par exemple...)
Est-ce qu'il y a un intérêt à avoir un disque de cache ? Pour ça, faut-il forcément un SSD ? Y'a-t-il besoin de HDD pour les logs ? Ou encore de prévoir déja un disque de spare ?

Beaucoup de questions mais tout n'est pas encore clair, je sais où je veux aller mais pas encore vraiment comment, et surtout je n'ai pas tout fait comme il fallait à l'époque... Mais bon si vous pouvez m'aider ;-p

 

[Pitfrr]

J'ai noté tout les n° de série des HDD c'est comme ça que j'ai retrouvé

D'accord. Il faut savoir que l'attribution des ada[0...n] n'est pas fixe, je veux dire par là qu'un disque donné peut être ada2 un jour et ada3 un a

Est-ce qu'il y a un réglage à faire pour faire des tests smart longs ?

Pas de réglage particulier en soi, il faut surtout planifier les tests longs (et courts) dans l'interface web car je crois que ce n'est pas par défaut.

Et à quoi ça sert de faire des tests longs par rapports aux tests courts ?

Les tests courts s'exécutent en 2 minutes en gros et ne font que quelques tests limités du disque (genre si le contrôleur répond bien, quelques vérifications primaires).
Les tests longs prennent plus de temps (plusieurs heures, selon la taille) et toute la surface du disque va être testée (en lecture) pour vérifier s'il n'y a pas de secteur défectueux.

Typiquement on planifie les tests courts une fois par semaine et les tests longs une fois par mois.
On va aussi faire attention que les tests longs ne s'exécutent pas en même temps que d'autres tâches par exemple (comme un scrub).
C'est pas un soucis, c'est juste que ça risque de ralentir l'exécution du test. Lorsque le serveur est utilisé en environnement professionnel on choisira de l'exécuter à des moments plus calmes. Pour une utilisation domestique, cela importe peu mais en général on fera ça pendant la nuit.

quelle est la meilleure config à mettre en place ?

Avant de répondre à toutes les questions suivantes, je vais donner ma stratégie:

• Vu la situation matérielle, je conseillerai de viser là où tu souhaites arriver (tu donnes déjà quelques pistes et j'extrapole avec): une solution robuste et fiable. Donc avec du matériel adéquat (carte mère serveur et RAM ECC) et un peu de ressource (pour les plugins voir de la virtualisation).
• Prenant cela en compte, il y a une composante à ne pas négliger: les sauvegardes. C'est pas parce qu'on a un serveur avec du matos fiable et une redondance des données (genre RAIDz3) qu'on peut faire l'impasse sur les sauvegardes. De préférence en suivant la règle d'une sauvegarde locale flexible (régulière et complète) et une sauvegarde déportée moins flexible (moins souvent et peut-être moins complète).
• Un budget limité... On n'a rien sans rien bien entendu mais faut aussi trouver un juste milieu.

Mes réponses partent donc avec cette stratégie en tête.

Personnellement, je viserai pour de la simplicité (au niveau du stockage, même si cela devait avoir un coût plus important):

• Niveau carte mère, CPU et RAM
  • Opter pour du matériel serveur (et RAM ECC), là je confirme, je pense que c'est une très bonne approche
  • Du matériel d'occasion peut être envisagé, pas besoin de viser le dernier CPU, typiquement des systèmes basés sur de la DDR3 sont pas chers et restent encore performants tout en ayant une consommation relativement réduite.
  • Voir pour avoir le plus de RAM possible (8Go étant un minimum) car si on veut faire un peu de virtualisation c'est pas mal. Je viserai quelque chose comme 64Go (ou en tout cas se garder la place pour une évolution de la RAM si besoin).
  • Pour le CPU, si on veut faire du trancodage avec Plex alors va falloir un peu de puissance (voir sur le site de Plex ce qui est recommandé).
• Stockage
  • Un SSD pour le disque système est parfait (par contre, pas connecté en USB!!)
  • Une carte HBA pour les disques de stockage, ça laisse les ports SATA de la carte mère pour le disque système et un peu de place si jamais...
  • J'opterai pour un volume:
    • Utiliser les datasets pour générer les différents contenus (et configurer les snapshots).
    • Evidemment cela implique des disques de même capacité (ou à peu près)
    • A terme, je viserai des disques de 8To (qui me semblent un bon rapport prix/volume de stockage)
    • Il faut estimer l'espace qui sera nécessaire (et l'évolution de ce stockage dans le temps) mais en partant avec 6 disques, pour une utilisation domestique on est déjà pas mal. On peut pousser à 8 disques ou 9 disques en (RAIDz3 si on veut). Faut garder en tête que plus on aura de disques, plus les scrub seront longs...
    • D'un point de vue budget c'est sûr c'est pas négligeable mais j'ai récemment vu des disques de 8To à 120€ le disque ce qui est très intéressant (et on est à moins de 1000€ pour 8 disques).
  • On ne peut pas facilement étendre un volume existant
    • Par contre on peut effectivement ajouter un volume à tout moment. Si on a déjà un volume avec 4 disques, on peut rajouter un autre avec 6 disques.
    • Ces deux volumes peuvent être séparés (moi je trouve ça plus pratique) ou joint (mais dans ce cas, faut faire gaffe d'avoir les même redondances).
  • Cache, log, ...
    • Inutile...
    • En tout cas, pour une utilisation domestique, peu d'intérêt.
    • Une règle aussi: avant de mettre un cache, on va d'abord maximiser la RAM
  • Miroir, RAIDz1, RAIDz2, RAIDz3...
    • Ce qui est sûr c'est: pas de RAIDz1 avec des disques de capacité supérieure à 2 ou 3To, trop dangereux.
    • RAIDz2 me semble un bon compromis
    • J'ai pas beaucoup d'expérience avec les miroirs...
    • RAIDz3 n'est pas contre indiqué
      • Perso: RAIDz3 est peut-être un peu exagéré pour une utilisation domestique, je pense que c'est plus important d'avoir des bonnes sauvegardes plutôt.
    • Disque de spare: je suis pas convaincu pour une utilisation domestique.

En prenant en compte tout cela, voici comment je ferai en pratique (c'est pas la seule et unique solution ni la meilleure hein!):

• Stockage
  • Acheter 2 (ou 3 ou 4) disques de 8To
  • Créer un volume en RAIDz2 avec les disques n°3, 4, 5, 6 ainsi que les nouveaux disques de 8To (edit:j'ai oublié le WD NAD RED 3To externe que tu peux aussi rajouter dans le volume)
    • Bien entendu le volume sera créé sur la base du disque le plus petit donc 3To -> volume de 6x 3To (ou 7x ou 8x selon le nombre de disque de 8To en plus)
  • Utiliser les disques n°1, 2 et 7 (de 2To) comme sauvegarde
  • Petit à petit (selon les possibilités budgétaires), acheter des disques de 8To pour remplacer les disques n°3, 4, 5 et 6
    • Une fois chaque disque remplacé, le volume s'étendra automatique pour avoir un volume de 6x 8To (ou 7x ou 8x selon le nombre de disque de 8To initiaux)
  • Récupérer les disques n°3, 4, 5 et 6 pour les utiliser pour la sauvegarde.
• Stockage bis
  • Si tu peux acheter 8 disques de 8To d'un coup alors pas besoin de s'embêter non plus hein...
• Matériel
  • J'essayerai rapidement d'acheter la carte mère/CPU/RAM histoire d'être tranquille...
• Sauvegarde
  • Pour la sauvegarde, j'ai opté pour une solution radicale: un deuxième serveur!
    • Du coup, ça facilite le boulot: une synchronisation se fait automatiquement entre les deux serveurs FreeNAS...
    • Mais après, si tu achètes une carte mère/CPU/RAM, rien ne t'empêches d'utiliser la carte mère actuelle pour monter un deuxième serveur de sauvegarde....
  • On peut aussi choisir d'autres solutions
    • Boitier externe USB sur un poste client (des outils comme rsync peuvent être utilisés pour automatiser).
    • Boitier réseau (genre NAS commercial) qui sont aussi souvent compatibles avec des outils type rsync.
    • Un volume indépendant que l'on connecte sur le serveur (cela implique éventuellement un arrêt du serveur, ce qui peut être moyennement pratique).
    • Une sauvegarde dans le cloud... bon la question de la sécurité des données peut alors se poser...

 

[revedigital]

Merci vraiment pour ta réponse ultra riche et complète !

J'ai du pain sur la planche avec mon serveur...

Tu bosses dans ce domaine ou juste grand passionné? Car tu es calé dit-moi ;-p

D'accord. Il faut savoir que l'attribution des ada[0...n] n'est pas fixe, je veux dire par là qu'un disque donné peut être ada2 un jour et ada3 un a

OK alors je savais et c'est une source de grosse bêtise... Du coup la seule et l'unique façon de ne pas se tromper est le n° de série. J'ai donc récupéré tous les SN et je les ai mis dans un tableau de suivi ;-p Et j'ai renommé les disques proprement dans Freenas également.

Pas de réglage particulier en soi, il faut surtout planifier les tests longs (et courts) dans l'interface web car je crois que ce n'est pas par défaut.

Je vais regarder pour planifier ça, si jamais je galère je demanderai de l'aide mais ça devrait le faire !

Et je retiens aussi :

• 1 fois par semaine : tests courts
• 1 fois par mois : tests longs
• 1 fois par mois : Srubs

D'ailleurs c'est quoi exactement un scrubs au passage ? J'ai regardé de ce côté -> https://docs.oracle.com/cd/E19253-01/820-2315/gbbxi/index.html et sur le forum : https://www.truenas.com/community/threads/freenas-scrubs.27646/
Mais du coup à quelle fréquence ? 1 fois par mois c'est bien, ou plutôt 2 semaines ? Ca consomme quoi comme ressources ? (RAM, Proc ?) sachant que je n'ai pas de ram ECC.

POUR LA PARTIE MATERIEL :

Je vais faire avec ce que j'ai pour le moment (sauf pour le stockage ou je vais devoir racheter comme tu me le conseille au moins 1 DD 8 To)

• Opter pour du matériel serveur (et RAM ECC), là je confirme, je pense que c'est une très bonne approche

Ok pour la matériel serveur, dans un second je penses faire 1 serveur chez moi avec carte mère serveur et RAM ECC, et réutiliser ma config actuelle pour faire un serveur de sauvegarde qui sera basé chez mes parents et qui n'aura donc pas de carte mère serveur, ni de RAM ECC. Je ferais une synchro entre les 2 freenas comme tu le suggère.

Au sujet de cette synchro,

• Du coup, ça facilite le boulot: une synchronisation se fait automatiquement entre les deux serveurs FreeNAS...

Tu dit que ça se fait automatiquement ? Mais comment ?

De plus si je fais ça (pas tout de suite), je penses aussi proposer à mon père de sauvegarder ses données sur le serveur BACKUP DU MIEN qui sera chez lui, donc je dois pouvoir lui crééer un pool ou un dataset pour lui sur le même serveur qui sert à sauvegarder mon NAS à moi ? Mais quel est le mieux ? 2 pool séparés ? ou 2 datasets ? pas simple comme question je penses..

• Opter pour du matériel serveur (et RAM ECC), là je confirme, je pense que c'est une très bonne approche

Est-ce que du coup je peux trouver ce matériel d'occasion ? une carte mère serveur ? Que me conseille-tu ? Pour la RAM ECC j'ai vu des occasions, mais pour monter à 64 go, çava couter un bras lol
Pour le CPU, j'aime bien avec de la puissance confortable, sans partir dans l'excès. Donc i3 ou i5, ca me va.

• Un SSD pour le disque système est parfait (par contre, pas connecté en USB!!)

Oui je l'ai branché direct en SATA sur la carte mère, c'est mieux ;-p

Une carte HBA pour les disques de stockage, ça laisse les ports SATA de la carte mère pour le disque système et un peu de place si jamais...

Elle est commandé et en livraison. J'en commanderais d'autres plus tard si besoin. merci encore pour tes conseils là-dessus.


POUR LES VOLUMES :
Donc je partirais sur un volume comme c'est le cas actuellement.

• Utiliser les datasets pour générer les différents contenus (et configurer les snapshots).

Et plusieurs datasets. En revanche, je ne maîtrise pas la notion et la mise en place de snapshots. J'y reviendrais si je galère ;-p

D'un point de vue budget c'est sûr c'est pas négligeable mais j'ai récemment vu des disques de 8To à 120€ le disque ce qui est très intéressant (et on est à moins de 1000€ pour 8 disques).

Pour ces disques de 8 To il va falloir que j'investisse par contre en ce moment les prix c'est plus du 170, 200 € donc je vais attendre de trouver la bonne affaire. Surtout que je préfère avoir la même marque /modèle : WD / RED

On ne peut pas facilement étendre un volume existant

• Par contre on peut effectivement ajouter un volume à tout moment. Si on a déjà un volume avec 4 disques, on peut rajouter un autre avec 6 disques.
• Ces deux volumes peuvent être séparés (moi je trouve ça plus pratique) ou joint (mais dans ce cas, faut faire gaffe d'avoir les même redondances).

La encore c'esst assez complexe et je ne maitrise pas encore assez bien. Si je veux procéder par étape, est-il possible de joindre 2 volumes à postériori quand les redondances (nombres de disques en fonction du type de raid ?) seront les mêmes ?

• RAIDz2 me semble un bon compromis

Je part là-dessus

AU FINAL :

Stockage

• Acheter 2 (ou 3 ou 4) disques de 8To
• Créer un volume en RAIDz2 avec les disques n°3, 4, 5, 6 ainsi que les nouveaux disques de 8To (edit:j'ai oublié le WD NAD RED 3To externe que tu peux aussi rajouter dans le volume)
  • Bien entendu le volume sera créé sur la base du disque le plus petit donc 3To -> volume de 6x 3To (ou 7x ou 8x selon le nombre de disque de 8To en plus)
• Utiliser les disques n°1, 2 et 7 (de 2To) comme sauvegarde
• Petit à petit (selon les possibilités budgétaires), acheter des disques de 8To pour remplacer les disques n°3, 4, 5 et 6
  • Une fois chaque disque remplacé, le volume s'étendra automatique pour avoir un volume de 6x 8To (ou 7x ou 8x selon le nombre de disque de 8To initiaux)

Je vais simuler ça en machine virtuelle voir ce que celà donne.
Mais avant de commencer ça, il faut que je vide mon Pool actuel et que je le sauvegarde sur d'autres disques, ça va me prendre du time ;-)
Mais je vais essayer de coller au plus avec ta proposition de stratégie.

En ce qui concerne les sauvegarde avec les DD inutilisés que je vais récupérer, est-ce que je peux les laisser branchés sur ma machine pour faire les sauvegardes ? Et concrètement, comment ça va se passer sur Freenas pour configurer ces sauvegardes ?

Dans un premier temps j'aurais les DD 1,2 7 donc 3 DD de sauvegarde, puis après lorsque j'aurais que des DD de 8 To dans le pool j'aurai 4 DD de plus (3, 4? 5 et 6) pour la sauvegarde soit 7 DD ;-p je vais collectionner les DD lol

Côté sauvegarde, du coup, avec tout les DD que j'ai ça devrait le faire, plus mes sauvegarde sur le iCloud, Google Drive, Apple Photos et Google Photos..
Rsync je suis aller voir mais ce n'est qu'en lignes de commande, il n'ya aucune interface utilisateurs ? Du coup, j'ai peur de faire des bêtises dû à ma non maitrise.
Pour la sauvegarde aussi sur le cloud, j'ai découvert il y a peu Blackblaze, est-ce que tu connais ? (sauvegarde illimité pour 6€/mois)

 

[Pitfrr]

Tu bosses dans ce domaine ou juste grand passionné?

Plutôt passionné car je ne bosse pas dans ce domaine.

J'ai donc récupéré tous les SN et je les ai mis dans un tableau de suivi

Ce qui peut être pratique c'est de noter les 4 derniers chiffres du numéro de série de chaque disque sur le disque lui même (genre sur un bout de scotch de tapisserie) sur une partie visible, pour pouvoir identifier le disque rapidement au besoin.

D'ailleurs c'est quoi exactement un scrubs au passage ?

ZFS est un système de fichiers qui va enregistrer des métadonnées en plus des données à stocker. Et typiquement ces métadonnées comportent un checksum des données stockées. Ces checksums permettent de s'assurer de la consistance des données et on peut donc vérifier que la donnée stockée est correctement stockée et recalculant le checksum et en comparant à celui enregistré dans les métadonnées.
Et c'est ce que fait un scrub. Il lit les données, calcule les checksums et compare aux checksums enregistrés dans les métadonnées. C'est un peu long car il doit faire ça pour toutes les données stockées...
S'il y a une différence, il y a une corruption des données (enfin soit du checksum soit de la donnée).

Ensuite ZFS peut tenter de réparer cette corruption. Pour cela il y a deux manières:

• Correction basée sur le checksum: le checksum peut comporter des informations de redondance pour corriger un bit corrompu par exemple (tout comme la mémoire ECC). Note: je ne sais pas si ZFS implémente ce type de correction ou pas...
• Correction basée sur les informations de redondance disponibles: si le volume est un mirroir ou un RAIDz (1, 2 ou 3) alors des données de redondance existent pour corriger cette corruption.

A noter qu'un scrub ou un resilver sont à peu de chose près la même chose. A la différence que le scrub est une vérification volontaire (initiée par l'utilisateur ou par le système d'exploitation car planifiée) et le resilver une opération exécutée automatiquement par le système lors d'un remplacement d'un disque. Le disque est alors "reconstruit" avec les informations de redondance.

Par défaut les scrubs sont planifié tous les 35 jours. C'est une bonne fréquence, il n'y a pas de raison de changer cette valeur par défaut.
Ca consomme un peu de ressources bien entendu: RAM, CPU, disque. Il faut lire toutes les données (disque et RAM) et calculer et vérifier les checksums (CPU).

Voici à quoi ressemble chez moi le dernier scrub au niveau CPU et disque (un seul disque):

La consommation RAM ne bouge pas puisque de toute façon elle est utilisée comme cache.

Le fait de ne pas avoir de la RAM ECC ne fait aucune différence pour l'exécution de cette tâche.
La différence à ce niveau là se situe dans le fait que si une erreur en RAM se produit lors d'un scrub, elle ne sera pas détectée et risque donc de se propager au volume... Eh oui: si une erreur en RAM se produit, cela peut se traduire par une erreur soit dans une donnée soit dans un checksum et cela peut faire croire à ZFS que la donnée lue sur le disque est finalement erronée et il va corriger mais.... avec une donnée erronée!
C'est pas forcément tout à fait exact, je schématise un peu mais c'est l'idée.
Est-ce que cela veut dire que si on n'a pas de mémoire ECC il ne faut pas faire de scrub? Non, je n'irai pas jusque là non plus...

Synchro: Tu dit que ça se fait automatiquement ? Mais comment ?

Pour la synchro, tu as deux manières de l'automatiser sous forme de tâche avec FreeNAS: rsync ou réplication.

• Rsync est basé sur rsync! :-O Mais il n'y a pas de ligne de commande à faire, tout se gère par l'interface web. Sauf si le serveur en face se gère en ligne de commande... Je partirai du principe que le serveur en face est un serveur FreeNAS alors dans ce cas, pas de soucis.
• La réplication est basée sur les snapshots et utilise les commandes (en ligne) zfs send et zfs receive. Mais là aussi tout se fait par l'interface web, sans trop de problème. Pour la réplication il faut toutefois qu'une tâche de snapshot automatique existe. Et ensuite, automatiquement, tous les snapshot seront envoyés sur le serveur distant.

Si tu as un serveur FreeNAS distant, il n'y a pas de problème pour avoir une synchro avec le serveur principal et en plus avoir un partage pour les données de tes parents. Ca peut se gérer avec des datasets différents par exemple. Ou sur des volumes différents selon la configuration des disques.

Tu peux créer un dataset sur le serveur distant pour les données de tes parents et le sauvegarder sur ton serveur local! (toujours avec rsync ou par réplication).

Est-ce que du coup je peux trouver ce matériel d'occasion?

Leboncoin et ebay sont tes amis! :-D
Comme je le disais, je conseille des systèmes pas plus vieux que ceux avec de la DDR3.
Après plus en particulier, je ne saurai dire...
Moi j'ai recyclé un HP DL380 G6 que j'ai du modifier/bricoler pour passer des supports de disques 2,5" en 3,5"...

Pour le bras, ça dépend des références! :-D
Qu'est-ce que tu entends par là.
J'ai trouvé deux annonces, une sur ebay et une sur leboncoin pour deux serveurs, l'un avec 96Go de RAM et l'autre avec 64Go dans les 300€, ce qui me semble très correct. J'ai pas regardé les détails non plus hein mais niveau CPU et RAM c'est correct quoi et le prix convenable.
Et puis niveau CPU là ça laisse de la marge puisqu'il y en a deux! :-D Mais on peut en retirer un si jamais c'est trop!
Après y'a des modèles plus petits mais l'avantage des bi-processeurs c'est qu'on peut mettre souvent pleeeeein de RAM! (intéressant si on veut faire un peu de virtualisation derrière).

disques de 8 To

Un jeu consiste à "shucker" les disques en boîtier USB... Sur amazon ils ont des disques de 8To à 160€ (ou à 145€ sur amazon.de), ce sont des WD white label (pas RED mais équivalent) et surtout normalement, ils ne sont pas SMR. Donc ils font de bons candidats pour des disques de serveur.

est-il possible de joindre 2 volumes à postériori

On peut à tout moment, ajouter un volume à un volume existant... Toutefois, perso, je suis pas fan... Sans trop avoir d'argument contre. Je dirai simplement que on peut perdre beaucoup de place en redondance (mettons qu'on ait 2 volumes de 4 disques en RAIDz2... alors je préfère un volume de 8 disques en RAIDz2, ça fait plus de place).

les sauvegarde avec les DD inutilisés que je vais récupérer, est-ce que je peux les laisser branchés sur ma machine pour faire les sauvegardes ?

Qu'entends-tu par là? "sur ma machine" tu veux dire sur le serveur ou un poste client?
Sur le serveur: bien sûr, tu peux avoir les disques durs de sauvegarde branchés sur le serveur et monté sur un volume dédié par exemple.
Et là je crois que tu peux aussi utiliser les tâches planifiées pour rsync ou la réplication... J'ai jamais fait sur le même serveur mais je crois que c'est possible.

Blackblaze

Je connais de nom mais je ne connais pas le service de stockage en ligne.
Je ne suis pas fan des solutions en ligne ou alors avec chiffrement (en local) avant de stocker car je n'ai aucune confiance dans les fournisseurs de stockage! On n'a aucune maîtrise des données une fois que c'est chez eux!

 

[revedigital]

Hello,

Je n'arrive pas à trouver des HDD de 8 To à bon prix. je ne trouve que du supérieur à 200 €, même en shuckant...

• WD Elements WDBWLG0080HBK-EESN - Desktop - Disque Dur de Bureau USB 3.0 - Noir - 8 TB : 201,76 €
• Seagate IronWolf 8 To, Disque dur interne NAS HDD – CMR 3,5 pouces SATA 6 Gbit/s 7 200 tr/min, 256 Mo de mémoire cache, pour NAS RAID : 240,35 €

Juste à moins de 200 € j'ai celui-là, mais que vaut Toshiba ?

• Toshiba HDWG180UZSVA Disque dur interne 3.5" 8 To : 194,78 €

Que valent aussi les Seagate Barracuda ?

• Seagate BarraCuda Pro 8 To, Disque dur interne hautes performances HDD – 3,5 pouces SATA 6 Gbit/s 5 400 tr/min, 256 Mo de mémoire cache, pour PC, services de récupération des données : 170,11 €

Et savez-vous quel disque il y a dans ce boitier ?

• WD - My Book - Disque dur externe de bureau avec sauvegarde - 8 To : 170,78 €

Si jamais quelqu'un a un bon plan ;-p

 

[Pitfrr]

Ca varie pas mal de jour en jour... Et, en ce qui concerne amazon, on peut aller voir sur d'autres sites comme par exemple ici avec des disques à 145€, ça vaut le coup...
J'avais pris des WD MyBook et WD Elements à l'époque. Faut juste faire attention de ne pas se retrouver avec des disques SMR.
Normalement, dans les MyBook et les Elements, on récupère des disques white label (équivalent Red, en CMR).

 

[revedigital]

Ok j'en ai commandé 2 à 140€ sur le Amazon Deutsch ;-p

Merci du filon ! Au passage bonne année à tous !

 

[Etorix]

Juste à moins de 200 € j'ai celui-là, mais que vaut Toshiba ?

Bonjour,

Toshiba n'est pas WD, donc pas de risque de tomber sur un disque SMR. C'est déjà un excellent début !

Attention au choix des câbles pour le HBA. La norme SAS permet des câbles de un mètre, mais SATA est limité à la moitié. Si les câbles sont trop longs (p.ex. 70-80 cm), les disques SATA vont se déconnecter de manière aléatoire.