Problemi con TrueNas. Disco Unknown.

[Davvo]

Scheda Sata aggiuntiva: MZHOU Scheda PCIe SATA a 6 Porte, Scheda di espansione del Controller da PCIe a SATA, Scheda PCIe SATA 3.0 a 6 Gbps con 6 Cavi SATA, Chip Marvell 88SE9215 a 6 Porte, Supporto per HDD o SSD
(Ho aggiunto questa scheda perche' la scheda madre aveva solo 6 porte Sata e me ne servivano 8). Potrebbe essere questo il problema dell'instabilità? E' meglio connettere tutti i sei dischi dello ZRaid o alla scheda madre oppure alla scheda aggiuntiva PCIe - Sata? Temo di averli connessi un po' all'una e un po' all'altra. Che potrebbe essere un grave errore probabilmente con il senno di poi. Pensavo di parallelizzare meglio il carico ma evidentemente ho sbagliato. E' il caso di sostituirla con un'altra eventualmente?

Se è in IT mode non dovresti avere problemi... se non è in IT mode è probabile che sia questo la causa dei tuoi problemi... generalmente qui si consigliano chip LSI per la loro affidabilità. Non è un problema collegare i dichi un po' alla scheda madre ed un po all'HBA... se l'HBA funziona come deve.
Una volta che ha finito il resilver lancia ancora un zpool status FreeNAS così vediamo se è tutto a posto.

 

[apsx]

Come faccio a capire se e' in IT mode oppure no? Chip LSI su quali modelli li trovo? La mia scheda costava poco piu' di 35 euro... Provo ad indagare.
Il resilvering e' finito ma vedo sempre i dischi DEGRADED ed il disco ada3 e' tornato di nuovo in FAULTED.

Io sinceramente temo che non sia recuperabile. Sto salvando i dati e poi credo che rivedro' il tutto, controllando anche la scheda.

 

[apsx]

La descrizione della scheda PCIe Sata e' la seguente. (La traduzione temo l'abbiano fatta automaticamente, era scritta esattamente come la riporto).

Questi ricetrasmettitori chip-on-chip 88SE9215 completamente programmabili supportano SATA da 6 Gbps e sono retrocompatibili con 1,5 Gbps e 3Gbps. Il supporto integrato per i moltiplicatori di porte SATA con commutazione basata su FIS garantisce le massime prestazioni. Fornisce un'interfaccia PCIe 2.0 a corsia singola e funzionalità di controller SATA.
Funzionalità:

PCIe
Dispositivo endpoint PCIe 2.0. Equivalente a PCIe 2.0 Specifiche - Supporta 2,5 Gb / s di velocità di comunicazione
Controller SATA
- Soddisfa le specifiche Serial ATA 3.1.
· Supporta 6 Gb / s, velocità di trasmissione 3Gb / sec. se 1,5 Gbps.

 

[glauco]

Ciao, non ho esperienza con controller o HBA che aggiungono porte SATA, però in generale leggo qui sul forum che tranne alcuni modelli specifici, in generale li sconsigliano.
Detto questo, nulla ti vieta di continuare a fare delle prove
Leggo su una recensione da una stella del tuo controller, che consigliano di fare un aggiornamento del firmware del controller. Potresti provare anche tu, se non è già all'ultima versione.
Comunque io fossi in te, se dovessi ricominciare da capo, prenderei un paio di dischi belli capienti e li metterei in mirror, così non hai bisogno di controller/HBA.

 

[glauco]

ada0 ed nvd0 sono i due dischi di boot (uno solo n realta' utilizzato non essendo in mirroring anche se al setup li ho indicati entrambi, non ho capito come siano gestiti, ero convinto in mirroring ma non mi pare lo siano).

Comunque il tuo pool di boot è in mirror, come si evince da questo screenshot che hai postato.

 

[apsx]

Mi sa che alla fine faro' cosi'.... con 6 dischi da 4 TB e' stata una esperienza disastrosa.
Ne prendo due da 14 TB o 4 da 8 TB e faccio uno o due volumi in Mirroring e fine. e con i sei dischi vedremo da 4 TB, al limite ci faccio altro...

Non ho mai fatto upgrade del firmware, devo capire come si faccia per la scheda. Provo ad indagare, magari e' quello.

 

[apsx]

La mia scheda e' questa (piu' vecchia)

https://www.amazon.it/gp/product/B07RMHH43W/ref=ppx_yo_dt_b_asin_title_o00_s00?ie=UTF8&psc=1

Monta un diverso chip, per cui non so se richieda aggiornamento o no.

 

[glauco]

Io ti consiglio caldamente due HDD grossi piuttosto che quattro di medie dimensioni (a meno che non devi creare due pool distinti), per i seguenti vantaggi:

• consumi meno energia elettrica
• generi meno calore
• generi meno rumore
• il case è meno pesante quando lo sollevi
• meno sbattimento quando devi sostituire il disco, per trovare quello con il serial number giusto
• rimanendoti due slot SATa liberi, ti lasci la possibilità di creare un nuovo pool con due nuovi dischi

L'unico svantaggio, forse, è che inizialmente spendi un po' di più, ma ammortizzi in fretta.

 

[apsx]

Si ci stavo pensando.
Quando ho assemblato il NAS (2020) i dischi costavano di piu' ed erano meno capaci, oggi i prezzi sono scesi.
Stavo infatti cercando dei dischi sui 14 TB.

Ad esempio questi potrebbero andare bene?

https://www.amazon.it/gp/product/B07DHY61JP/ref=ox_sc_act_title_6?smid=A2ZQVICSMDPTKP&psc=1

Con 6 dischi da 4 tb di spazio utile ne ho un po' di piu' ma inizialmente non e' un problema, successivamente contando sull'aumento ulteriore della capacità e sulla discesa dei prezzi ci faccio un secondo pool con due dischi o meno costosi o piu' grandi.

 

[Davvo]

Ad esempio questi potrebbero andare bene?

https://www.amazon.it/gp/product/B07DHY61JP/ref=ox_sc_act_title_6?smid=A2ZQVICSMDPTKP&psc=1

Si.

https://www.toshiba-storage.com/wp-content/uploads/2022/01/TOSH_DS_MG_Series_2021.pdf

 

[apsx]

Grazie a tutti per la competenza e disponibilità.


Come procedereste?

Io pensavo di fare come segue.

Step 1)
cercherei di salvare i dati ancora leggibili.
Installerei UN solo disco da 14 TB (ma sto pensando in alternativa anche piu grande ad esempi un disco da 18 TB) creando un volume, inizialmente singolo (ben consapevole di eventuali rischi in caso di danno).
Lascerei invariato inizialmente lo ZRaid 6 Zfs2 (spero di aver scritto correttamente).
Copierei il copiabile da Zraid 6 sul disco singolo.

Step 2)
farei il mirroring del nuovo disco in Zraid 1 su disco identico (stesso modello e dimensioni).

Step 3) dropperei lo Zraid 6 con problemi. spegnerei e smonterei i dischi.

Step 4) boh... potrei anche configurare altri due dischi dei sei che mi rimangono da 4TB in mirroring.

 

[glauco]

Ciao, la procedura mi sembra sensata, l'unica cosa che cambierei è che, se hai slot SATA sufficienti, creerei subito un pool con i due dischi nuovi in mirror, quindi accorperei gli step 1 e 2. Se così non fosse, va benissimo come hai descritto.
Attento a scrivere Zraid1 e Zraid6 che @Davvo ti cazzia! A parte gli scherzi, un approfondimento di come funziona ZFS ti aiuterebbe a capire meglio ed essere più autonomo. Anche perché ZFS per quanto potente, non è (ancora) così flessibile come altri file system/volume manager, quindi decisioni che prendi adesso potrebbero limitarti in futuro (sto pensando all'occupare tutti gli slot SATA giusto per il gusto di occuparli).

 

[glauco]

Ah, per quanto riguarda i dischi, basta che siano CMR anziché SMR.
5400 rpm sono tendenzialmente più silenziosi di 7200 rpm (valuta se col NAS ci dormi o se sta in una stanza dove non disturba).
5400 rpm sono tendenzialmente più lenti di 7200 rpm.
Dischi di fascia enterprise (tipo Seagate Exos) sono più rumorosi dei dischi di fascia home NAS (es. WD Red e WD Red Pro).
Tendenzialmente meglio dischi per NAS.
I dischi da 4TB che ti rimangono potresti utilizzarli per dei backup offsite da tenere a casa dei parenti in casi di estrema emergenza (furto del tuo NAS, alluvioni, etc.).

 

[apsx]

Attento a scrivere Zraid1 e Zraid6 che @Davvo ti cazzia! .

Ogni sera prima di andare a dormire scrivero' 100 volte: "non è RAID ma RAIDZ." Non e' nemmeno ZRaid 1,2,6

 

[Davvo]

https://www.truenas.com/community/resources/terminology-and-abbreviations-primer.37/

In aggiunta a quanto detto da @glauco, dischi che vanno a RPM maggiori consumano di più e producono più calore.
Per quanto riguarda gli HBA, questa risorsa è un must read.

Anche io sono del parere che ti conviene creare subito un mirror... meno brigoso in generale. Puoi utilizzare diversi modi per copiare i dati... dal resync al zfs send | receive alla banale copia tramite SMB o NFS.

 

[apsx]

Grazie.

Avevo letto tempo fa la differenza tra CMR ed SMR ed il fatto che fossero sconsigliati gli SMR in Raid.

Mah, io stavo valutando appunto i Tohsiba e anche i Seagate (piu' che altro perche' non costano cifre esagerate, considerata la capacità). E li ho trovati solo in versione da 7200 rpm.

E' vero che consumano di piu', ma se alla fine ne ho 2 invece di 6, comunque dovrei complessivamente consumare meno.

Il Nas sta in stanza dedicata per cui poco importa l'eventuale rumore.

A me interessano soprattutto i seguenti punti.
1) Che sia affidabile ed idoneo all'utilizzo in RAIDZ
2) Che siano capaci (14-18 TB)
3) Che non costino un rene. Ho visto che si va dai 215/250 a cifre decisamente superiori (piu' del doppio). Non vorrei svenarmi.

NB: Non e' che abbia scelto RAIDZ e Zfile per motivi particolari.
Ho anche un secondo NAS con OpenMediaVault con due dischi in mirroring.
Mi aveva incuriosito Freenas (ora diventato Truenas versione free) ed ho voluto provarlo.
Nessun problema ad abbandonarlo e tornare ad OpenMediaVault o anche ad altri prodotti. Potrei anche pensarci.

Ho visto che non e' molto flessibile.
Se creo un RAIDZ con enne dischi poi non posso modificarlo ma posso solo aumentare progressivamente le dimensioni dei singoli dischi fino ad averli sostituiti tutti oppure backup dei dati, drop e ricreazione del poolZ.

Dovendo rifarlo, a questo punto vorrei fare le scelte migliori.


Tecnicamente, anch'io preferirei fare subito un RAIDZ1 (se ho scritto correttamente), collegare due dischi, copiare il copiabile (anche con SMB per dire, collegato via ethernet localmente dal PC vicino).

Come dicevo, riassumendo, ho scheda madre con 6 porte SATA native e scheda PCIe (di cui abbiamo già parlato) con 4 porte.

Ora, 6 porte mi servono per i dischi attuali RAIDZ, 2 porte le sto utilizzando per gli SSD di Boot, 2 porte sono libere e potrei attaccarci i due dischi nuovi (che pero' ordinerò a fine settembre in quanto a fine settimana vado via per un po').

Ero in dubbio sul discorso di eliminare alla fine la PCIe (o di sostituirla con una certificata) e sono pure in dubbio se attaccare alla PCIe i due dischi di boot e lasciare i 6 della motherboard dedicati allo storage.

 

[glauco]

Tecnicamente, anch'io preferirei fare subito un RAIDZ1 (se ho scritto correttamente), collegare due dischi

Due dischi soli ti conviene metterli in un vdev di tipo mirror piuttosto che raidz1.

Se riesci a fare a meno del controller SATA aggiuntivo, fossi in te, ne farei a meno, per semplificarti la vita.
Se proprio ti piace il rischio e riesci a bootare da un disco sul controller SATA, magari prova come hai detto tu, boot pool sul controller SATA e pool dati sulle porte SATA della scheda madre, così non rischi di compromettere i dati.
E poi salvati sempre il file di configurazione aggiornato di TrueNAS prima di fare operazioni pericolose, così se mandi in vacca il boot pool, puoi sempre fare una installazione da zero e ripristinare la vecchia config.

Se il rumore non è un problema, non li ho mai avuti, ma vedo su Amazon questi HDD di fascia enterprise Seagate Exos che costano poco rispetto agli altri, e sono pure self-encrypted drives, utile in caso di furto del NAS affinché il ladro non veda i tuoi dati o se devi fare un RMA e non ti va/è tecnicamente impossibile fare un wipe. Anche qui, valuta quanto vuoi complicarti la vita...

 

[Davvo]

Puoi sempre fermarli se non accedi ai dati frequentemente.

 

[apsx]

Diciamolo sinceramente, i dati sono praticamente i salvataggi dei miei 'vecchi' PC, le mie fotografie e i miei filmati video amatoriali di una vita.

Tanta roba perche' risaliamo ad almeno 20 anni fa, varie copie, fotografie in formato raw, video da mini8 fino a 4K in prores, con tutta la storia del video dai primi VHS ad oggi (e relative prove di montaggio da Pinnacle a Da Vinci passando per Vegas Pro).

Valore affettivo infinito (ma non dimostrabile), valore reale nullo. Tutti filmati miei di viaggi, eventi, vacanze.

Ho fatto l'informatico per una vita (da programmatore a specialista IT ad architetto di infrastruttura).
Non sono un esperto di storage, lo conosco piu' per sentito dire e tramite colleghi specialisti ma non era il mio settore ed ora che sono quasi in pensione mi piace smanettare per i fatti miei sbattendoci la testa.

Di crittografia mi sono occupato, ho dovuto proporla diverse volte, ma non l'amo particolarmente (non voglio essere frainteso, in molti casi e' fondamentale, ma nel mio caso specifico puo' solo crearmi problemi).

Per questo volevo chiarire una cosa.

Il fatto che siano self-encrypted drives cosa significa esattamente?

Io sapevo che ci voleva un SW di crittografia ed una chiave per criptare condivisa con chi ha l'esigenza di decriptare, per farla molto breve, ed il problema era come dove e da chi conservare la chiave perche' in caso di perdita della stessa era impossibile recuperare il contenuto dei dischi mentre in caso di furto, addio alla sicurezza. E si aprivano discorsi di responsabilità su chi fosse responsabile della chiave (anche per motivi legali ma andremmo troppo OT e non e' il caso, non sono sufficientemente preparato).

Detto cio'.
C'e' il rischio in caso di problemi che non riesca a decriptare i dati?
Cioe' devo adottare provvedimenti diversi rispetto ad un disco normale? (o mi sto solo fasciando la testa inutilmente?).

Mi attiravano proprio i Segate non tanto per il marchio ma per il prezzo.
Ne piglierei 2 da 18 o addirittura da 20 TB e sono a posto.

Come faccio a fermarli se non accedo ai dati ? Via configurazione? via SW ? c'e' qualche comando particolare?

Ho letto in rete alcuni commenti relativi a questi dischi specifici in cui dicevano che dopo un po' si spengono e ci mettono tempo prima che si riattivino.

Il NAS lo accenderei solo quando mi serve.

Per il rumore non vedo problemi. L'importante e' che funzionino bene e siano sufficientemente affidabili.

Grazie !!!

 

[Davvo]

Il fatto che siano self-encrypted drives cosa significa esattamente?

Un disco SED è bloccato da password e va sbloccato singolarmente per avere accesso ai dati.

C'e' il rischio in caso di problemi che non riesca a decriptare i dati?

Yup. Qualsiasi tipo di crittografia abbinata a ZFS ti da tanti problemi se perdi le chiavi di accesso. Coi SED perdi totalmente l'accesso.