Umstieg von OMV Raspi NAS auf TrueNAS (Anfänger)

[s1mmi]

Hallo,

ich habe auf meiner Recherche dieses Forum gefunden und bin nun ganz frisch angemeldet.
Entschuldigt es also bitte, falls ich dumme fragen stelle (seht es mir bitte nach).

Aktuelle Situation ist wie folgt bei mir:
Ich habe seit nun 2 Jahren einen Raspberry 4 als HomeNAS (OpenMediaVault als Betriebssystem) mit zwei externen 12 TB (WD Elements) Platten. Eine als ext4 und die andere als ntfs formatiert. Auf die eine wird aktiv geschrieben (hauptsächlich größere Videodateien etc...) auf die zweite wird jede Nacht über (ich glaube) rsync eine Kopie gezogen. Damit die Daten "einigermaßen" sicher sind...naja.

Mit der reinen Performance war ich relativ zufrieden, jedoch hatte ich nun immer wieder sorgen bezüglich der Datensicherheit. Auf einen Ausfall habe ich wenig Lust.
Also nehme ich ein wenig Geld in die Hand und möchte mir ein TrueNAS - Heimserver bauen. Zunächst als Datenspeicher, aber vielleicht zukünftig auch um VMs darauf laufen zu lassen...besonders als "Media Encoding Machine" o.Ä. fände ich das spannend....

Hardware:
Ryzen 5600x (ich weiß, ich weiß vollkommen overkill!!! Aber ich hatte ihn noch)
Asus Tuf B-550 Plus Motherboard
Kingston 16 GB 3200MT/s DDR unbuffered ECC RAM
zwei zusätzliche 12TB WD Elements (Ich weiß...irgendwie unschön externe Festplatten aufzuschrauben, aber sind halt preislich sehr attraktiv)

Jetzt habe ich viel geschrieben und noch keine Fragen gestellt, also:
1. Wie ziehe ich die Daten am Besten um? Langfristig möchte ich gerne alle 4 12TB Festplatten benutzen (als RAIDZ1 oder Z2), aber zunächst kann ich nur 2 einbauen, da ja die anderen noch am Raspi hängen. Geht es, dass ich aus den zwei 12TB einen (ich glaube es heißt) Pool erstelle (RAIDZ1), die Daten sichere und dann diesen Pool um die andern zwei Festplatten erweitere?
2. Ich habe noch eine 500GB Sata SSD rumliegen, kann ich diese irgendwie sinnvoll nutzen (als Cache, zum verbessern von Ladezeiten etc.), oder bringt sie mir absolut nichts?
3. Würde mir gerne noch ein UPS zulegen, habe ein Auge auf das Eaton USV Ellipse ECO 650 USB DIN geworfen. Dort sollte es doch möglich sein, dass ich dem NAS über USB mitteile, dass der Strom weg ist und dann innerhalb von kurzer Zeit der Server kontrolliert herunterfährt, oder?

Viele (vielleicht auch dumme) Fragen, ich bin sehr dankbar über eure Antworten!
MfG

​

 

[s1mmi]

Eines möchte ich gerne noch hinzufügen...Aktuell favorisiere ich TrueNAS Scale, außer ihr würdet mir empfehlen TrueNAS zu nutzen...

 

[micneu]

- also, die festplatten die du einsetzen willst sind aber nicht für 24/7 betrieb ausgeleget, ich persönlich würde das nicht riskieren.
habe ich richtig gelesen das du 1 x 16GB Ram einbauen willst, gerade wenn du virtualisieren willst ist es nach meinem geschmack doch recht wenig (ich ägere mich bei meinem system das ich keine 128GB verbauen kann)
- zum scale kann ich nichts sagen, ich setze die core ein und das reicht mir
- zur ssd cache, einfach mal die forum suche nutzen, wurde hier schon öfter behandelt

 

[emk2203]

Also, dein RPi-OMV-System ist eine kreative Lösung, die man sich als Anfänger gerne mal überlegt.

Mit zunehmender Erfahrung merkt man dann, wo die versteckten Nachteile solcher Ideen liegen. Insofern ist der Umstieg eine gute Idee. Der zukünftige Heimserver als reiner Datenspeicher für ein oder zwei User ist OK. Da reichen auch die 16 GB. Ich hab 32 GB und noch 25 GB frei, wenn die Kiste nur den Pool resilvered. VMs darauf laufen lassen würde ich eher mit 32 GB. Für Media Encoding brauchst du Power in der CPU, die der Ryzen ja wohl bietet, also alles safe.

Aber hast du dir mal den Stromverbrauch überlegt? Das System soll wohl 24/7 laufen, dann kannst du ein Wattmeter dranhängen und den Wert mit 8,76 malnehmen für die kWh im Jahr. Derzeit 0,50€/kWh ist beachtlich.

Zum Daten umziehen: Besorg dir leihweise eine zusätzliche Platte und bau den Pool von vornherein aus 4 Festplatten auf. Pool erweitern bei zfs ist seit 07.02.2022 in FreeBSD, aber momentan noch nicht in TrueNAS realisiert, da es FreeBSD etwas hinterherhinkt. Kommt wahrscheinlich dann im nächsten Release. Theoretisch könntest du aber den Pool aus zwei Platten aufbauen und dann mit einem FreeBSD-Livesystem den Pool erweitern, dann unter TrueNAS weiternutzen. Das ist aber rein theoretisch und würde ich nur im Testsystem erproben. Was geht, ist die zwei Platten um einen Mirror aus weiteren zwei Platten zu erweitern. Vorteil: Hohe Datensicherheit und schnell, Nachteil: Viel Platz verschenkt.

zfs möchte eine gute Planung am Anfang, dann hast du viel Freude am System. Bei 12 TB Platten ist RAIDZ1 schon etwas riskant im Fehlerfall. Dann hast du keine Redundanz mehr, wenn eine Platte kaputt ist oder während der Pool auf die neue Festplatte resilvered, und das dauert eben ein paar Stunden.

Bei so wenig Platten würde ich aber wohl auch ein RAIDZ1 nehmen. Ich hab 5 Platten im RAIDZ1 Verbund. RAIDZ2 nehme ich erst ab 6 Platten, weil sonst der verschwendete Platz zu groß ist.

Die SSD laß weg im Pool mit den Harddrives. Bringt dir nichts, macht nur das System komplizierter und fehleranfälliger. Bau sie lieber als zusätzlichen Pool ein.

UPS ist gut. Stromausfälle werden in Zukunft nicht weniger werden.

 

[s1mmi]

- also, die festplatten die du einsetzen willst sind aber nicht für 24/7 betrieb ausgeleget, ich persönlich würde das nicht riskieren.
habe ich richtig gelesen das du 1 x 16GB Ram einbauen willst, gerade wenn du virtualisieren willst ist es nach meinem geschmack doch recht wenig (ich ägere mich bei meinem system das ich keine 128GB verbauen kann)
- zum scale kann ich nichts sagen, ich setze die core ein und das reicht mir
- zur ssd cache, einfach mal die forum suche nutzen, wurde hier schon öfter behandelt

-Laut einiger Berichte (auf YouTube etc.) sollen wohl die verbauten Platten baugleich mit WD Red sein. Deshalb würde ich es erstmal riskieren. Mein Nutzungsverhalten ist meist so, dass ich zu einem Zeitpunkt konzentriert auf die Platten zugreife (für 2-3 Stunden) und danach mal 1,2,3 Tage wieder nicht. Würde es dann Sinn ergeben, wenn man den Platten erlaubt runterzufahren, oder treibt das nur den LCC hoch?
-Ja, erstmal 16GB, natürlich fände ich mehr deutlich besser, aber ECC Ram ist nicht super billig und ich will erstmal mit den 16 Erfahrungen sammeln und dann weiterschauen....

 

[s1mmi]

Also, dein RPi-OMV-System ist eine kreative Lösung, die man sich als Anfänger gerne mal überlegt.

Mit zunehmender Erfahrung merkt man dann, wo die versteckten Nachteile solcher Ideen liegen. Insofern ist der Umstieg eine gute Idee. Der zukünftige Heimserver als reiner Datenspeicher für ein oder zwei User ist OK. Da reichen auch die 16 GB. Ich hab 32 GB und noch 25 GB frei, wenn die Kiste nur den Pool resilvered. VMs darauf laufen lassen würde ich eher mit 32 GB. Für Media Encoding brauchst du Power in der CPU, die der Ryzen ja wohl bietet, also alles safe.

Aber hast du dir mal den Stromverbrauch überlegt? Das System soll wohl 24/7 laufen, dann kannst du ein Wattmeter dranhängen und den Wert mit 8,76 malnehmen für die kWh im Jahr. Derzeit 0,50€/k
Wh ist beachtlich.


Zum Daten umziehen: Besorg dir leihweise eine zusätzliche Platte und bau den Pool von vornherein aus 4 Festplatten auf. Pool erweitern bei zfs ist seit 07.02.2022 in FreeBSD, aber momentan noch nicht in TrueNAS realisiert, da es FreeBSD etwas hinterherhinkt. Kommt wahrscheinlich dann im nächsten Release. Theoretisch könntest du aber den Pool aus zwei Platten aufbauen und dann mit einem FreeBSD-Livesystem den Pool erweitern, dann unter TrueNAS weiternutzen. Das ist aber rein theoretisch und würde ich nur im Testsystem erproben. Was geht, ist die zwei Platten um einen Mirror aus weiteren zwei Platten zu erweitern. Vorteil: Hohe Datensicherheit und schnell, Nachteil: Viel Platz verschenkt.

zfs möchte eine gute Planung am Anfang, dann hast du viel Freude am System. Bei 12 TB Platten ist RAIDZ1 schon etwas riskant im Fehlerfall. Dann hast du keine Redundanz mehr, wenn eine Platte kaputt ist oder während der Pool auf die neue Festplatte resilvered, und das dauert eben ein paar Stunden.

Bei so wenig Platten würde ich aber wohl auch ein RAIDZ1 nehmen. Ich hab 5 Platten im RAIDZ1 Verbund. RAIDZ2 nehme ich erst ab 6 Platten, weil sonst der verschwendete Platz zu groß ist.

Die SSD laß weg im Pool mit den Harddrives. Bringt dir nichts, macht nur das System komplizierter und fehleranfälliger. Bau sie lieber als zusätzlichen Pool ein.

UPS ist gut. Stromausfälle werden in Zukunft nicht weniger werden.

Danke für deine ausführliche Antwort! Genau die Nutzung als Datenspeicher ist zunächst primär das wichtigste. Deshalb erstmal 16 GB und dann weiterschauen.
Mhh ja über den Stromverbrauch habe ich mir auch schon Gedanken gemacht...aber die Frage ist was ich daran (groß) ändern kann, wenn es nicht bei der RPi Lösung bleiben soll.

Meinst du, dass ich dann den Pool mit einer fremden Platte aufbaue und danach einfach die Platte "verschwinden lasse" und durch eine der RPi Platten ersetze? Das wäre eine Überlegung wert, dann muss ich nur schauen wo ich zwei weitere 12TB Platten herbekomme.
Denn die FreeBSD Lösung klingt so, als würde ich sie nur mit sehr sehr viel Recherche machen können....
Die Mirrorvariante klingt für mich allerdings auch nach eine Alternative. 24TB sollten erstmal reichen, jedoch stört mich daran die langfristige Perspektive, denn das würde ja bedeuten (bitte korrigiere mich, falls falsch) dass ich den Pool immer nur um weitere Mirror VDevs erweitern könnte. Somit wenn ich (bspw.) irgendwann 10 Platten hätte, wäre nur der Speicher von 5 von diesen "nutzbar", oder?

Jetzt nach ein bisschen mehr Recherche muss ich sagen, dass ich es bevorzugen würde das erste VDev direkt aus 4 Platten aufzubauen, denn ich halte 4 Platten für eine gute Anzahl um auch zukünftig zu erweitern...
Andererseits könnte man natürlich erstmal das System mit Mirrors aufbauen, die nächsten Jahre so nutzen (und von Sicherheit und Geschwindigkeit profitieren...) und bis dahin sollte es doch auch in TrueNAS möglich sein den Pool (bzw. die VDevs) zu erweitern? Könnte man in diesem Fall dann auch aus einem Mirror ein RaidZ1 (Z2) machen, oder nicht?

Dann werde ich wohl mit der SSD was anderes machen...mal schauen.

Und UPS wird dann wohl auch angeschafft ;D

Ps: Sorry für die vielen neuen Fragen....

 

[s1mmi]

Jetzt nach ein bisschen mehr Recherche muss ich sagen, dass ich es bevorzugen würde das erste VDev direkt aus 4 Platten aufzubauen, denn ich halte 4 Platten für eine gute Anzahl um auch zukünftig zu erweitern...

*Vielleicht sogar eher noch 5 Platten und dann direkt RaidZ2...mmh

 

[ChrisRJ]

Denn die FreeBSD Lösung klingt so, als würde ich sie nur mit sehr sehr viel Recherche machen können....

In gewisser Weise ja. Wobei es mehr um ZFS als FreeBSD geht. ZFS wurde fuer den Einsatz in wirklich grossen Szenarien entwickelt, entsprechend ist die Lernkurve. Fuer jemanden, der sich nicht mit der Materie beschaeftigen moechte, ist es daher nur bedingt geeignet. Auf der anderen Seite winkt als Lohn ein System, das mit denen von EMC, HP etc. mithalten kann. Und die kosten mind. sechsstellig.

 

[emk2203]

Ich hab übrigens jetzt schon das dritte Mal Festplatten wegen Defekten ausgetauscht, über die 13 - 14 Jahre mit NAS-Lösungen nicht verwunderlich. Bisher hat mich zfs jedesmal rechtzeitig gewarnt. Selbst als mal zwei Platten im RAIDZ1 anfingen zu spinnen, konnte ich noch rechtzeitig eine nach der anderen austauschen. Allein die Sicherheit ist durch nichts zu ersetzen, und die bekommst du auch mit keiner anderen Lösung.

Wenn zfs dir schon erste Fehler zeigt, ist SMART noch im Tiefschlaf. Ich würde auch zu einem 5-Platten-System mit RAIDZ1 oder RAIDZ2 tendieren.

 

[Pitfrr]

Einige Punkte die ich noch hinzufügen wollte (ich habe den Thread hier schnell gelesen und habe es auch vielleicht übersehen )
- Achtung: bei der Plattenauswahl, keine SMR Platten nehmen!!
- Bei neue (oder auch gebrauchte) Festplatten: gründlich einlaufen
- Bei Festplatten >1-2TB ist RAIDz1 nicht empfohlen (das Risiko eines Fehlers (URE: Unrecoverable Read Error) ist dann zu hoch aber, wie @emk2203 sagt, es kann ja auch in RAIDz1 gut gehen... hängt auch davon ab, wie viel du an deine Daten hältst... )
- Über Backups habe ich nichts gesehen... man sollte aber daran denken wenn man ein System neu erstellt (oder bei Systemwechsel). Also zur Frage 1, der erste Schritt sollte, meiner Meinung nach, Backups sein. Wie es gemacht wird... (extra Festplatten kaufen oder online, oder ...) ist egal es ist jedoch besser eine Lösung zu wählen, die auch Langfristig haltbar ist.

 

[s1mmi]

In gewisser Weise ja. Wobei es mehr um ZFS als FreeBSD geht. ZFS wurde fuer den Einsatz in wirklich grossen Szenarien entwickelt, entsprechend ist die Lernkurve. Fuer jemanden, der sich nicht mit der Materie beschaeftigen moechte, ist es daher nur bedingt geeignet. Auf der anderen Seite winkt als Lohn ein System, das mit denen von EMC, HP etc. mithalten kann. Und die kosten mind. sechsstellig.

Absolut, ein bisschen will ich mich schon damit beschäftigen. Aber aktuell traue ich mir noch nicht zu, "so" weit zu gehen...aber mal schauen was die Zukunft bringt ;D

 

[s1mmi]

Ich hab übrigens jetzt schon das dritte Mal Festplatten wegen Defekten ausgetauscht, über die 13 - 14 Jahre mit NAS-Lösungen nicht verwunderlich. Bisher hat mich zfs jedesmal rechtzeitig gewarnt. Selbst als mal zwei Platten im RAIDZ1 anfingen zu spinnen, konnte ich noch rechtzeitig eine nach der anderen austauschen. Allein die Sicherheit ist durch nichts zu ersetzen, und die bekommst du auch mit keiner anderen Lösung.

Wenn zfs dir schon erste Fehler zeigt, ist SMART noch im Tiefschlaf. Ich würde auch zu einem 5-Platten-System mit RAIDZ1 oder RAIDZ2 tendieren.

Das ist wirklich gut zu wissen, das war noch ein weiterer Grund von der RPi Lösung zu wechseln, denn SMART vertraue ich nicht so richtig. Muss ich irgendwas dafür tun, dass ich benachrichtigt werde, oder macht das TrueNAS von ganz alleine?

In den letzten Tagen tendiere ich eher zu einer "safe" Lösung. Wenn man 2x Mirror VDevs (ingesamt 4 Platten) mit 1x VDev mit 4/5 Platten in RaidZ2 vergleicht, was würdest du/ihr sagen, was ist schneller und welches ist sicherer?

 

[s1mmi]

Einige Punkte die ich noch hinzufügen wollte (ich habe den Thread hier schnell gelesen und habe es auch vielleicht übersehen )
- Achtung: bei der Plattenauswahl, keine SMR Platten nehmen!!
- Bei neue (oder auch gebrauchte) Festplatten: gründlich einlaufen
- Bei Festplatten >1-2TB ist RAIDz1 nicht empfohlen (das Risiko eines Fehlers (URE: Unrecoverable Read Error) ist dann zu hoch aber, wie @emk2203 sagt, es kann ja auch in RAIDz1 gut gehen... hängt auch davon ab, wie viel du an deine Daten hältst... )
- Über Backups habe ich nichts gesehen... man sollte aber daran denken wenn man ein System neu erstellt (oder bei Systemwechsel). Also zur Frage 1, der erste Schritt sollte, meiner Meinung nach, Backups sein. Wie es gemacht wird... (extra Festplatten kaufen oder online, oder ...) ist egal es ist jedoch besser eine Lösung zu wählen, die auch Langfristig haltbar ist.

Danke für die Nachricht.
-Yes sind meines Wissens nach CMR Platten, werde ich aber (sobald das System steht (vermutlich nach Weihnachten)) nochmal kontrollieren.
-Wie würdest du sie einlaufen lassen? Wie geht man da vor?
-Das stimmt, aktuell tendiere ich auch für eine "Safe" Lösung, denn meine Daten sind mir schon wichtig....
-Ja Backup steht auf dem Plan für nächstes Jahr, erstmal muss das Hauptsystem stehen und dann werde ich mal schauen. (Kostet ja auch alles Geld), für das Backup könnte ich mir durchaus wieder eine RPi Lösung vorstellen, dafür sollte es ja eigentlich reichen...mal schauen

 

[s1mmi]

Mal eine andere Frage:
1. Fälschlicherweise wurde mir jetzt 1x 16GB ECC RAM und nicht 2x 8GB ECC zugeschickt. Soll ich den zurück schicken, oder ist das vielleicht sogar praktisch, weil man zukünftig stärker erweitern kann? Dafür hätte ich jetzt erstmal keinen Dual Channel....
2. TrueNAS Core oder TrueNAS Scale?
Schönen Abend euch noch!

 

[emk2203]

Na ja, ich lege schon viel Wert auf meine Daten, aber wenn man auf die Tests achtet, kann man Platten ersetzen, bevor sie unlesbar werden. Die Empfehlung, bei größeren Platten kein RAIDZ1 zu verwenden, halte ich deshalb für übertrieben. Jedenfalls bei maximal 5 Platten im Pool. Bei meinen Platten mit Fehlern beim Scrubbing hat es mindestens eine Woche gedauert, bis die wirklich hin waren. In der Zeit konnte ich problemlos die Pools neu bestücken, und Fehler wurden über die Mechanismen von zfs korrigiert.

 

[s1mmi]

Na ja, ich lege schon viel Wert auf meine Daten, aber wenn man auf die Tests achtet, kann man Platten ersetzen, bevor sie unlesbar werden. Die Empfehlung, bei größeren Platten kein RAIDZ1 zu verwenden, halte ich deshalb für übertrieben. Jedenfalls bei maximal 5 Platten im Pool. Bei meinen Platten mit Fehlern beim Scrubbing hat es mindestens eine Woche gedauert, bis die wirklich hin waren. In der Zeit konnte ich problemlos die Pools neu bestücken, und Fehler wurden über die Mechanismen von zfs korrigiert.

Mhh ok, vermutlich hast du recht, kann man eigentlich einstellen, dass man via Mail benachrichtig wird falls es Anzeichen eine Fails gibt?
Vermutlich wäre aber ein System mit 2 VDevs schneller, oder macht das keinen Unterschied?

 

[emk2203]

Der Geschwindigkeitsunterschied ist marginal, wenn du nicht gerade 10GBit Netzwerk hast. Eine 1 GBit Leitung kann selbst von meinem uralten N40L Microserver ausgelastet werden (1 vdev mit 5 Platten, RAIDZ1).

Mail kann man einstellen. Sehr komfortabel. Ich nutze aber auch nur 5% aller Features von TrueNAS.

 

[s1mmi]

Ok das ist gut, ich habe sowohl am NAS als auch am "Haupt-Nutzer" 2,5GBit, ich denke ist ein guter Mittelweg zwischen Preis und Leistung. Aus deiner Signatur entnehme ich, dass du TrueNAS Core nutzt, hast du jemals darüber nachgedacht auf Scale zu wechseln, oder macht das schlichtweg keinen Sinn?

 

[ChrisRJ]

Mal eine andere Frage:
1. Fälschlicherweise wurde mir jetzt 1x 16GB ECC RAM und nicht 2x 8GB ECC zugeschickt. Soll ich den zurück schicken, oder ist das vielleicht sogar praktisch, weil man zukünftig stärker erweitern kann? Dafür hätte ich jetzt erstmal keinen Dual Channel....

Ich wuerde das 16 GB Modul behalten. Relativ zu HDDs ist der Unterschied voellig zu vernachlaessigen.

2. TrueNAS Core oder TrueNAS Scale?

Core ist wesentlich reifer und stabiler. Fuer mich ist Scale mind. noch 2 Jahre nicht relevant.

 

[ChrisRJ]

Na ja, ich lege schon viel Wert auf meine Daten, aber wenn man auf die Tests achtet, kann man Platten ersetzen, bevor sie unlesbar werden. Die Empfehlung, bei größeren Platten kein RAIDZ1 zu verwenden, halte ich deshalb für übertrieben. Jedenfalls bei maximal 5 Platten im Pool. Bei meinen Platten mit Fehlern beim Scrubbing hat es mindestens eine Woche gedauert, bis die wirklich hin waren. In der Zeit konnte ich problemlos die Pools neu bestücken, und Fehler wurden über die Mechanismen von zfs korrigiert.

Das ist Deine persoenliche Erfahrung und ich freue mich wirklich fuer Dich, dass es so ausgegangen ist. Aber daraus eine allgemeine Sicht zu machen ist keine gute Idee. Ich habe meinen Sicherheitsgurt beim Autofahren in 30 Jahren auch noch nie gebraucht. Aber deshalb lege ich ihn trotzdem an. Und schliesslich, um wieder mehr auf die praktische Ebene zu kommen, sind Eure Systeme unterschiedlich, haengen an unterschiedlichen Elektroinstallationen usw. Klar wird es mit ueber 95% Wahrscheinlichkeit gut gehen. Aber es wird ein zusaetzliches Risiko eingefuegt, das nicht ignoriert werden sollte.

Das ist meine Sicht und sie ist stark vom Wert der Daten gepraegt, mit denen ich beruflich zu tun habe. Ob diese paranoide Sicht relevant ist, muss jeder fuer sich selbst entscheiden. In jedem Fall danke fuer die Sichtweise.