Allgemeine Verständnisfrage bevor ich alles fertig aufsetze

[Entdeckerfuchs]

Hallo,

ich komme aus der Linux bzw. OMV Welt und möchte nun ein Truenas System aufbauen um meine Daten zu speichern (kein Backup).
Viel gelesen habe ich schon und auch schon ein Truenas in einfacher Variante mit Hardware, die ich noch hatte, aufgesetzt.

Jetzt möchte ich einen Pool aufsetzen mit Vdev's oder eben mehrere Poole, das kommt eben darauf an.
Ich verstehe es immer so, dass ein Pool aus mehreren Vdev's bestehen kann, aber wenn ein Vdev komplett ausfällt, dann sind alle Daten (auch der anderen Vdev's) weg?
Oder bekomme ich die irgendwie wieder?

Für meinen geplanten Pool habe ich folgende Platten zur Verfügung:
2x 4TB WD Red
2x 3TB Iron Wolf
2x 1,5TB WD green

Irgendwo, wenn nötig, habe ich auch noch 2x1TB WD yellow rumliegen...

Mein Plan war es eigentlich, jeweils 3 Vdev's Mirror in einen Pool zu setzen. Aber wie oben schon geschrieben, irrtiert mich die Aussage, dass der Verlust eine Vdev's den Verlust des Pools zur Folge hat.
Macht es also mehr Sinn 3 Poole (ist das der Plural?) mit jeweils einem Vdev aufzusetzen?

 

[janos66]

aber wenn ein Vdev komplett ausfällt, dann sind alle Daten (auch der anderen Vdev's) weg?

das ist Quatsch, der Sinn von ZFS ist eben das zu verhindern, aber natürlich kann ZFS nicht vor falschen Umgang mit den gegebenen Möglichkeiten schützen.
Meint das du dich erst einmal etwas mit den Grundlagen auseinandersetzen solltest, bevor du Deine Daten einer Dir noch unbekannten Technik anvertraust.

ZFS 101—Understanding ZFS storage and performance

Learn to get the most out of your ZFS filesystem in our new series on storage fundamentals.

arstechnica.com

Beginner's guide to ZFS. Part 1: Introduction

In this series of videos I demonstrate the fantastic file system called ZFS.Part 1 is an introduction explaining what ZFS is and the things it is capable of ...

www.youtube.com

Ich würde Dir empfehlen drei Mirror Pools zu erstellen und dich dann erst mal mit ZFS und TrueNas vertraut machst.
Idealerweise baut man gleiche Platten in einem Pool zusammen.

Zpool 1 - 2x 4TB WD Red
Zpool 2 - 2x 3TB Iron Wolf
Zpool 3 - 1,5TB WD green

Man kann aber auch mischen, z.B könntest du auch zwei Raidz Pools (4x3TB und 4x 1TB) aus deinen Platten erstellen, dafür müsstet du aber die Platten vorher entsprechend partitionieren und die Pools auf der Konsole erstellen, beides wird nicht supported und ich hoffe mich steinigt hier niemand, dass ich das überhaupt erwähne ;)
Solche Experimente aber nur machen wenn du ein Backup von deinen Daten hast, was du in jedem Fall ohnehin haben solltest, ZFS ist wie jedes andere Raid kein Backup.

 

[Entdeckerfuchs]

Danke für die Hilfestellung. Backup von den Daten habe ich immer auf einem externen Laufwerk, Raid ist ja keine Sicherung.

Ich komme aus der Welt des "normalen" Linux, wo ich die Raid Stufen auch als Software Raid eben nur mit EXT4 kenne. Mir ist klar, wenn ich einen kompletten Mirror verliere, dann sind auch meine Daten darauf weg. Aber die Aussage, dass der komplette Verlust eines Vdev's (mir mir wäre das ein Mirror), den Verlust des gesamten Pools zur Folge hat (wenn auch andere Vdev's damit verbunden sind) ist mir der Grund unklar.

BTW: Konsole ist kein Problem ...

 

[janos66]

dass der komplette Verlust eines Vdev's (mir mir wäre das ein Mirror), den Verlust des gesamten Pools zur Folge hat

ein VDEV kann eine Platte sein aber auch ein Mirror den du dann z.B. mit einem zweiten Mirror zu einem Raid10 zusammenbaust.
Datenverlust hast du nur wenn du mehr Patten verlierst als die Parity von deinem Raid-Level zulässt, also z.B zwei Platten bei RaidZ.
Im Raid10 Beispiel würde der Ausfall eines VDEVs zu Datenverlust führen, aber es kommt wie gesagt darauf an wie du deine Platten organisierst.

 

[Entdeckerfuchs]

Dann könnte ich aber doch einen Pool aufbauen der aus 2 Vdev's besteht:
2x 4TB als Mirror
und 2x3TB als Mirror

Dann hätte ich doch das äquivalent zu Raid10 und bin safe solange mir nicht 2 Platten aus dem selben Vdev sterben.

Die beiden anderen 2x1,5TB setze ich dann in einen separaten Mirror.

 

[janos66]

ja wenn Dir 6TB netto reichen, ich sehe zwar den Nutzen von Raid10 auf einem privaten NAS nicht wirklich, aber jeder hat da seine Präferenzen.
Ich benötige eher Kapazität und sequentiellen Durchsatz, für 4K random IOPs habe ich extra einen NVME Zpool.

Unter der Vorausetzung, dass wir über ein privates single User NAS sprechen, bei dem überwiegend nicht mehr als eine Application IOPs verusacht und ein automatisches Backup der Daten erfolgt, sind das Deine Optionen.

Aus 17TB Brutto

Supported über GUI
------
Mirror - 2 x 4 = 4TB
Mirror - 2 x 3 = 3TB
Mirror - 2 x 1,5 = 1,5TB
Netto 8,5 TB
------

Nicht supported und nur über CLI möglich
------
Raid10 - 2 x 3 + 2 x 3 = 6TB
Mirror - 2 x 1,5 = 1,5TB
Mirror - 2 x 1TB = 1TB
Netto 8,5 TB

RaidZ - 4 x 3 = 9TB
RaidZ - 4 x 1 = 3TB
Mirror 2 x 500 = 500GB
Netto 12,5 TB

RaidZ - 4 x 3 = 9TB
Stripe - 4 x 1 = 4TB
Mirror - 2 x 500 = 500GB
Netto 13,5TB
------

 

[ChrisRJ]

ich komme aus der Linux bzw. OMV Welt und möchte nun ein Truenas System aufbauen um meine Daten zu speichern (kein Backup).

Warum moechtest Du auf TrueNAS gehen? Ich frage, weil in den letzten Monaten vermehrt Leute ins Forum kommen, die von eher zweifelhaften YouTube Videos animiert wurden. Die allermeisten Videos zu TrueNAS sind leider voelliger Schrott. Einzige Ausnahme, die mir spontan einfaellt, ist Tom von Lawrence Systems - den kann ich empfehlen.

TrueNAS ist toll, wenn der Use-Case passt und man mit den Einschraenkungen von ZFS und TrueNAS leben kann und will. Aber es ist, nicht zuletzt weil es primaer fuer den Highend-Einsatz entwickelt wurde, fuer den Einsatz im Privatbereich nicht uneingeschraenk geeignet.

Für meinen geplanten Pool habe ich folgende Platten zur Verfügung:
2x 4TB WD Red
2x 3TB Iron Wolf
2x 1,5TB WD green

Irgendwo, wenn nötig, habe ich auch noch 2x1TB WD yellow rumliegen...

Bei allen Platten unbedingt pruefen, ob es SMR Modelle sind. Diese sind fuer ZFS komplett ungeeignet.

Mein Plan war es eigentlich, jeweils 3 Vdev's Mirror in einen Pool zu setzen.

Das ist ein sehr verbreiteter Ansatz.

Aber wie oben schon geschrieben, irrtiert mich die Aussage, dass der Verlust eine Vdev's den Verlust des Pools zur Folge hat.

Ein vdev faellt aus, wenn im Falle eines Falles keine Redundanz mehr da ist. Bei einem 2-way mirror, wie sie bei Dir zum Einsatz kaemen, waere das dann der Fall, wenn beide Platten eines vdev ausfallen. Wenn man sich gegen den Ausfall von 2 Platten absichern moechte, gibt es 3-way mirrors oder RAIDZ2. Beides ist mit Deinen Platten nicht sinnvoll darstellbar.

Macht es also mehr Sinn 3 Poole (ist das der Plural?) mit jeweils einem Vdev aufzusetzen?

Kommt auf Deine Anforderungen an. Hat beides seine Vor- und Nachteile.

Ich empfehle als Lektuere die ersten 5-10 Themen aus den Recommended Readings in meiner Signatur.

 

[bic]

Hier mal eine schöne Einführung auf deutsch

 

[Entdeckerfuchs]

Warum moechtest Du auf TrueNAS gehen? Ich frage, weil in den letzten Monaten vermehrt Leute ins Forum kommen, die von eher zweifelhaften YouTube Videos animiert wurden. Die allermeisten Videos zu TrueNAS sind leider voelliger Schrott. Einzige Ausnahme, die mir spontan einfaellt, ist Tom von Lawrence Systems - den kann ich empfehlen.

TrueNAS ist toll, wenn der Use-Case passt und man mit den Einschraenkungen von ZFS und TrueNAS leben kann und will. Aber es ist, nicht zuletzt weil es primaer fuer den Highend-Einsatz entwickelt wurde, fuer den Einsatz im Privatbereich nicht uneingeschraenk geeignet.


Bei allen Platten unbedingt pruefen, ob es SMR Modelle sind. Diese sind fuer ZFS komplett ungeeignet.

Das ist ein sehr verbreiteter Ansatz.


Ein vdev faellt aus, wenn im Falle eines Falles keine Redundanz mehr da ist. Bei einem 2-way mirror, wie sie bei Dir zum Einsatz kaemen, waere das dann der Fall, wenn beide Platten eines vdev ausfallen. Wenn man sich gegen den Ausfall von 2 Platten absichern moechte, gibt es 3-way mirrors oder RAIDZ2. Beides ist mit Deinen Platten nicht sinnvoll darstellbar.


Kommt auf Deine Anforderungen an. Hat beides seine Vor- und Nachteile.

Ich empfehle als Lektuere die ersten 5-10 Themen aus den Recommended Readings in meiner Signatur.

Nach vielen Jahren mit OMV und entsprechenden Software Raids, habe ich einfach mal einen anderen Ansatz gesucht. Ich bin mit Mirror und EXt4 gut klar gekommen, aber musste leider im Laufe der Jahre das System mehrfach neu aufsetzen, da irgendetwas nicht mehr richtig funktionierte. OMV ist kostenlos und wird von 1-2 Personen gepflegt und auf Stand gebracht, daher vollkommen in Ordnung, dass ich als User Aufwand betreiben muss.
Auf der Suche nach Alternativen bin ich auf TrueNas gestoßen und taste mich nun daran, ob es etwas für mich ist und ob das ZFS besser ist als EXT4.

Das NAS soll tatsächlich im privaten Umfeld genutzt werden, um wichtige Daten zu speichern, die von mehreren Rechnern abgerufen werden können. Zudem soll das NAS große Mengen von Videodateien (Footage) lagern, welches ich über ein Schnittprogramm auf 2 Rechner abrufen möchte.
Vielleucht noch in Zukunft einen SQL-Server für die entsprechende Datenbank des Programms.

Die wichtigsten Daten werden sowieso noch einmal extern gesichert.

Wie stelle ich fest, ob es sich um SMR Platten handelt?

 

[ChrisRJ]

Zudem soll das NAS große Mengen von Videodateien (Footage) lagern, welches ich über ein Schnittprogramm auf 2 Rechner abrufen möchte.

Direktes Arbeiten vom Schnittprogramm gegen das NAS wird allerdings mit diesen Platten nur sehr bedingt funktionieren. Das geht vernuenftig nur mit SSDs. Ob 1 Gbps LAN reicht, kann ich nicht sagen.

Wie stelle ich fest, ob es sich um SMR Platten handelt?

Typnummer und SMR googlen

 

[janos66]

Das NAS soll tatsächlich im privaten Umfeld genutzt werden, um wichtige Daten zu speichern, die von mehreren Rechnern abgerufen werden können. Zudem soll das NAS große Mengen von Videodateien (Footage) lagern, welches ich über ein Schnittprogramm auf 2 Rechner abrufen möchte.
Vielleucht noch in Zukunft einen SQL-Server für die entsprechende Datenbank des Programms.

das wird mit der Platten Ausstattung nichts, schon gar nicht für zwei Schnittplätze.
Beim Netzwerk solltest du da auch wenigstens über 10Gb Ethernet nachdenken, oder wenn du z.B. ConnectX-4 Lx Karten günstig bekommst, gleich 25Gb Ethernet Karten kaufen, dass sollte für drei Systeme mit Kabel für 250-300€ machbar sein

 

[chuck32]

das ist Quatsch, der Sinn von ZFS ist eben das zu verhindern, aber natürlich kann ZFS nicht vor falschen Umgang mit den gegebenen Möglichkeiten schützen.

Aus dem ersten von dir verlinkten Guide:

if any storage vdev or SPECIAL vdev is lost, the entire zpool is lost with it.

Wieso ist das Quatsch was der OP schreibt?

Wenn ich nicht komplett auf dem Schlauch stehe, ist die Aussage doch richtig.

 

[Patrick M. Hausen]

das ist Quatsch, der Sinn von ZFS ist eben das zu verhindern, aber natürlich kann ZFS nicht vor falschen Umgang mit den gegebenen Möglichkeiten schützen.
Meint das du dich erst einmal etwas mit den Grundlagen auseinandersetzen solltest, bevor du Deine Daten einer Dir noch unbekannten Technik anvertraust.

Erstens ist das ganz schön von oben herab und zweitens dafür ganz schön falsch. Wenn ein Daten- oder Special-vdev ausfällt, ist der betroffene Pool hin. Redundanz wird auf vdev-Ebene hergestellt.