FreeNAS Speicher Erweitern

[DominikW]

Hallo,
wie sieht es aus wenn ich FreeNAS erweitern will es gibt ja die möglichkeit Festplatten einem vorhandenen pool hinzuzufügen wenn die neuen Festplatten den alten in große und Anzahl gleichen. Wenn ich ein vorhandenes Raid 10 habe aus 4 Platten und dieses um weitere 10 Platten erweitert wird mir das in der Festplattenansicht so angezeigt das ich 4 mal ein Raid 1 habe was gestriped ist. Wie sieht es bei so einer Erweiterung mit der Sicherheit aus am Anfang konnten ja max. 2 platten ausfallen ohne das mit Datenverlust zu rechnen ist. Wie verhält sich das ganze nach der Erweiterung können dann 4 Platten ausfallen? Und muss ich die Erweiterung so verstehen wie sie mir angezeigt wird also mit 4 Raid 1 die gestriped sind oder ist das ganze Logisch gehen nur mein altes raid 10 was mit dem neunen raid 10 gestriped wird? Oder habe ich bei der ganzen Sache einen Denkfehler? Mir ist nur wichtig das die Datensicherheit mit der Erweiterung nicht abnimmt sonder gleichbeleibt oder im besten fall steigt wenn sich jemand damit auskennt währe ich ihm für die Hilfe hierbei sehr dankbar über eine Erklärung falls mein Denkansatz falsch war natürlich auch. Danke schonmal im voraus.

 

[MrToddsFriends]

wie sieht es aus wenn ich freenas erweitern will es gibt ja die möglichkeit Festplatten einem vorhandenen pool hinzuzufügen wenn die neuen Festplatten den alten in große und Anzahl gleichen. Wenn ich ein vorhandenes Raid 10 habe aus 4 Platten und dieses um weitere 10 Platten erweitert wird mir das in der Festplattenansicht so angezeigt das ich 4 mal ein Raid 1 habe was gestriped ist.

Stimmt so nicht. Ein Pool besteht aus einem oder mehreren Vdevs und es können weitere Vdevs zu einem bestehenden Pool hinzugefügt werden. Meist wird empfohlen, dass alle Vdevs in einem Pool vom selben Typ sein sollen. Gleiche Größe der Platten innerhalb eines Vdev ist sinnvoll, gleiche Größe aller Platten eines gesamten Pools hat nicht den selben Stellenwert.

In Deinem Beispiel: Du hast einen Pool aus 2 Mirror Vdevs (auch als "Striped Mirrors" bezeichnet, Raid10 gibt es in ZFS streng genommen nicht). Zu diesem Pool können problemlos weitere Mirrors hinzugefügt werden, die auch aus größeren Platten aufgebaut sein können als Deine bisherigen Mirrors.

Wie sieht es bei so einer Erweiterung mit der Sicherheit aus am Anfang konnten ja max. 2 platten ausfallen ohne das mit Datenverlust zu rechnen ist. Wie verhält sich das ganze nach der Erweiterung können dann 4 Platten ausfallen?

Vorsicht: Die generelle Regel ist, dass der komplette Pool hinüber ist, wenn eines der konstituierenden Vdevs defekt ist.

Heißt bei einem Pool aus zwei Mirror Vdevs, dass dieses den Ausfall von zwei Platten nur dann überlebt, wenn die zwei Platten aus verschiedenen Vdevs kommen. Dass bei einem Pool aus vier Mirrors und bei einem gleichzeitigen Defekt von vier Platten alle vier defekten Platten aus verschiedenen Mirror Vdevs kommen, ist dann schon recht unwahrscheinlich.

Mit anderen Worten: Die Sicherheit nimmt bei einer Erweiterung eines Pools von zwei Vdevs um weitere Vdevs ab, da weitere "Points of Failure" hinzukommen.

Und muss ich die Erweiterung so verstehen wie sie mir angezeigt wird also mit 4 Raid 1 die gestriped sind oder ist das ganze Logisch gehen nur mein altes raid 10 was mit dem neunen raid 10 gestriped wird?

Ersteres, beim Aufbau eines ZFS Pools gibt es lediglich die Hierarchie-Ebenen Platte, Vdev und Pool und nichts Weiteres dazwischen.
https://forums.freenas.org/index.php?threads/comprehensive-diagram-of-the-zfs-structure.38865/
Nach dem Hinzufügen weiterer Mirror Vdevs wird ZFS bevorzugt auf die neu hinzugekommenen Platten schreiben.

Oder habe ich bei der ganzen Sache einen Denkfehler? Mir ist nur wichtig das die Datensicherheit mit der Erweiterung nicht abnimmt sonder gleichbeleibt oder im besten fall steigt wenn sich jemand damit auskennt währe ich ihm für die Hilfe hierbei sehr dankbar über eine Erklärung falls mein Denkansatz falsch war natürlich auch. Danke schonmal im voraus.

Statt die Anzahl der Vdevs zu erhöhen könntest Du deren Größe erweitern, d.h. alle Platten durch größere ersetzen. Dann bliebe die Datensicherheit gleich, gleiche Ausfallwahrscheinlichkeit der alten und neuen Platten vorausgesetzt.

Ein paar weitere Links noch. Falls noch nicht geschehen tust Du Dir einen großen Gefallen, Alles zu lesen:

Zum allgemeinen Verständnis von ZFS (leider nicht an allen Stellen konform mit bevorzugter Terminologie, insbesondere Volume/Pool):
https://forums.freenas.org/index.ph...ning-vdev-zpool-zil-and-l2arc-for-noobs.7775/

Die bevorzugte Terminologie (auch bezüglich ZFS/Raid):
https://forums.freenas.org/index.php?threads/terminology-and-abbreviations-primer.28174/

Und natürlich das Handbuch in Sachen Erweiterung eines Pools.
Weitere Vdevs zu einem Pool hinzufügen:
http://doc.freenas.org/11/storage.html#extending-a-zfs-volume
Platten in einem Vdev durch größere ersetzen:
http://doc.freenas.org/11/storage.html#replacing-drives-to-grow-a-zfs-pool

 

[DominikW]

Stimmt so nicht. Ein Pool besteht aus einem oder mehreren Vdevs und es können weitere Vdevs zu einem bestehenden Pool hinzugefügt werden. Meist wird empfohlen, dass alle Vdevs in einem Pool vom selben Typ sein sollen. Gleiche Größe der Platten innerhalb eines Vdev ist sinnvoll, gleiche Größe aller Platten eines gesamten Pools hat nicht den selben Stellenwert.

In Deinem Beispiel: Du hast einen Pool aus 2 Mirror Vdevs (auch als "Striped Mirrors" bezeichnet, Raid10 gibt es in ZFS streng genommen nicht). Zu diesem Pool können problemlos weitere Mirrors hinzugefügt werden, die auch aus größeren Platten aufgebaut sein können als Deine bisherigen Mirrors.



Vorsicht: Die generelle Regel ist, dass der komplette Pool hinüber ist, wenn eines der konstituierenden Vdevs defekt ist.

Heißt bei einem Pool aus zwei Mirror Vdevs, dass dieses den Ausfall von zwei Platten nur dann überlebt, wenn die zwei Platten aus verschiedenen Vdevs kommen. Dass bei einem Pool aus vier Mirrors und bei einem gleichzeitigen Defekt von vier Platten alle vier defekten Platten aus verschiedenen Mirror Vdevs kommen, ist dann schon recht unwahrscheinlich.

Mit anderen Worten: Die Sicherheit nimmt bei einer Erweiterung eines Pools von zwei Vdevs um weitere Vdevs ab, da weitere "Points of Failure" hinzukommen.



Ersteres, beim Aufbau eines ZFS Pools gibt es lediglich die Hierarchie-Ebenen Platte, Vdev und Pool und nichts Weiteres dazwischen.
https://forums.freenas.org/index.php?threads/comprehensive-diagram-of-the-zfs-structure.38865/
Nach dem Hinzufügen weiterer Mirror Vdevs wird ZFS bevorzugt auf die neu hinzugekommenen Platten schreiben.



Statt die Anzahl der Vdevs zu erhöhen könntest Du deren Größe erweitern, d.h. alle Platten durch größere ersetzen. Dann bliebe die Datensicherheit gleich, gleiche Ausfallwahrscheinlichkeit der alten und neuen Platten vorausgesetzt.

Ein paar weitere Links noch. Falls noch nicht geschehen tust Du Dir einen großen Gefallen, Alles zu lesen:

Zum allgemeinen Verständnis von ZFS (leider nicht an allen Stellen konform mit bevorzugter Terminologie, insbesondere Volume/Pool):
https://forums.freenas.org/index.ph...ning-vdev-zpool-zil-and-l2arc-for-noobs.7775/

Die bevorzugte Terminologie (auch bezüglich ZFS/Raid):
https://forums.freenas.org/index.php?threads/terminology-and-abbreviations-primer.28174/

Und natürlich das Handbuch in Sachen Erweiterung eines Pools.
Weitere Vdevs zu einem Pool hinzufügen:
http://doc.freenas.org/11/storage.html#extending-a-zfs-volume
Platten in einem Vdev durch größere ersetzen:
http://doc.freenas.org/11/storage.html#replacing-drives-to-grow-a-zfs-pool

Ok die Sache Mit dem Striped Mirror habe ich verstanden das ja dann nur maximal 1 Platte pro Mirror ausfallen darf. Wie sieht es aber mit der Datensicherheit aus wenn ich anstatt einem Striped Mirror ein RaidZ2 einsetze am Anfang mit 4 Platten und dieses dann durch ein weiteres RaidZ2 erweitere mir ist es wichtig das ich eine möglichkeit finde im Nachhinein die Festplattenanzahl zu erweitern ohne einen sicherheits Verlust zu erlangen. Denn beim RaidZ2 können ja maximal 2 platten ausfallen und wenn ich es durch ein weiteres RaidZ2 erweitere können ja pro RaidZ2 2 Platten ausfallen also dann insgesamt 4 und das würde doch bedeuten dass die Sicherheit gleich bleibe oder? Und wenn ich das Raidz2 erweiter um ein weiteres müsste ich doch auch die Doppelte Geschwindigkeit vom ersten RaidZ2 erlangen oder? Wenn ich das ganze jetzt mit dem RaidZ2 aufbaue wie beschrieben dann können bei 4 platten 2 ausfallen also 50% bei 8 platten können 4 ausfallen also wieder 50% ist dann die Sicherheit nicht gleich und in diesem fall keine weitern "Points of Failure" oder anders gesagt es gibt zwar weiter platten die ausfallen können da ja die Anzahl steigt aber dieser Nachteil wird doch weg gemacht indem wieder weitere 2 platten ausfallen können. Aber vielleicht gibt es auch noch eine ander Möglichkeit den Speicher mit dem erweitern der Plattenanzahl zu erweitern ohne das die Sicherheit darunter leidet.

 

[MrToddsFriends]

Wie sieht es aber mit der Datensicherheit aus wenn ich anstatt einem Striped Mirror ein RaidZ2 einsetze am Anfang mit 4 Platten und dieses dann durch ein weiteres RaidZ2 erweitere mir ist es wichtig das ich eine möglichkeit finde im Nachhinein die Festplattenanzahl zu erweitern ohne einen sicherheits Verlust zu erlangen.

Prinzipiell nicht anders. Höhere Anzahl an Vdevs in einem Pool resultiert bei sonst unveränderten Randbedingungen in einer höheren Gesamtausfallwahrscheinlichkeit. Kann man z.B. mit diesem RAID Reliability Calculator nachspielen (die Anzahl von Vdevs heißt dort "Number of RAID groups"):
http://wintelguy.com/raidmttdl.pl

Allerdings sind RaidZ2 Vdevs mit einer vernünftigen Anzahl von Platten pro Vdev per se sicherer als Mirrors und damit eine Überlegung wert. Von Deiner derzeitigen Striped Mirrors Konfiguration zu einem RaidZ2 kommst Du nur über den Weg eines Backups und neu Einspielen aller Daten.

Evtl. auch noch interessant, zwecks Performance:
https://calomel.org/zfs_raid_speed_capacity.html

 

[DominikW]

Prinzipiell nicht anders. Höhere Anzahl an Vdevs in einem Pool resultiert bei sonst unveränderten Randbedingungen in einer höheren Gesamtausfallwahrscheinlichkeit. Kann man z.B. mit diesem RAID Reliability Calculator nachspielen (die Anzahl von Vdevs heißt dort "Number of RAID groups"):
http://wintelguy.com/raidmttdl.pl

Allerdings sind RaidZ2 Vdevs mit einer vernünftigen Anzahl von Platten pro Vdev per se sicherer als Mirrors und damit eine Überlegung wert. Von Deiner derzeitigen Striped Mirrors Konfiguration zu einem RaidZ2 kommst Du nur über den Weg eines Backups und neu Einspielen aller Daten.

Evtl. auch noch interessant, zwecks Performance:
https://calomel.org/zfs_raid_speed_capacity.html

Ok ich habe in einem Textsystem mal eingerichtet und als erstes ein Pool mit 4 Platten im RaidZ2 konfiguriert. Dabei können jetzt 2 von 4 platten ausfallen als nächstes bin im Volume Manager auf Volume to Extended gegangen und habe mein Raidz2 ausgewählt und um weitere 4 platten im Riadz2 erweitert jetzt kann ich 4 platten also jeweils 2 pro raidz2 online nehmen ohne das Daten verloren gehen ist das nicht ein Zeichen dafür das die Sicherheit nicht darunter leidet?
Was meinst du mit Rahmenbedingungen was müsste sich ändern das mein vorhaben umsetzbar ist?

 

[MrToddsFriends]

jetzt kann ich 4 platten also jeweils 2 pro raidz2 online nehmen ohne das Daten verloren gehen ist das nicht ein Zeichen dafür das die Sicherheit nicht darunter leidet?

Man kann nicht zwei Mirror Vdevs in ein RaidZ2 Vdev umwandeln, ohne die Daten hinterher aus einem Backup neu einspielen zu müssen. Sprichst Du ausschließlich von einem Testsystem "auf der grünen Wiese" oder von einem System, auf dem bereits wichtige Daten gespeichert sind (und das vielleicht sogar ohne Backup)?

Die FreeNAS GUI macht keine Aussagen zur Gesamtausfallwahrscheinlichkeit eines Pools, der oben genannte RAID Reliability Calculator dagegen schon.

 

[DominikW]

Man kann nicht zwei Mirror Vdevs in ein RaidZ2 Vdev umwandeln, ohne die Daten hinterher aus einem Backup neu einspielen zu müssen. Sprichst Du ausschließlich von einem Testsystem "auf der grünen Wiese" oder von einem System, auf dem bereits wichtige Daten gespeichert sind (und das vielleicht sogar ohne Backup)?

Die FreeNAS GUI macht keine Aussagen zur Gesamtausfallwahrscheinlichkeit eines Pools, der oben genannte RAID Reliability Calculator dagegen schon.

Das System was oben im Bild zu sehen ist ist ein Testsystem ohne wichtige Daten ich wollte mich im voraus über diese Thematik informieren um gegebenenfalls auf ein anders System umzusteigen falls eine Erweiterung nicht so leicht möglich währe, da dies für mich sehr wichtig währe . Ich weiß nicht ob wir das gleiche unter meinem Plan der Erweiterung verstehen ich versuche es noch einmal zu erklären falls meine vorherigen Erklärungen nicht unverständlich wahren. Also am Anfang hatte ich das erste Raidz2 mit 4 platten (im Bild Raidz2-0) dieses habe ich mit einem weiteren Raidz2 mit 4 platten erweitert (Raidz2-1) die Erweiterung ist ja glaube so zu verstehen das das Raidz2-0 und das raidz2-1 gestriped werden oder? Denn in meinem versuch und wie im Bild zu sehen ist kann ich ja bis zu 4 platten verlieren ohne das was passiert. Wie muss ich meine Konfiguration in den Calculator eintragen habe ihn bis jetzt glaube noch nicht gesehen da er bei mir gerade nicht erreichbar ist.

 

[MrToddsFriends]

Also am Anfang hatte ich das erste Raidz2 mit 4 platten (im Bild Raidz2-0) dieses habe ich mit einem weiteren Raidz2 mit 4 platten erweitert (Raidz2-1) die Erweiterung ist ja glaube so zu verstehen das das Raidz2-0 und das raidz2-1 gestriped werden oder?

Ja, das wären dann zwei gestripte RaidZ2 Vdevs zu je vier Platten, wobei in jedem der beiden Vdevs bis zu zwei Platten ausfallen dürfen (Erweiterung in Gruppen zu 4 Platten). Gegen diese Variante spricht allenfalls, dass relativ viel Plattenplatz für Redundanz verwendet wird. Viele User hier im Forum würden eher zu einem RaidZ2 Vdev mit 6 bzw. 8 Platten raten (Erweiterung dann in Gruppen zu 6 bzw. 8 Platten).

Wenige RaidZ2 VDevs bieten in Gesamtheit eine wesentlich geringere Ausfallwahrscheinlichkeit als die zuerst angesprochene Alternative mit vier gestripten (2-way) Mirrors, bei der in jedem Vdev nur eine Platte ausfallen darf --- und da bestünde der gesamte Pool aus vier solchen Vdevs (Erweiterbarkeit dafür aber in Gruppen zu 2 Platten gegeben).

Hmmm, recht ungewöhnlich dass die Rechner unter wintelguy.com nicht erreichbar sind, einfach weiter probieren. Jetzt gerade funktioniert's wieder, wie heute morgen auch. Eigentlich sind zwei davon interessant:

http://wintelguy.com/zfs-calc.pl ZFS / RAIDZ Capacity Calculator (beta)
http://wintelguy.com/raidmttdl.pl RAID Reliability Calculator

 

[DominikW]

Ja, das wären dann zwei gestripte RaidZ2 Vdevs zu je vier Platten, wobei in jedem der beiden Vdevs bis zu zwei Platten ausfallen dürfen (Erweiterung in Gruppen zu 4 Platten). Gegen diese Variante spricht allenfalls, dass relativ viel Plattenplatz für Redundanz verwendet wird. Viele User hier im Forum würden eher zu einem RaidZ2 Vdev mit 6 bzw. 8 Platten raten (Erweiterung dann in Gruppen zu 6 bzw. 8 Platten).

Wenige RaidZ2 VDevs bieten in Gesamtheit eine wesentlich geringere Ausfallwahrscheinlichkeit als die zuerst angesprochene Alternative mit vier gestripten (2-way) Mirrors, bei der in jedem Vdev nur eine Platte ausfallen darf --- und da bestünde der gesamte Pool aus vier solchen Vdevs (Erweiterbarkeit dafür aber in Gruppen zu 2 Platten gegeben).

Hmmm, recht ungewöhnlich dass die Rechner unter wintelguy.com nicht erreichbar sind, einfach weiter probieren. Jetzt gerade funktioniert's wieder, wie heute morgen auch. Eigentlich sind zwei davon interessant:

http://wintelguy.com/zfs-calc.pl ZFS / RAIDZ Capacity Calculator (beta)
http://wintelguy.com/raidmttdl.pl RAID Reliability Calculator

Also ist der Ansatz den ich jetzt gewählt habe sicher? Eine Überlegung das ganze als Raidz1 zu betreiben scheint mir dann auch ganz sinnvoll zu sein. Mein Ansatz war nähmlich wenn bei 2Raidz2 als Mirror also insgesamt 8 platten können ja bis zu 4 ausfallen dann halt nur maximal 2 pro Raidz2 aber anstakst max. 4 wenn ich ein Raidz2 mit 8 platten machen würde dann dürften ja maximal 2 ausfallen also ist mein Ansatz auch wenn er Kapazität und Kostentechnisch nicht Seher effizient ist sichererer bei oder? Da ich ja offenbar an einen richtigen Profi geraten bin noch eine frage nicht zu diesem Thema wie verhält es sich mit dem Freenas Cash ich möchte mit 2 Gespiegelten M2 SSD´s den Cash betreiben um 10GBE besser ausnutzen zu können welchen Cash würde man da verwenden wenn man schnelle schreibvorgänge haben möchte eigentlich ist dafür ja der ZIL Cash aber meiner Informationen nach ist dieser nur für sehr kleine Daten geeignet wie bekomme ich also einen schnellen Schreib Cash mit M2 SSD´s?
Danke für deine Hilfe bei meinem Anliegen.

 

[MrToddsFriends]

Also ist der Ansatz den ich jetzt gewählt habe sicher? Eine Überlegung das ganze als Raidz1 zu betreiben scheint mir dann auch ganz sinnvoll zu sein.

RaidZ1 (quasi die Entsprechung von Raid5 in ZFS) ist die schlechteste aller Möglichkeiten. Es gibt gefühlt tausende Threads dazu hier im Forum. Der folgende Artikel hier wird auch in der in Präsentation von cyberjock verlinkt (siehe mein erstes Posting in diesem Thread):
http://www.zdnet.com/article/why-raid-5-stops-working-in-2009/

Mein Ansatz war nähmlich wenn bei 2Raidz2 als Mirror also insgesamt 8 platten [...]

Bitte nochmal ganz zu Anfang und der bereits genannten Doku zurück: Man kann in ZFS keinen Spiegel aus zwei RaidZ2 Vdevs machen. Redundanz ist auf Vdev-Level gegeben, über mehrere Vdevs wird gestriped.

Da ich ja offenbar an einen richtigen Profi geraten bin noch eine frage nicht zu diesem Thema wie verhält es sich mit dem Freenas Cash ich möchte mit 2 Gespiegelten M2 SSD´s den Cash betreiben um 10GBE besser ausnutzen zu können [...]

Zu Caches (SLOG und L2ARC) können andere User mit Sicherheit mehr sagen als ich. Mach' Dich zuallererst mit den Basics vertraut.
https://doc.freenas.org/11/zfsprimer.html

 

[DominikW]

RaidZ1 (quasi die Entsprechung von Raid5 in ZFS) ist die schlechteste aller Möglichkeiten. Es gibt gefühlt tausende Threads dazu hier im Forum. Der folgende Artikel hier wird auch in der in Präsentation von cyberjock verlinkt (siehe mein erstes Posting in diesem Thread):
http://www.zdnet.com/article/why-raid-5-stops-working-in-2009/



Bitte nochmal ganz zu Anfang und der bereits genannten Doku zurück: Man kann in ZFS keinen Spiegel aus zwei RaidZ2 Vdevs machen. Redundanz ist auf Vdev-Level gegeben, über mehrere Vdevs wird gestriped.



Zu Caches (SLOG und L2ARC) können andere User mit Sicherheit mehr sagen als ich. Mach' Dich zuallererst mit den Basics vertraut.
https://doc.freenas.org/11/zfsprimer.html

Tut mir Leid hatte mich verschrieben ich meinte gestriped.