Wie würdet Ihr ein Raid 1D realisieren?

[janb14]

@snaptech also kann ich gesichert immer bis 90% gehen ? ^^
Ist halt schon verlockend 10% for free und mann hat gefühlt keine Nachteile.

 

[snaptec]

Ich würde es nicht empfehlen.
Bei mir aber allein aus performancegründen schon nicht.
Die Entwickler empfehlen es ebenfalls nicht. Ich denke nicht ohne Grund.


Gesendet von iPhone mit Tapatalk

 

[janb14]

Ja die Entwickler raten davon ab weil es mächtig in die Performance gehen soll und es vermutlich zu Fragmentierung etc. Kommen kann. Ich persöhnlich nehme das Risiko hin und gehe bis 90%. Das ich derzeit darüber bin ist einer Fehlplanung zu verdanken und sollte innerhalb kürzester Zeit gelöst sein.

 

[X11SAE]

Ist immer so eine Sache beim Hobby. Es gibt soviel, das man nicht machen sollte. In der Praxis funktionierts dann aber doch. Ich sag ja immer: Erlaubt ist was funktioniert.
Wichtig finde ich, dass man versteht, warum man das nicht machen sollte. So kann man das Risiko gezielt eingehen, wenn man dazu bereit ist.

 

[janb14]

Mir ist schon klar das zfs einigen Platz brauch um quasi seine Magie zu entfalten aber wie gesagt bei gabs bis 90% nie probleme ausser das ich das rote blinkelicht wegklicken musste. Ich kann nachvollziehen das dazu eine Warnung ausgesprochen wurde da es bei professioneller Nutzung mit mehreren Teilnehmern unnötige Belastung erzeugt da zfs überall auf der fragmentierten Platte rumsuchen muss und darunter die Performance leidet. Für mich als alleiniger Nutzer ein akzeptables Risiko.
Desweiteren frage ich mich warum zu 80% geraten wird, aber bei der Poolerstellung selbst ein paar Prozente eingespaart werden.
So ist bei meinem Mainpool in der Gui die Kapazität der Platten korrekt angegeben. Sobalt in diesem Pool aber ein Datenset entsteht hat dieses nur ca 96-97% des Platzes im Pool ... seltsam.

 

[johnnychicago]

@janb14, ich würde mir diese ganze delayed-RAID Geschichte sparen (RAID1D klingt zugegebenermassen hübscher, aber eigentlich ist es ja nur ein banales Backup).

Freenas/ZFS schützen Dich im Normalfall vor zwei Dingen:

• Hardwareausfall verliert mit RAID in diversen Formen seinen Schrecken. Wenn Dein Pool eine gegebene Redundanz hat, führt ein Festplattenausfall nicht dazu, dass Du Daten verlierst. Du ersetzt die Platte halt zeitnah und nichts ist passiert. Hier kann man's mit RAIDz* fast beliebig weit treiben, ich persönlich schlafe mit einem banalen Mirror recht gut.

• Die 'oh-shit'-Situation, dass Du z.B. einen ganzen Verzeichnisbaum gelöscht hast oder eben eine Ransomware Deine Daten verschlüsselt, kriegst Du mit Snapshots in den Griff. Du solltest regelmässig snapshotten und die Snapshots auch eine gewisse Zeit vorhalten - z.B. alle 2 Stunden ein Snapshot, das für 2 Tage vorgehalten wird, täglich eins, das für 2 Wochen gehalten wird, und wöchentlich eins, das Du ein Jahr hälst. Dann hast Du immer die Möglichkeit, in die Zeit vor der Ransomware zurückzureisen und Deine Daten wiederzufinden. Du magst eventuell wegen des Platzverbrauches ein Medien-Volume nicht so intensiv snapshotten wie ein Home Directory, aber das kannst Du ja einstellen, wie es Dir sinnvoll ist.

Damit hast Du eigentlich die gängigen Probleme der Datensicherheit mit Standard-Freenas-Methoden im Griff. Das einzige, was Dir dann noch (eventuell) fehlt, ist ein Disaster Recovery. Was passiert, wenn das Haus abbrennt, wenn der Blitz das NAS tötet, oder ein Einbrecher es mitnimmt?

Man kann mit dem Risiko leben, oder man versucht die Daten noch woanders vorzuhalten, z.B. auf einem Backup-Freenas. Bei mir lebt das in der vom Haus abgetrennten Garage, wird täglich für eine halbe Stunde eingeschaltet und kriegt den aktuellen Status per ZFS-Replikation. Das System kann man sogar (nach initialer Replikation) meistens sinnvoll über Internet anbinden, weil die Replikation ja nur snapshot-basiert Änderungen kopiert. Der Vorteil dieses Setups ist, dass ich alle Snapshots auf meinem Disaster-Recovery-Pool direkt dabei habe. Wenn's gerade brennt, habe ich nicht nur die Daten von heute früh auf dem Backup, sondern auch den Status von gestern, letztem Sonntag und vor drei Monaten.

Einen Backup-Pool auf dem gleichen Gerät vorzuhalten scheint mir eher sinnlos zu sein: Der wird beim Einbrecher oder Feuer genauso kaputt sein. Wenn ein Backup-Rechner nicht drin ist, dann halt zumindest Wechselplatten, die man regelmässig mit ins Büro oder sonstwo nimmt, einfach wegen der räumlichen Trennung.

 

[snaptec]

Schon geschrieben Johnny.

Man muss sich nur klar sein das freenas kein Backup ersetzt. Sondern eben nur Redundanz erhöht.

Ein Backup ist Pflicht, offsite für Unternehmen auch.
Wer sagt das kostet Zuviel hat das für sich halt schon abgewegt.

Wahr aber hart:
Einfach gehaltene Daten sind wie keine Daten.
Wer sich das zu herzen nimmt sollte vor Verlust geschützt sein und schön reden kann man sich alles :)


Gesendet von iPhone mit Tapatalk

 

[janb14]

Danke für die Antworten und ich bin mir der "Rule of Three" bewusst also:
1.Spiegel
2.Backup
3.Offsite Backup
Ich werde nun erstmal mit meinem eigenen Raid1D weiterarbeiten bis ich mir eine zusätzliche 3 Platte für die Snapshots einrichten kann. Bitte lest euch nochmal meine anderen Antworten durch. Ich kenne die ZFS Lösungen zum Thema Datensicherheit.
Aber Snapshots sind nunmal für Filme unpraktikabel.... dann wird mein speicher denn ich jetzt will erst nach 2 Wochen freigegeben ?????

 

[johnnychicago]

@snaptec, ich finde, dass Snapshots durchaus Backups sind. Sie schützen vor Bedienerfehlern. Und in Kombination mit RAID* und regelmässigem Scrubbing ist man für den Hausgebrauch schon sehr gut bedient.

Offsite ist halt in erster Linie Katastrophenschutz - auch für Unternehmen. Da fährt auch keiner zum Banksafe, weil ein Sachbearbeiter sein Verzeichnis geschrottet hat :)

 

[snaptec]

Naja, Snapshots schützen nicht vor Hardware defekt, Überspannung oder falschen Befehlen in der Shell.
Einmal auf Destroy geklickt ist der ganze Pool mehr oder minder unwiderruflich hinüber.

 

[johnnychicago]

Ich werde nun erstmal mit meinem eigenen Raid1D weiterarbeiten bis ich mir eine zusätzliche 3 Platte für die Snapshots einrichten kann. Bitte lest euch nochmal meine anderen Antworten durch. Ich kenne die ZFS Lösungen zum Thema Datensicherheit.
Aber Snapshots sind nunmal für Filme unpraktikabel.... dann wird mein speicher denn ich jetzt will erst nach 2 Wochen freigegeben ?????

Dieses Konzept mit einer 'zusätzlichen 3. Platte' für Snapshots ist mir nicht ganz klar. (Oder evtl Dir?) ZFS erstellt kein Snapshot auf einer anderen Platte, sondern erfasst es eigentlich nur, indem die geänderten Blöcke, die Du z.B. beim Verschieben, ändern oder löschen von Dateien erzeugst, nicht zur Wiederverwendung freigibt, sondern einem Snapshot zuordnet.

Ein Snapshot braucht prinzipiell erst mal keinen zusätzlichen Speicherplatz, sondern erst dann, wenn Du das Live-System veränderst. Dann braucht es auch nicht direkt so viel Platz wie die geänderten Dateien, sondern meist bedeutend weniger, weil es ja auf Block-Ebene im Dateisystem arbeitet.

Und wenn Snapshots für Filme für Dich prinzipiell unpraktikabel sind, dann mach halt dort keine. Ich mach meine für Filme auch nur für eine Woche, für andere Dinge aber bis zu einem Jahr.

 

[johnnychicago]

Naja, Snapshots schützen nicht vor Hardware defekt, Überspannung oder falschen Befehlen in der Shell.
Einmal auf Destroy geklickt ist der ganze Pool mehr oder minder unwiderruflich hinüber.

Deswegen halt die drei Punkte - Snapshots für User-Fehler, RAID* für Hardware-Fehler, Offsite für Katastrophen. Einen Admin, der genutzte Pools wegschmeisst, klassiere ich auch mal unter Naturkatastrophen ein ;)

 

[snaptec]

Schön formuliert. Es ist eben nicht nur der Admin, sonder der 0815 Dau der von Qnap Mist genug hat, aber eben doch nur Laie ist. Man liest halt sehr oft von ausversehen gelöscht oder das klassische 1HDD als extra vdev und dann weder Backup noch Platz zum auslagern ...

 

[janb14]

Lest mein Update 2 was meinen finalen Plan beinhaltet.
Bin derzeit noch in Phase 1.

 

[johnnychicago]

STAGE1:
[1tb+1tb+2tb] (Media) ------ rsync / zfs-Replication (1 mal am Tag) -----> [4tb] (MediaBackup)

STAGE2:
[1tb+1tb] (Media Unmirrored)
[4tb](Media Mirrored) --------------RAID 1 ------------------>[4tb]
|-->[2tb] (SnapshotDisk)
Und an alle die jetz wegen der Snapshot Disk meckern ...das macht Sinn da ich hauptsächlich große Filme gespeichert habe und dies bei ner löschung ob gewollt oder nicht nen riesiges Snapshot erzeugen. Die Aufteilung von (Media Unmirrored) sowie (SnapshotDisk) sind noch nicht final.

Hier wird nicht gemeckert, sondern Fakten diskutiert: eine Snapshot Disk ist ein Konzept, das Freenas nicht kennt. Snapshots sind Teil Deines Pools, und sie werden auf Deinem Pool gespeichert.

Erkenne ich hier richtig, dass Du folgendes Platten hast - 2 1TB-Platten, eine 2TB-Platte, und eine 4TB-Platte?

Und momentan hast Du keinerlei Redundanz in dem ganzen Setup? Du weisst schon, dass Du damit gefährlich lebst? Jede einzelne Platte, die ausfällt, tötet den ganzen Pool.

Hier ein Ansatz: Du mirrorst die beiden 1TB-Platten in eine VDEV, und Du machst ein VDEV mit der 2TB- und der 4TB-Platte. Du verlierst hierbei 2TB Kapazität auf der 4TB-Platte. Dann sparst Du und kaufst eine zusätzliche 4er Platte, die du gegen die 2TB-Platte tauscht. Im ersten Schritt hast Du 1TB+2TB=3TB Platz. Wenn Du die 2er gegen eine zweite 4er tauschst, wächst Dein Platz auf 1TB+4TB=5TB. Irgendwann noch später kaufst Du Dir eine zweite 2TB und kannst mit den beiden das 1TB-vdev auf 2TB wachsen lassen.

Damit hast Du Redundanz, um Hardware-Fehler zu überleben.

Auf diesen Pool legst Du ein /media Dataset und ein /home Dataset und konfigurierst Deine Snapshots entsprechend. Mach halt keins oder nur ein tägliches auf dem /media, und so wie es Dir sinnvoll erscheint (täglich, wöchentlich, mit einigen Wochen oder Monaten Haltbarkeit) auf dem /home. Da nehmen die Snapshots im Allgemeinen wenig Platz weg, weil Du ja nicht täglich so viel rumschiebst.

Damit hast Du ein Backup.

Und erst danach, falls Du magst, machst Du Dir Gedanken um das Disaster Recovery in Form eines zweiten NAS, oder Crashplan/andere Cloudservices etc.

Ganz andere Alternative, wenn Dir die Redundanz nicht wichtig ist und Du eigentlich nur Platten zu einem grossen Volume zusammenfassen willst: Linux und LVM. Konzeptionell einfach, sehr flexibel und unkompliziert. Die ganzen Platten zu einer Volumegroup zusammengelegt, ein grossen LV drauf und gut. Da kannst Du immer erweitern und neu stückeln, wie Du magst. Aber halt ohne die Features von ZFS.

 

[janb14]

@johnnychicago
Ich habe sehrwohl eine Redundanz das ist ja der Sinn dieses Threads und meines initialen Posts gewesen. Durch mein rsync script/zfs replication aus Phase 1 habe ich ein 1:1 gemirrortes Abbild von Media.
Meine derzeitigen Festplattengrößen sind auch im Update 2 angegeben.
Die Bezeichnung Snapshot disk ist eventuell etwas irrefürend. Damit wollte ich ausfrücken das ich eine Festplatten in den Pool einbinde und dieser zusätzliche Speicher ausschließlich für Snapshots zur Verfügung stehen wird. 2tb sind da vllt. etwas überportiniert.
Ich bitte nocheinmal darum sich die Erklärung anzusehen.

 

[johnnychicago]

Ganz ehrlich, Du machst Dir die Sache sehr kompliziert, weil Du die Logik von ZFS noch nicht ganz verstanden hast (kein Problem, jeder fängt mal an) und weil Du dauernd Wörter für Dinge benutzt, die andere Bedeutungen haben.

1 - Du hast keine Redundanz, wenn Du mit rsync oder ZFS Replication Daten auf eine andere Platte schaufelst, sondern ein Backup. Das ist auch kein Mirror, weil ein Mirror nun mal gespiegelte Platten beschreibt, die jederzeit 1:1 gleich sind, und der bei Ausfall einer Platte 'degraded' weiter funktioniert.

2 - Die Bezeichnung 'Snapshot Disk' ist überhaupt nix, lass das einfach. Du kannst keine Platte in den Pool einbinden und 'nur für Snapshots verwenden'. Snapshots sind integraler Bestandteil des Pools und verteilen sich automatisch über den ganzen Pool. Snapshots werden dadurch erzeugt, dass bei Änderungen im Dateisystem die alten Versionen nicht gelöscht, sondern weiter vorgehalten werden. Sie verbrauchen Platz im Pool, und Du kannst sie halt früher weglöschen oder länger vorhalten, je nachdem wieviel Platz Du freihalten willst.

Was Du momentan da betreibst ist ein zusammengestückeltes Flickwerk, das so ziemlich alle Features von ZFS nicht nutzt bzw aktiv ignoriert, und ausserdem schlecht versucht, sie zu replizieren.

Das wird Dir irgendwann unwiderbringlich auseinanderbrechen und dann ist das Geschrei gross. Wenn eine der drei kleinen Platten Schreibfehler produziert, hast Du Datenverlust. Wenn eine stirbt, ist der ganze Pool tot. Wenn Du 10 Minuten vor dem täglichen Backup eine wichtige Datei löschst oder Ransomware drüberlaufen lässt, ist das Backup mit weg.

Du kennst den Spruch - "natürlich kannst Du es so machen, dann ist es halt sch****e".

 

[janb14]

@johnnychicago
Ich bezweifle langsam das sie alle Seiten dieses Threads gelesen bzw. Meine Antworten nachvollzogen haben.
1. Inwieweit stellt zfsrepikation kein zfs feature da ? (Rsync wurde nur verwendet bis mich jemand auf Seite 1 dieses Threads darauf aufmerksam gemacht hat)
2. Wie sich bereits aus DEM TITEL des Threads erschließen lässt bitte ich um Informationen ob ein Raid1d möglich ist. Also möchte ich keine Redundanz wie einen richtigen Raid1 im eigentlichen Sinne. Deshalb empfinde ich eine Unterstellung dies nicht verstanden zu haben als dreist.
3. Zum letzten mal die ungünstige Bezeichnung "Snapshotdisk" gebe ich zu, dabei sollte es sich um eine plumpe Poolerweiterung handeln um Raum für größere Snapshots bzw. Löschungen zu katalogisieren was auf einen Monat oder 2 gesehen schon stark den Pool "schwächt". Letztendlich wäre diese dann sogar ausschließlich für Snapshots, da eine ZFSReplikation eines 4tb Pools auf einen 5tb Pool diesen niemals füllen kann und man so garantierte 1TB für Snapshots zur Verfügung hätte.

Ich würde sie bitten meine Antworten erst noch einmal zu lesen bzw. Fragen zu stellen bevor sie meine Pläne mit "halt schei**" oder uninformiert abstempeln.

 

[johnnychicago]

@janb14 - bezweifeln darfst Du wie Du lustig bist. Ich antworte hier eigentlich nur noch für die Galerie - für die Google-User, die diesen Thread irgendwann mal finden und lesen. Um klarzumachen, dass das von Dir betriebene kein empfehlenswertes Setup ist.

Ansonsten, mach das so, werd' glücklich damit, viel Spass. Vielleicht gibt es keine Ausfälle und das Setup überlebt, dann war alles gut. Ansonsten gibt das Forum gerne Tipps, das Nachfolgesystem vernünftiger aufzusetzen.

 

[janb14]

@johnnychicago
Inwieweit stellt Phase 2 kein empfehlenswertes Setup da?
Dir sollte klar sein das ein Mehrphasenplan Übergangslösungen darstellt bis die letze Phase erreicht ist. Diese beinhaltet bei mir ECHTE REDUNDANZ mit Raid 1 und 1tb Snapshots .
Erleuchte mich was daran deinen Vorstellungen nicht gerecht wird.