Dringende Hilfe wegen Gelöschtem Raidinhalt

[Smarter-Alex]

P.S. Hast du bei den Snapshot-Tasks "Recursive" eingeschaltet?

Nein aber jetzt schon.

 

[Patrick M. Hausen]

Könntest du mir auch Tipps dazu geben, wie ich die Freigaben am besten organisieren kann?

Sorry, dafür bin ich nicht der Guru. Hier bei mir sind alle Freigaben ohne ACLs mit Gast-Zugang.

Was du schon mal richtig gemacht hast, ist, dass du keine Daten direkt in die oberste Ebene des Pools wirfst sondern Datasets angelegt hast. Steht auch so in der Doku

Nein aber jetzt schon.

Du hättest sonst wunderschöne Snapshots des Top-Level-Datasets im jeweiligen Pool gehabt, aber keine von den ganzen darunter, in denen deine eigentlichen Daten liegen.

 

[Smarter-Alex]

Die Truenas steht in erster Linie für die Medienwiedergabe im Technikraum des Hauses. Dafür sind das Medien- und Mirror-RAID vorgesehen. Das dritte RAID wird über den HPE-Controller mit 4x 2TB im RAID 5 betrieben und dient als persönliches Datengrab für meine Hobbyfotografie. Hier sollen hauptsächlich die Lightroom-Bibliothek sowie heruntergeladene Treiber und Installationsdateien gespeichert werden. Aktuell nutze ich noch die WD Duo-Geräte für Fotos, plane jedoch, diese später in ein eigenes RAID auf der Truenas zu migrieren. Daher kann ich den Verlust von Bildern und Videos meiner Kinder auf der Truenas verkraften, da sie noch auf den WD-Geräten vorhanden sind.

Die Frage, die sich mir stellt, ist, ob es sinnvoller wäre, für jedes Genre einen eigenen Dataset zu erstellen oder ob es besser wäre, einen übergeordneten Dataset zu erstellen und die Kategorien darunter zu organisieren. Der Datenverlust hat mich jetzt doch verunsichert. Hast du Vorschläge, wie ich diese Struktur optimieren kann?

 

[Smarter-Alex]

Du hättest sonst wunderschöne Snapshots des Top-Level-Datasets im jeweiligen Pool gehabt, aber keine von den ganzen darunter, in denen deine eigentlichen Daten liegen.

Danke für den Hinweis. Kann die Truenas die Daten von den Snapshots auch auf eine Externe HDD ablegen? Würde dann dafür einfach eine 2TB an den USB hängen.

 

[Patrick M. Hausen]

Das dritte RAID wird über den HPE-Controller mit 4x 2TB im RAID 5 betrieben und dient als persönliches Datengrab für meine Hobbyfotografie.

Das ist ein Rezept für eine Katastrophe. Kein Hardware-RAID mit ZFS. No, nay, never. Steht überall, in der Doku, hier im Forum, mach's nicht, du wirst Daten verlieren.

 

[Smarter-Alex]

Das ist ein Rezept für eine Katastrophe. Kein Hardware-RAID mit ZFS. No, nay, never. Steht überall, in der Doku, hier im Forum, mach's nicht, du wirst Daten verlieren.

Ok, da ist noch so gut wie nix drinn, werde dass dann gleich rausspeichern und über Truenas erstellen lassen,

 

[Patrick M. Hausen]

Du musst den Controller da aus dem System rausnehmen. Der darf nicht zwischen dem ZFS und den Platten sein, auch nicht, wenn du jede Platte als einzelnes Volume konfigurierst.

Bitte lies das hier: https://www.truenas.com/community/r...bas-and-why-cant-i-use-a-raid-controller.139/

Und den ZFS Primer, den ich schon verlinkt habe. Mensch, wieviel hast du denn überhaupt recherchiert, bevor du die Maschine zusammengedengelt hast?

 

[Smarter-Alex]

Mensch, wieviel hast du denn überhaupt recherchiert, bevor du die Maschine zusammengedengelt hast?

Nicht genug, habe das system eigentlich nur von Winserver 2016 befreit, gegoogelt ob die Geräte mit Truenas Kompatibel sind und dann installiert und nach YT Videos eingerichtet.

 

[Smarter-Alex]

Die 7 x 1 TB hängen auch an einen PCI zu SATA Controller, denke der muss dann auch weichen oder? Weil dann behomme ich ein Speicherplatz problem, das Server Board hat nur 8 interne Sata anschlüsse von denen 2 auf jedenfall belegt sind. Das RDX kann ich abklemmen. Da war Windows doch einfacher und unkomplizierter als diese Linux geschichten.

 

[Smarter-Alex]

Du musst den Controller da aus dem System rausnehmen. Der darf nicht zwischen dem ZFS und den Platten sein, auch nicht, wenn du jede Platte als einzelnes Volume konfigurierst.

Ich habe mich intensiv mit den Texten auseinandergesetzt und versucht, die vorgeschlagenen Schritte umzusetzen.
Leider stehe ich vor einem Problem: Ich habe keinen Zugriff mehr auf die Daten, die auf meinem Truenas-Gerät gespeichert sind. Egal, was ich versuche, kein Gerät kann mehr darauf zugreifen, und auch die Einrichtung von SSH scheint nicht zu funktionieren.
Ich habe bereits alle Rechte und Zugriffe auf den Laufwerken unter Windows gelöscht, aber ich kann sie nicht erneut hinzufügen. Um den HP Raid Controller zu entfernen, müsste ich zunächst alles von den Festplatten herunterladen. Das setzt jedoch voraus, dass ich Zugriff darauf habe, was momentan nicht der Fall ist.

Mein Plan ist, alle Dateien, die noch auf der Platte sind, auf meine WD MyCloud zu übertragen, den Raid-Controller zu entfernen und das Truenas-System komplett neu aufzusetzen, also quasi einen Neustart bei Null zu machen. Danach möchte ich die Festplatten in sinnvolle und idiotensichere (insbesondere vor mir selbst) Raids aufteilen. Ich denke dabei an die gleiche Aufteilung wie unter Windows, mit immer zwei Platten im Mirror.

Meine Unsicherheit beginnt jedoch bei der Neuvergabe von Berechtigungen. Ich möchte alle Rechte als separater Admin mit vollem Zugriff haben. Zusätzlich dazu hätte ich gerne ein zweites Benutzerkonto, mit dem ich lesen und schreiben kann, aber nichts verstellen kann. Weiterhin plane ich einen Benutzer für das Schlafzimmer, auf den alles abgespielt werden kann, einen Benutzer für alles außer Horrorfilme und einen Benutzer für die ganz Kleinen, auf den nur kinderfreundliche Inhalte zugänglich sind.

Wie kann ich das sicher und sinnvoll umsetzen, um zu vermeiden, dass ich erneut alles durcheinander bringe und im schlimmsten Fall mehr als nur 30.000 Filme verliere? Mein langfristiges Ziel ist es, einen alten PC im Keller ebenfalls mit Truenas zu nutzen und regelmäßig Backups von den Daten auf meinem Haupt-Truenas-Gerät durchzuführen. Leider benötige ich dafür noch zwei 12-TB-Festplatten.
Wer könnte mir dabei helfen, alles richtig einzurichten und mir anschließend die Freigaben zu erklären?
Ich bin bereit für eure Hilfe und werde garantiert viele Fragen haben.

 

[bic]

Da war Windows doch einfacher und unkomplizierter als diese Linux geschichten.

Naja, darüber kann man trefflich streiten Aber man kann auch beide schön verheiraten, indem man seinem Truenas keine Datasets, sondern ZVOLs spendierst und diese per iSCSI nicht als NAS, sondern als SAN (Storage Area Network) an einen Windows-Rechner anbindest. Diese ZVOLs erscheinen dann in Windows wie interne Laufwerke (hier G bis I):

und können/müssen hier auch so behandelt werden.

Da ein ZVOL ein unformattierter Speicherbereich ist, welcher vor Verwendung erst mit einem beliebigen Dateisystem formattiert werden muss, erfolgt die Einrichtung der Volumen, daher die Partitionierung und Formatierung unter Windows z.B. mit dem Datenträgermanager. Und was Dir wahrscheinlich sehr entgegen kommt, auch die Rechteverwaltung findet dann komplett in Windows statt, Truenas bleibt hier vollkommen außen vor.

Auf der Truenas-Seite bleibt an sonst alles wie gehabt, allerdings sind SMB/NFS Shares ebenso wenig nötig, wie zusätzliche User/Gruppen - für die Truenas ist ein ZVOL ja lediglich so etwas wie eine Blackbox. Einzig über die Größe der ZVOLs muss man sich vorab Gedanken machen, denn diese haben wie eine physikalische Festplatte eine fixe Kapazität.

Außerdem sollte die iSCSI-Anbindung lediglich über einen einzigen Windows-Rechner erfolgen, welcher dann die ZVOL-Volumen als Windowsfreigaben im Netz zur Verfügung stellt. Denn greift man mit mehreren Rechnern gleichzeitig auf die iSCSI Volumen zu, kann es sehr schnell zu Datenverlusten kommen und das wollen wir ja nicht

Vielleicht ist dies ja etwas für Dich, es behebt zwar nicht Deine Hardwaresorgen, aber das Austellen von Berechtigungstabellen erübrigt sich dann wohl. Außerdem ist es absolut praxistauglich und wartungsarm und mit einer zweiten Truenas zur Replikation (wie Du es ja vorhast), braucht man an den Teilen, außer gelegentlich mal zu Kontrolle reinzuschauen, nichts mehr machen.

Übrigens - um Deine derzeitigen Zugriffsprobleme zu beheben, würde ich mir übergangsweise einen Linux-PC aufsetzen, die Verbindung zur Truenas sollte damit einfacher gelingen.

 

[Smarter-Alex]

Aber man kann auch beide schön verheiraten, indem man seinem Truenas keine Datasets, sondern ZVOLs spendierst und diese per iSCSI nicht als NAS, sondern als SAN (Storage Area Network) an einen Windows-Rechner anbindest.

Vielen Dank für den Tipp mit ZVOL, das ist wirklich eine interessante Lösung. Allerdings sehe ich das Problem darin, dass ich dann wieder zwei PCs rund um die Uhr laufen lassen müsste, bzw. einen zusätzlichen, da ich meinen Hauptrechner dafür nicht nutzen möchte.

Mein ursprünglicher Gedanke war es, von Windows als NAS OS wegzukommen, da Microsoft gerne einmal pro Woche ihre UpKILLdates patcht und dadurch regelmäßig Probleme verursacht.

Übrigens - um Deine derzeitigen Zugriffsprobleme zu beheben, würde ich mir übergangsweise einen Linux-PC aufsetzen, die Verbindung zur Truenas sollte damit einfacher gelingen.

Eine Linux-Kiste habe ich bereits hier stehen und muss sagen, dass es mit Updates hier wesentlich benutzerfreundlicher ist. Ich benutze einen alten Rechner mit Mint Cinnamon seit Jahren für Gddrescue. In all der Zeit hatte ich erst kürzlich das erste Mal Probleme mit einem Update – allerdings nur, weil es ganze vier Jahre gedauert hat, um eine Sicherheitslücke zu schließen. Vor kurzem konnte ich ihn beim Hochfahren mit der Shift-Taste sofort in der Root-Shell starten, ohne ein Root-Passwort einzugeben, um Datenträger zu retten (eines meiner Hobbys). Nun verlangt er plötzlich das Root-Kennwort, sodass ich ihn doch vollständig hochfahren lassen kann.



Wie könnte Linux die Zugriffsprobleme vereinfachen? Ich habe immer noch Schwierigkeiten, das Dataset, von dem ich alle Berechtigungen entfernt hatte, wieder so einzubinden, dass ich auf den Inhalt zugreifen kann. Die SSH-Verbindung habe ich mittlerweile hergestellt, aber auch darüber hat es nicht funktioniert. Ich sehe das Dataset, das ich freigeben möchte, aber wenn ich es anklicke, ist es leer. Die 5 TB Filme habe ich bereits abgeschrieben, ein ärgerlicher Verlust. Aber die Daten, die noch auf dem anderen Pool vorhanden sind, bekomme ich auch nicht mehr herunter. Manchmal sehe ich die Dateien, kann sie dann aber nicht öffnen, um sie zu sichern.



Sobald ich die Daten gesichert habe, plane ich, das System komplett neu aufzusetzen. Den Pool über den HP Controller werde ich auflösen und die 7x1 TB Platten austauschen – 4 davon gegen den 2x2 TB Pool im Spiegel und die restlichen 2 TB Platten mit 2 weiteren WD Black 2 TB in einen neuen Pool nehmen.

 

[bic]

Allerdings sehe ich das Problem darin, dass ich dann wieder zwei PCs rund um die Uhr laufen lassen müsste, bzw. einen zusätzlichen, da ich meinen Hauptrechner dafür nicht nutzen möchte.

Ich würde ja mal über Deinen schwächlichen, aber als Heizung gut brauchbaren Xeon nachdenken , das geht heute viel kleiner. Als "zusätzlicher" Rechner reicht so etwas: klick! Davon habe ich z.Z. produktiv 3 St. unter W2019 am laufen, die CPU-Leistungsaufnahme über die letzte Woche beschränkt sich darauf:

Als Basis für ne Truenas sind die Dinger allerdings nicht so recht geeignet, da ohne SATA-Ports (lassen sich jedoch beschränkt nachrüsten). Dafür verwende ich AsRock J5005/J5040 Mini-ITX Boards, bei welchem die Leistungsaufnahme (wieder letzte Woche) z.B. unter W2019 so:

aussieht - man benötigt keinen leistungshungrigen Xeon. Nicht unerwähnt lassen sollte ich jedoch, dass die AsRock-Boards nur über 4 SATA-Ports verfügen und keinen ECC-Ram mögen. Letzteren halte ich ohnhin für verzichtbar, wenn man die Kisten gelegentlich mal neu bootet und mit den 4 SATA-Ports komme zumindest ich aus, da mir an kleinen Gehäusen mit vier Festplatteneinschüben für den Daten-Pool gelegen ist und als Systemplatte kleine NVMe-SSD dienen (außerdem werkelt auch noch je eine gepufferte Intel-SSD als Slog an einem USB/Sata-Adapter).

Ob man das nun auch so mag, muss jeder für sich selbst entscheiden. Auf jeden Fall ist dies preislich günstig, niedrig im Verbrauch, klein und leise. Bei mir laufen immerhin 3 derartige Truenas schon seit Jahren ohne jegliche Probleme.

Ich habe immer noch Schwierigkeiten, das Dataset, von dem ich alle Berechtigungen entfernt hatte, wieder so einzubinden, dass ich auf den Inhalt zugreifen kann. Die SSH-Verbindung habe ich mittlerweile hergestellt, aber auch darüber hat es nicht funktioniert. Ich sehe das Dataset, das ich freigeben möchte, aber wenn ich es anklicke, ist es leer.

Das, bzw. was Du da machst, musst Du noch einmal genauer erklären - so kann ich mir ersteinmal keinen Reim darauf machen.

 

[Smarter-Alex]

Ich würde ja mal über Deinen schwächlichen, aber als Heizung gut brauchbaren Xeon nachdenken , das geht heute viel kleiner

Da gebe ich dir vollkommen recht. Aufgrund meines Berufs als Systemelektroniker habe ich viele Hardwarekomponenten hier, von 500 GB bis 2 TB HDDs über mehrere Server bis hin zu PCs. Finanziell ist es mit drei Kindern momentan schwierig, auf brandneue Hardware umzusteigen. Dennoch habe ich gleichzeitig zu deinem Beitrag einen neuen Thread verfasst (https://www.truenas.com/community/t...on-hilfestellung-benötigt.116318/#post-806645), in dem ich für naher Zukunft, nach Empfehlungen für ein neues Setup frage. Die Idee ist, das aktuelle System in den Hintergrund verlagere, und es nur noch als Backup laufen zu lassen.

Gestern habe ich erfahren, dass der Vermieter in den nächsten Monaten Eigenbedarf anmelden wird, da sein Sohn heiratet und seine Frau schwanger ist. Das bedeutet, ich muss ohnehin Hardware aussortieren und so viel wie möglich verkaufen. Wahrscheinlich werde ich nicht wieder 40 m² Werkraum von meiner Frau bekommen, also muss alles was Behalten wird in den 19"-Serverschrank wandern.
Meine Probleme mit der Freigabe begannen, als ich versuchte, weitere Benutzerfreigaben hinzuzufügen, und dabei versehentlich ein komplettes Dataset mit über 5 TB an Filmen und Serien sowie einen weiteren Bereich mit Dokumentationen löschte – wie genau, kann ich selbst nicht sagen. Die Situation eskalierte, als ich meiner Tochter während des Essenkochens schnell einen Ordner für ihr Tablet freigeben wollte. Das Ergebnis: Sie konnte plötzlich nicht mehr auf ihre freigegebenen Filme zugreifen.

In einem ersten Versuch habe ich TrueNAS neu gestartet, aber leider war der Erfolg ausbleibend. Sowohl die komplette Ordnerstruktur der Dokumentationen als auch die freigegebenen Filme waren weder über das Tablet noch über TV-Sticks erreichbar. Entschlossen, das Problem zu lösen, setzte ich mich vor meinen Rechner, nur um festzustellen, dass auch von dort kein Zugriff mehr möglich war.

In dem Bestreben, nur die Freigaben zu löschen, habe ich es irgendwie geschafft, den gesamten Dataset zu löschen, der mit dem Benutzerprofil verknüpft war. In einem flüchtigen Blick konnte ich sehen, dass die Kiste im Begriff war, alles zu löschen. Ich reagierte blitzschnell und schaltete die gesamte Anlage aus, zog den Stecker.

Nach dem Neustart waren die Daten trotz dieser drastischen Maßnahme vollständig verschwunden. Meine Vermutung ist, dass zuerst die Ordnerzuweisung gelöscht wurde, und daher nicht mehr Angereigt werden kann. Trotz des anfänglichen Schocks konnte ich die wichtigsten Daten auf alten RDX-Sicherungen aus der vorherigen Windows-Installation wiederfinden – allerdings nicht alles.

Die Festplatten hängen nun seit zwei Tagen an meiner Rettungskiste, und Gddrescue hat bisher fast 1,7 TB an Daten gefunden. Die Restlaufzeit schwankt jedoch zwischen 16 Stunden und 58 Tagen. Mal schauen, was Gddrescue aus dem ZFS-System retten kann.

Nun das aktuelle Problem: Ich kann nicht mehr auf Freigaben zugreifen, wenn ich sie neu einrichte. Entweder sehe ich gar nichts, oder ich sehe Ordner, kann sie aber nicht öffnen, weil ich angeblich keine Berechtigungen habe, oder ich kann sie öffnen, aber sie sind leer. Selbst nach erneutem Einrichten der Freigaben bleibt das Problem bestehen, und ich stehe vor der Herausforderung, meine Daten wieder vollständig zugänglich zu machen. Jeder Hinweis oder jede Hilfe wird hier wirklich geschätzt. Aber so oder so, Am samstag wird die Truenas Komplett neu aufgesetzt. Und dann hoffe ich mal ohne das ich das System wieder so Vermurksen kann.

 

[Patrick M. Hausen]

Kannst du die Daten nicht mit einem SFTP-Client raus und dann per SMB in ein neues korrekt aufgesetztes Share wieder rein kopieren? Services > SSH - Root Login erlauben.

 

[Smarter-Alex]

Hat auch nicht hingehauen.

 

[Patrick M. Hausen]

Sind die Daten denn in einer SSH-Session als root sichtbar (mit ls)?

 

[Smarter-Alex]

Muss ich gleich noch mal schauen, bin gerade unterwegs.

 

[Smarter-Alex]

Hat geklappt. habe die datein runter bekommen. Dankeschön