Replakationsaufgaben – die hälfte gehen nicht???

[Kartoffel]

Zwischenstand: Im Test-Ziel werden jetzt schon Snapshots gelöscht, obwohl die 12 Stunden Frist noch nicht abgelaufen ist. Und es werden offensichtlich beim replizieren alle noch in der Quelle vorhandenen aber noch nicht vorher übertragenen Snapshots repliziert. OK, dass lässt sich nachvollziehen, da ich ja nicht angegeben haben, nur einen speziellen Snapshot zu replizieren. Soweit klar.

Unverständlich ist aber, dass alle Snapshots, die älter als zwo Stunden sind, im Ziel gelöscht werden, außer die alten Snapshots, die bereits vor der ersten Replikation vorhanden waren. Das ist doch Murks – oder übersehe ich da was?

Im Detail: um 13:30 startet der Periodic Snapshot alle 10 Minuten. Kurz darauf die Replikation zur vollen Stunden. Um 20:55 Uhr sind im Ziel lauter Snapshots vor 13:30 Uhr, keiner zwischen 13:30 und 18:40, von 18:50 bis 20:00 alle 10 Minuten. In der Quelle gibt es nur Snapshots von 19:50 bis 20:50.

Die Snapshots in der Quelle "sterben" wie geplant nach einer Stunde. Aber im Ziel sterben sie ebenfalls eine Stunde nach der Replikation. Die Lebensdauer des Replication Task wird komplett ignoriert!

 

[Patrick M. Hausen]

Kann ich hier beim besten Willen nicht nachvollziehen.

 

[Kartoffel]

Jetzt habe ich um 11:17 Uhr "Only Replicate Snapshots Matching Schedule" aktiviert. Das für dazu, dass um 12:00 Uhr nur der 12-Uhr Snapshot repliziert wird – so soll es sein. Aber es wird zusätzlich noch ein anderer Quell-Snapshot repliziert, der eigentlich für ein anderes Ziel erzeugt wurde (12:40 Uhr mit anderem Namen). Das ist konfus...

Nächster Test ist "Replicate Specific Snapshots" ohne eigenen Zeitplan (echt doof dass man sowas durch solch aufwändige Experimente erforschen muss, OK, geschenkter Gaul... – bekommen eigentlich die Enterprise-Kunden eine vollständige Dokumentation?).

 

[Patrick M. Hausen]

Ich verwende seit Jahren "replicate specific" ohne eigenen Zeitplan und das hat schon immer funktioniert. Wäre nie auf die Idee gekommen, das anders zu machen.

Enterprise-Kunden kriegen Support

Mehr Doku ist übrigens hier:

GitHub - truenas/zettarepl: Zettabyte File System (ZFS) Replication Tool written in Python

Zettabyte File System (ZFS) Replication Tool written in Python - truenas/zettarepl

github.com

 

[Kartoffel]

Nächster Test ist "Replicate Specific Snapshots" ohne eigenen Zeitplan (echt doof dass man sowas durch solch aufwändige Experimente erforschen muss, OK, geschenkter Gaul... – bekommen eigentlich die Enterprise-Kunden eine vollständige Dokumentation?).

Code:

* Replication "TestWurst-1h_1d" failed: Last full ZFS replication failed to transfer snapshot Test-Pool2/wichtig@wurst-2022-04-24_12-50 as a whole. The snapshot BackUp-Test/Wurst@wurst-2022-04-24_12-50 was not transferred. Please run `zfs destroy BackUp-Test/Wurst@wurst-2022-04-24_12-50 on the target system and run replication again..

???

Warum läuft die Reparation um 12:50 Uhr, wenn doch nur zur vollen Stunde repliziert werden soll? Und 13:10 das identische Problem. 13:00 wie geplant hat wohl funktioniert.

Aus Verzweiflung habe ich jetzt mal die automatische Ausführung deaktiviert. Vielleicht sorgt dieser Schalter dafür, dass die Replikation immer dann ausgeführt wird, wenn der zugeordnete Periodic Snapshot Task ausgeführt wird. Kann dann nur sein, dass gar nichts mehr passiert...???

Edit: Genau, jetzt läuft nichts mehr. 14:00 wurde offensichtlich nicht ausgeführt, kein Snapshot im Ziel vorhanden. Der Task zeigt auch "Fehler", aber der Anweisung "zerstöre 13:20 im Ziel" kann ich nicht folgen, da im Ziel 13:20 nicht existiert.

Ah, habe eine weitere Fehlermeldung übersehen: Das bekannte "No incremental bas on dataset..." – habe "Synchronize Destination Snapshots With Source" aktiviert, was nach dem Erklärungstext im Dialog zum löschen aller bisherigen Snapshots im Ziel führt (so verstehe ich das), und was für mein Verständnis explizit dafür sorgen müsste, dass abweichende Einstellungen bei der Replikation – insbesondere bzgl. unterschiedlicher Lebensdauer – ignoriert werden müssten (es heißt ja "synchronisieren").

Edit 2: Um 15:00 Uhr ist der Task ohne Fehlermeldung gelaufen "finished" – aber kein Snapshot 15:00 im Ziel. Dafür ist im Ziel 13:50 und 14:00 aufgetaucht, leider weiss ich nicht wann genau. Auch wurden wieder Snapshots repliziert, die ein anderer Periodic Snapshot Task erstellt hat, trotz "Replicate Specific Snapshots" und unpassender Zeit (12:40).

 

[Kartoffel]

Also mit "Replicate Specific Snapshots" brauche ich zusätzlich nochmal einen eigenen Zeitplan mit identischer Zeitangabe. "Synchronize Destination Snapshots With Source" habe ich auch aktiviert weil notwendig, sonst "No incremental bas on dataset..."

Also wie bei Dir, Patrick, bis auf den Zeitplan. Ergebnis: Lebensdauer der Snapshot sind ausschließlich abhängig vom Periodic Snapshot Task wie oben beschrieben – Lebensdauer der Replikation wird bei mir konsequent ignoriert!

Im Ziel überleben immer nur zwei Snapshot, der aktuelle und der eine Stunde vorher. Vielleicht liegt es daran, dass es zur Quelle noch eine andere Sicherung gibt zu einem anderen Ziel? Vielleicht kann man bestimmte Einstellungen nachträglich nicht ändern? Vielleicht liegt es an meiner Haarfarbe?

Ich weiss nicht, was ich noch alles ausprobieren muss? Aktuell bleibt nur, alle Snapshots zu behalten und händisch zu löschen, sofern dann die Anzahl der Snapshots überhaupt noch anzeigbare ist (dauert jetzt schon 2-3 Minuten...). Vielleicht kann ich ein Lösch-Strip basteln – dazu frage ich separat.

Letzte Möglichkeit wäre letztendlich, tief in die ZFS-Materie einzusteigen und ein eigenes Backup-Scrip zu basteln. Aber da würde eher auf Active Backup for Business umsteigen und eine blöde Synology kaufen (TrueNAS mini ist min. doppelt so teuer, und ich weiss nicht, ob der Support tatsächlich das umsetzen könnte, was ich will – die haben ja nicht mehr zur Verfügung als das System wie es ist).

 

[Patrick M. Hausen]

Extrem merkwürdig. Ich habe einen Snapshot-Task, von diesem abhängig zwei Replication Tasks ohne eigenes Schedule aber mit "replicate specific" und einer eigenen Lebensdauer. Und das alles funktioniert exakt wie es soll.

Hast du denn zwei Snapshot-Tasks für dasselbe Dataset?

 

[Kartoffel]

Hast du denn zwei Snapshot-Tasks für dasselbe Dataset?

Hier für den Test werkeln tatsächlich zwei Snapshot Tasks. Aber meine anderen Datasets haben nur einen, und auch dort hatte es ja nicht geklappt. Das selber Ergebnis: Lebensdauer der Replikanten wird ignoriert...