Deutliche Verlangsamung der Replikation bei FreeNAS 11.0 zum Vorgänger 9.10.2

[vafk]

Ich bin ein neue Benutzer des FreeNAS. Die Installation der Version 9.10.2 auf zwei Servern des Typs HP N54L ging flott und die Replizierung der 5 TB Testdaten war über Nacht erledigt.

Vor zwei Tagen habe ich auf beiden Servern das neue Update 11.0 installiert und bekomme bei gleicher Hardware (2x N54L mit jeweils 16 GB RAM, 4x 2 TB HDD, GigabitLAN, ZFS Raid-Z1) einen maximalen Datendurchsatz von 1GB/sec. Bei der nach der Installation standardmäßig eingeschalteten Komprimierung zwischen PUSH und PULL war der Datendurchsatz noch geringer. Während die Replikation auf FreeNAS 9.10.2 innerhalb einer Nacht vollständig abgeschlossen war, wird das neue FreeNAS 11.0 vermutlich ganze 3 Tage benötigen, um die Daten von PUSH auf PULL zu sichern.

Ich habe zu diesem Thema zahlreiche Beiträge über Lösungsansätze wie mbuffer u.a. gefunden. Bevor ich tief in die Materie einsteige, möchte ich erfahren, ob noch jemand diese so deutliche Verlangsamung beobachtet hat und ob es dazu eine Abhilfe gibt.

 

[X11SAE]

Mir fehlt die Erfahrung mit 9.10, habe damit nur 1-2 Monate repliziert und das hat immer super geklappt. So habe ich mich auch nie intensiver damit auseinandergesetzt.
Habe nun auch auf 11 gewechselt, die letzten Tage ist mir aufgefallen, dass da irgendwas komisch ist:

- Ein Job, welcher 300 GB replizieren soll, ist nach 36 Stunden bei 75%
- Der Datendurchsatz ist auf 20 MB/s beschränkt, die Netzwerkauslastung zeigt jedoch bei beiden Systemen 40 MB/s
- Die Festplatten werden gemäs den Berichten bei beiden Systemen nur mit 2 MB/s pro Platte ausgelastet

Die Festplattenauslastung würde zu der enorm langen Dauer passen. Aber warum geht das nicht schneller und wo kommt dann der Rest des Netzwerkverkehrs her?

Weiter fällt mir auf, dass die CPU beider Systeme 60 - 95% ausgelastet sind. Das scheint mir auch sehr viel zu hoch. Komprimierung ist lz4.

 

[X11SAE]

Ha, erwischt
Nach dem Absenden des Beitrages oben wollte ich die geschriebenen Werte nochmals kontrollieren. Dabei hab ich grad gesehen, wie der Job bei 76% abgebrochen und neu gestartet wurde.
Die CPU Auslastung hat sich auf 20% reduziert, dafür ist die Netzwerkauslastung (trotz Limitierung) auf 110 MB/s angestiegen (1Gbit NIC).
Die HD-Auslastung ist mit 4x 6 MB/s beim Zielsystem immer noch viel zu tief.

Sowohl die HD-Auslastung wie auch der Netzwerk Durchsatz sind nach dem Abbruch um Faktor 3 gestiegen.

Ganz komisch ist auch, dass im Quellsystem im Menupunkt Speicher das entsprechende Dataset 1.5 TB gross sein soll, die Snapshots davon sind aber nur 480 GB gross. Die 480 entsprechen ungefähr der Menge der Daten die da drauf sind.

Irgendwas stimmt da definitiv nicht...

 

[vafk]

Da bin ich ja beruhigt, dass ich nicht der einzige bin. Ich lasse beide Server an, bis die Replizierung beendet ist und werde beobachten, wie es sich mit den inkrementellen Backups verhält. Bis dahin werden die Entwickler hoffentlich eine Abhilfe schaffen.

 

[MrToddsFriends]

Bin gespannt ob die Arbeiten an Bug #24405 den gewünschten Erfolg bringen.

Ich lasse auf meinem System lokale Replikationen laufen (Quelle und Ziel auf dem selben System), bei dem der Datendurchsatz deutlich höher sein sollte als die rund 20 MByte/s, die ich unter FreeNAS 11 beobachte. Einen quantitativen Vergleich zum Durchsatz unter 9.10.x habe ich leider nicht, ich denke aber da lief die Replikation flotter.

Eigenartige Größen von Snapshots beim Vergleich von Quelle und Ziel habe ich bis jetzt unter FreeNAS 11 (wie auch unter früheren Versionen) noch nicht festgestellt. CPU Usage rund 25% (2 von 8 Kernen) und System Load ca. 2 während Durchführung der Snapshots unter FreeNAS 11.

 

[X11SAE]

Diese Nacht wurde die Erstreplizierung bei mir abgeschlossen. Nun scheint alles ok zu sein, einen Geschwindigkeitsnachteil merke ich bei dem kleinen Delta das ich zwischen den Snapshots habe nicht.
Ich kann jedoch immer noch bemängeln, dass beim Laufwerkbericht die I/O Grafik nicht korrekt ist und die Netzwerkbandbreitenlimite nicht berücksichtigt wird (oder auch die Grafik falsch ist).
Damit kann ich aber gut leben, besonders weil ich auf das neue GUI warte :)
Habe zu Testzwecken die Komprimierung auf die höchste Stufe gestellt, die CPU Auslastung ist so auf 90% gestiegen. Macht zwar irgendwie keinen Sinn, aber wenn FreeNAS die Komprimierung entgegen den Einstellungen erhöht hätte, würde dies die viel zu hohe CPU Auslastung am Anfang erklären.

 

[vafk]

Ich stecke in einem Projekt mit der Anweisung "Backup, Backup, Backup!" Für die Sicherung der 5 TB Testdaten habe ich nun ganze 2 Tage gebraucht. Das kann ich einem IT-Laien wie unser Chef nun mal ist schwer vermitteln. Denn wie sieht es bei einer Wiederherstellung der Daten aus - Kurzarbeit, bis die Daten verfügbar sind?

Für mich ist wichtig, keinen Fehler in der Konfiguration von FreeNAS gemacht zu haben, um beim Vergleich von FreeNAS mit anderen Systemen nicht zu falschen Ergebnissen zu kommen.

Ich könnte auf die alte Version 9.10 zurückgreifen (da war die Replikation wesentlich schneller), müßte mich aber für den zusätzlichen Zeitaufwand rechtfertigen.