Performance beim Schreiben sinkt nach steigung der ARC Auslastung

[bluefox]

Hallo,

mein Truenas Server System:

Xeon E3-1230 V2 4x 3,30 GHz
32 GB DDR3 1600
10 GB/s Mellanox GF
14 TB ZFS in 2 Pools - (2x 4 TB Mirror und 2x 10 TB Mirror)

Das Problem:

Mein Client hat ein 2.5 GB/s Netzwerkkarte, beim Lesen werden die 2.5 GB/s mit ca. 281 MB/s ziemlich ausgereizt. Allerdings, nach ein paar Tagen, wenn der ARC vollgelaufen ist, werden beim Schreiben die 2.5 GB/s nicht mehr ausgereizt. Es werden dann nur noch ~150 MB/s erreicht. Ich verstehe das Problem nicht so ganz. Beim Lesen (herunterladen) werden die 2.5 GB/s weiterhin erreicht, auch wenn der ARC quasi voll bzw. maximal reserviert ist!

So wie ich es verstanden habe, soll es auch normal sein, dass der ARC immer reserviert ist. Andere Dienste laufen keine, nur SMB, USV und SMART.

Deduplicatin ist nicht aktiviert und L2ARC habe ich nicht eingerichtet. Jetzt habe ich schon einige Stunden recherchiert und komme nicht dahinter, wie ich das Problem lösen könnte. Sobald ein Neustart durchgeführt wird, werden die 2.5 GB/s auch beim Schreiben erreicht.

Wenn Jemand einen Ratschlag hat, wäre ich wirklich sehr verbunden, Danke im Voraus!

Grüße!

PS. Screenshot nach dem Neustart, ARC leer, Schreibperformance wieder normal lesen/schreiben 281 MB/s

Edit: Neustart 23:00, auf den Grafen wird deutlich, dass der RAM frei wird und der ARC unbenutzt ist, nach mehreren Kopiervorgängen wird der ARC gefüllt. Es scheint jetzt wieder zu funktionieren, ich kann es mir nicht erklären, ARC läuft voll, Schreibgeschwindigkeit bleibt im Maximum.

Ich kann mir dieses Phänomen nicht erklären, woher kamen die Drops bei Schreiben? In den anderen Systemberichten konnte ich ebenfalls keine Anomalien erkennen. Die einzige Erklärung, welche mir dazu einfällt, ist, dass es nicht am ARC lag....

 

[Patrick M. Hausen]

Was für Festplatten genau in den Pools? Weshalb erwartest du 2,5G/s Schreibperformance? Jedes VDEV hat maximal die Performance einer Platte. Mehr VDEVs können das bestenfalls linear skalieren. Also Pool mit 2x Mirror VDEV - Schreibperformance von zwei Platten. Im optimalen Fall.

 

[bluefox]

Hi, die beiden 10 TB sind WD Gold und die beiden 4 TB sind WD Blue. Weil ich die Schreibperformance so lange der ARC "leer" ist, erreiche und wenn er voll ist nach ein paar Tagen, die Performance nicht mehr erreiche. (Siehe Bild, nach Neustart, hatte ich doch geschrieben ;)

Ich kann es leider nicht genauer beschreiben. Denkst du, das im System zu wenig RAM vorhanden ist?

 

[Patrick M. Hausen]

Nein, eher dass die sustained write rate deiner Platte niedriger ist als 2,5 G/s. Was soll das System denn dann machen? Irgendwann ist jedes RAM voll. Man kann immer nur so schnell schreiben, wie die Platten können. Wenn du es schneller brauchst, musst du SSDs nehmen.

 

[bluefox]

Nein, eher dass die sustained write rate deiner Platte niedriger ist als 2,5 G/s. Was soll das System denn dann machen? Irgendwann ist jedes RAM voll. Man kann immer nur so schnell schreiben, wie die Platten können. Wenn du es schneller brauchst, musst du SSDs nehmen.

Laut Datenblatt schafft eine WD Gold 262 MB/s, im Mirror sollte die Performance sogar besser sein?

Nein ich brauch keine SSD's um eine Performance von 280 MB/s zu schaffen, ich will auch nicht schneller, ich will nur das ausreizen, was ich jetzt auch schon habe.

Ach so, also wenn ARC voll ist, ist auch RAM voll?

 

[Patrick M. Hausen]

ARC benutzt alles an freiem RAM, was nicht anderweitig gebraucht wird. Ist für einen Cache ja auch sinnvoll. Ein Mirror ist beim Schreiben nicht schneller als eine einzelne Platte. Es muss ja alles doppelt geschrieben werden.

 

[bluefox]

ARC benutzt alles an freiem RAM, was nicht anderweitig gebraucht wird. Ist für einen Cache ja auch sinnvoll. Ein Mirror ist beim Schreiben nicht schneller als eine einzelne Platte. Es muss ja alles doppelt geschrieben werden.

Top, genau das wollte ich wissen, Danke!

Das es das eine mal zu dem Leistungseinbruch gekommen ist, wundert mich aber seit dem Neustart hatte ich da keine Probleme mehr. Hast du da auch noch ne Theorie was da los war?