SSD-Pool fehlende Performance

[Parataku]

Hallo FreenNAS Community.

Ich versuche nun seit ein paar Tagen meinen Unraid-Server durch FreeNAS zu ersetzten nur stoße dabei auf das Problem das mein SSD-Pool nicht so performt wie er "theoretisch" performen sollte.
Das ganze System läuft auf einem "Supermicro X10DRL-i" und "Intel Xeon E5-2620v4" mit 32 GB ECC RAM in einem 4U 24 Bay Rack Case mit SAS 6GB/s Backplate.
Die Backplate ist über mehrere DELL PERC H310 im IT-Mode angebunden.

Der SSD-Pool besteht aus 5x Samsung 850 PRO 1TB.
Alle nachfolgenden Werte wurden ohne LZ4 direkt am Server mit Bonnie++ mit nachfolgendem Befehl ermittelt.
bonnie++ -d /mnt/benchmark -r 32768 -u root

Vielleicht erwarte ich mir auch einfach nur viel zu viel von diesem System aber mir kommen gerade die Schreib-Werte unglaublich niedrig vor.
Außerdem scheinen alle Tests bei maximal ungefähr 1GB/s zu limitieren, diese 1GB/s werden dann über alle SSD's relativ gleichmäßig aufgeteilt.
Das aufteilen der SSD's auf 2 der HBA's bringt ebenfalls keine Verbesserung.

Mirror (5x 1TB)

Show

Stripe (5x 1TB)

Show

Stripe (3x 1TB)

Show

RaidZ(5x 1TB)

Show

RaidZ(4x 1TB)
folgen gleich

RaidZ(3x 1TB)
folgen gleich

 

[Pezo]

Die Tests sind fast alle durch die CPU begrenzt, falls ich deine Tabellen richtig interpretiere. Das dürfte dann wohl der Flaschenhals sein.

Es kann auch sein, dass der SAS2 HBA für SATA nur 3Gb/s unterstützt. Dürfte aber hier nicht der Fall sein weil die Geschwindigkeit doch teilweise deutlich über 300MB/s ist.

 

[Parataku]

Die CPU-Anzeige hat mich auch schon etwas stutzig gemacht nur zeigt htop während dem Benchmark gerade mal 10-15% Belastung über alle 16 Threads hinweg an.

 

[MrToddsFriends]

Wie sehen die Ergebnisse aus wenn Du stattdessen mit dd testest? Etwa wie hier in diesem Thread:
https://forums.freenas.org/index.php?threads/performance-testing-with-dd.351/#post-1358

Achte dabei auf folgende Dinge:

• Block size ( bs=) nicht zu klein, 2048k wie im obigen Beispiel dürfte aber reichlich sein
• Unkomprimierten Dataset verwenden, im Zweifelsfall extra für den dd Benchmark anlegen
• Wenn möglich Dataset mit deaktiviertem atime verwenden ([1], [2])
  
• Beim Schreibtest die Nullen aus /dev/zero holen ( if=/dev/zero)
• Beim Lesetest die Nullen nach /dev/null schieben ( of=/dev/null)

Zu bonnie++ kann ich leider nichts sagen.

 

[Parataku]

Tja, hätte ich mich nicht zu bonnie++ verleiten lassen hätte ich mir das Wochenende wohl so einige Stunden Frust erspart....
Ein Benchmark mit iozone erzeugt genau die Werte die ich erwarten würde wenn keine anderen Ressourcen blockieren.

Ich probiere jetzt definitiv noch ein benchmark mit dd und anschließend ein weiteres aus einer Windows 10 VM mit CrystalDiskMark über ISCSI aber so wie das zurzeit aussieht war bonnie++ durch die "langsame" single-core Performance meiner CPU ausgebremst.

 

[Pezo]

Windows 10 VM mit CrystalDiskMark über ISCSI

Ich habs jetzt nicht im Kopf ob das so ist, aber wenn die Schreibzugriffe über iSCSI synchron sind, dann wird die Schreib-Performance ohne SLOG ziemlich schlecht sein.
Nur zur Info falls du das nicht bedacht hast.

 

[X11SAE]

Aus dem Bonnie Wiki:
"Die %CP-Angaben zeigen, wie sehr der Prozessor bei den einzelnen Aufgaben belastet wurde. Allerdings muss man diese Werte auf Multikern- oder Multi-CPU-Systemen mit Vorsicht betrachten. Oftmals läuft bonnie++ selbst auf einem anderen Prozessor als der Schreib-/Leseprozess. Die Werte sind in einem solchen Fall nicht aussagekräftig."

Das erklärt aber noch nicht die schlechten Benchmark Ergebnisse mit Bonnie++.

 

[Parataku]

Ich würde mal vorsichtig behaupten das die Datengenerierung von Bonnie++ stark CPU-Gebunden ist.
Ich hab gestern noch einen Kollegen mit einem sehr ähnlichen System (selber HBA aber 5x 512gb 850 pro) darum gebeten einen bonnie++ Benchmark zu machen und das Ergebnis war ca 20-25% besser als das von mir.
Nach einem schnellen Vergleich unserer CPU's wäre das relativ genau der unterschied bei der Single-Thread-Performance.

Aber nachdem ich meine Performance nun über mehrere Benchmarks hinweg bestätigen konnte - abgesehen von bonnie++ - bin ich nun relativ glücklich mit dem Ergebnis. Wenn jetzt auch noch die Performance vom HDD Pool passt dann war die FreeNAS Umstellung ein voller Erfolg.