Truenas ist sehr langsam

[bigchris70]

Ich habe schon viel versucht und analysiert und komme nicht dahinter woran es liegt.

Ich habe TrueNAS Core 12.0U7 auf einem HP Mircoserver N54L (AMD Turion 2 core, 8 GB DDR3 ECC RAM ) aufgebaut. Im Server befinden sich 4 x 2TB WD Red Disk Drives, die zu einem RAIDz2 Pool verschaltet sind. Bei großen Dateien schafft das Ding einen Durchsatz von 15MB/s bei SMB und mit NFS ca. 30MB/s.
iperf3 liefert einen Netzwerkdurchsatz von 78-80 MB/s bei meiner 1 GBit Anbindung. Ein lokales Schreiben einer großen randomisietern Datei auf den Pool mit

dd if=/dev/urandom of=/mnt/Pool/filename.big bs=1M count=1M status=progress>

geht mit 77 MB/s vonstatten. Für 4 Server Grade Hard-Disks hätte ich mir aber doch mehr erwartet.

Was mich jedoch am meisten nervt ist die Performance im Realfall als Backup-Server beim Schreiben von kleinen bis mittelgroßen Dateien. Dabei sinkt die Performance auf teilweise unter 30k/s. Also in Wahrheit nicht zu verwenden. Dabei sind die CPU's zu grad mal 25% ausgelastet, obwohl sie sicher keine Kraftprotze sind. Auch RAM ist nicht zu sehr ausgelastet, es stehen ca 4 GB als ZFS Cache zur Verfügung. zpool iostat -vwy liefert keine schrecklichen Wait-Times , ebenso die Latenzen (zpool iostat -vly) halten sicht in Grenzen.

Any Suggestions?

 

[awasb]

1.) Was für einen Netzwerkadapter verwendest Du?
2.) Mit was für einem Client testest Du den SMB-Durchsatz? Wie ist der (netzwerktechnisch) angebunden?

Um eine Menge weitere Fragen zu ersparen, wäre es prima, wenn Du Dein System und Deine Testumgebung in Deine Signatur packst. In den Forenregeln ist das unter "Signatures and spoilers" beschrieben:

Forum Rules

Welcome to the TrueNAS Community! Updated 11/28/2023 First and foremost I want to thank you for joining the TrueNAS community! My name is JoshDW19 and I'm the Community Manager here at TrueNAS. The TrueNAS Community is a friendly place to discuss open source software, technology, and products...

www.truenas.com

 

[LarsR]

Sind die WD Platten SMR oder CMR? wenn's SMR Platten sind haste den Fehler gefunden...

 

[awasb]

2TB und SMR? Gibt es das in 3,5“?

 

[LarsR]

die erste google suche mit WD Red 2 TB SMR spuckt ne ganze menge Ergebnisse aus. Soweit ich das weiß sind die meisten normalen WD Red platten außer die 10TB oder größer SMR Platten. Wenn man kleinere CMR Platten haben möchte muss man ´mittlerweile WD Red+ oder wie das heißt kaufen

 

[awasb]

Danke. Interessant. Aber die normalen sind doch nicht „server grade“? Oder behauptet das WD inzwischen auch noch?

Bin mal gespannt, was er schreibt. Glaube jedenfalls nicht, dass selbst 4 SMR-Platten im Z2 den Laden so runterziehen, dass am Ende nur 15MB/s netto rauskommen. Das schafft ja eine TimeCapsule von 2012 mit einer Platte via W-LAN.

 

[bic]

 

[micneu]

ich meine die verwendete hardware ist ja auch nicht wirklich der bringer (die CPU ist aus dem jahre 2005)
und auf sowas altem willst du sowas wichtiges wie ein backup machen (ich hoffe das ist nicht für deine firma)?
ich habe mal deine "dd" test auf meinem truenas gemacht und habe so knapp über 200MB/s
da du ja so alte server technik einsetzt, bist du dir sicher das deine anderen komponenten (switche und nic's) wirklich gigabit können?

 

[bigchris70]

Konkret sind im Server 2 Stk WD RED "NAS Hard Drive" WD20EFRX mit 64 MB Cache und 2 Stk Seagate NAS HDD Model Nr "ST2000VN000"

Weitere Info zur Gesamtarchitektur bzw. Testszenario:
Das NAS befindet sich in einem verkabelten 1GBit LAN mit ein paar wenigen Windows und Android Client (4 Stk) wobei tatsächlich nur mein Arbeits-PC wirklich aktiv ist. Auf diesem läuft auch das Backup, welches das NAS sichern soll. Die anderen Geräte nutzen den Speicher zur Ablage von Fotos, Videos und zum Sichern dieser von Android auf das NAS.
Der HP Microserver hat einen Broadcom NW-Adapter eingebaut. Wie schon geschrieben halte ich die NW-Anbindung aufgrund der mit iperf3 gemessenen Übertragungsrate von ~ 80 MB/s (=1 GBit) nicht für das Bottleneck.

Der Client mit dem relevanten Engpass ist ein Windows PC (i5 6600k, 4 core, 16 GB RAM, interne M.2 SSD), der ebenso verkabelt am selben GBit LAN (selbiges VLAN, also ohne FW dazwischen) hängt. Mit diesem hab ich auch den NW-Durchsatz (iperf3 als Client) gemessen. Normalerweise sichere ich die Daten vom NAS auf eine externe Festplatte an diesem PC. Bei den Performance-tests lese und schreibe ich aber auf die interne M.2 SSD (WD Black SN850 NVMe 1TB), da diese die geringsten eigenen Latenzen hat.
Der magere Durchsatz zeigt sich dabei sowohl beim Lesen und Kopieren von Files vom Netzlaufwerk auf die interne SSD als auch beim Sichern mit der Backup-SW. Aber auch in umgekehrter Richtung, also schreibend aufs NAS gibts je nach File-Größe miese Performance. Getestet wurde eine Übertragung mit SMB, ich habe am PC jedoch auch die NFS Client Services aktiviert und einen NFS-mount des NAS Filesystems gemacht. NFS ist dabei zwar doppelt so schnell wie SMB aber auf mehr als ~35 MB/s (bei größeren Image- und Videofiles) schaff ich es nicht. Das ist auch der Durchsatz, welcher durch zpool iostat bestätigt wird. Bei kleineren Dateien (10k-1MB) geht die Performance massiv in den Keller sowohl bei read als auch write. Dann sind es nur mehr 30-50kB/s.

 

[bigchris70]

ich meine die verwendete hardware ist ja auch nicht wirklich der bringer (die CPU ist aus dem jahre 2005)
und auf sowas altem willst du sowas wichtiges wie ein backup machen (ich hoffe das ist nicht für deine firma)?
ich habe mal deine "dd" test auf meinem truenas gemacht und habe so knapp über 200MB/s

Ja, diese alte Hardware verwende ich. Ich habe mich wegen des geringen Stromverbrauches dafür entschieden. Ich hatte den Server schon 2014 aufgebaut, aber bisher anders genutzt. Die CPU's langweilen sich aber während der Lese/Schreibtests (Auslastung 25%, System Load bei max. 0.8, also <1 prozess im wait-status bei 2 Kernen). Nein es sind private Daten. Logischerweise setze ich weder Encrytion noch Deduplcation ein..., nur
lz4-compression ist aber im Pool definiert.

 

[bigchris70]

Ja, diese alte Hardware verwende ich. Ich habe mich wegen des geringen Stromverbrauches dafür entschieden. Ich hatte den Server schon 2014 aufgebaut, aber bisher anders genutzt. Die CPU's langweilen sich aber während der Lese/Schreibtests (Auslastung 25%, System Load bei max. 0.8, also <1 prozess im wait-status bei 2 Kernen). Nein es sind private Daten. Logischerweise setze ich weder Encrytion noch Deduplcation ein..., nur
lz4-compression ist aber im Pool definiert.

und wenn ich mir diverse qnaps und synologies ansehe habe die auch nicht grad einen Ryzen 9 eingebaut ;-)

 

[micneu]

nein, das ist aber deren OS auf die hardware optimiert (was man so nicht sehen kann)
ich habe bisher bei gigabit von meinem client zu meinem truenas um die 117MB/s also das maximal was geht. alle meine rechner sind alle jünger 5 jahre. ich schiebe es auf die alte hardware. anders kann ich es mir nicht erklären.

teste es doch mal mit 2 rechnern die neuer sind (dein pc ist ja auch schon recht alt)
bitte mal einen netzwerkplan, vieleich hast du ja deine switche nicht so optimal konfiguriert oder was auch immer noch in deinem netzwerk ist.

Deine WD habe ich gerade geschaut die ist von 2014.
ich hatte es bei mir das meine platten immer langsamer wurden und kurze zeit später ist sie auch kaputt gegangen.
bist du dir sicher das deine platten noch in ordnung sind.
wenn dir deine bilder/fotos wichtig sind würde ich auch diese mal austauschen.

Code:

                                       ┌──────────────────────────┐                                   
                                       │                          │                                   
                                       │  WAN / Internet (PPPoe)  │                                   
                                       │        Willy.tel         │                                   
                                       │ 1000/250Mbit/s Glasfaser │                                   
                                       │                          │                                   
                                       └─────────────┬────────────┘                                   
  ─ ─ ─ ─ ─ ─ ─ ─WAN─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─│─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ WAN ─ ─ ─ ─ ─ ─ ─ ─
                                                     │                                               
                                             ╔═══════╩═════════════════ pfSense 2.5.2 ═╗    Stand: ─ ─ ┐
   ┌────────────────┐   ┌────────────────┐   ║                                         ║  │           
   │                │   │      UBNT      │   ║                Intel NUC BNUC11TNHV50L00║    29.12.2021 │
   │    TrueNAS     ├───┤EdgeSwitch 8 XP ├───╣                      LAN: 192.168.3.0/24║  │           
   │                │   │                │   ║   Gäste (W)LAN (VLAN33): 192.168.33.0/24║   ─ ─ ─ ─ ─ ─ ┘
   └────────────────┘   └───┬─────────┬──┘   ║DynDNS über Cloudflare mit eigener Domain║             
   ┌────────────────┐       │         │      ║                                   VPN's:║             
   │ Fritzbox 7490  │       │         │      ║         2 x Fritzbox (7490 & 6591) IPSec║             
   │   (Nur VoIP)   ├───────┤         │      ║ 1 x OpenVPN Road Warrior (172.16.3.0/24)║             
   │                │       │         │      ║               1 x WireGuard Road Warrior║             
   └────────────────┘       │         │      ║                         (172.16.33.0/24)║             
   ┌────────────────┐       │         │      ╚═════════════════════════════════════════╝             
   │      UBNT      │       │         │       ┌────────────────┐   ┌────────────────┐                 
   │UniFi Cloud Key ├───────┤         │       │     Switch     │   │    1 x UBNT    │                 
   │                │       │         └───────┤Netgear GS110TPP├───┤UniFi AP-Flex-HD│                 
   └────────────────┘       │                 │                │   │                │                 
   ┌────────────────┐       │                 └─────────┬──────┘   └────────────────┘                 
   │    2 x UBNT    │       │                           │          ┌────────────────┐                 
   │UniFI AP AC Pro ├───────┘                           │          │                │                 
   │                │                                   └──────────┤    Clients     │                 
   └────────────────┘                                              │                │                 
                                                                   └────────────────┘                   

 

[micneu]

View attachment 52290 View attachment 52291

die bilder passen nicht zu den bildern oben wo das typenschild deiner wd red.
deine hat 64MB diese hier 128MB/256MB

 

[bigchris70]

Tja, die Hardware werde ich mal erstmal nicht tauschen, ich denke eher dran einen SAS RAID Controller (LSI, oder Ähnliches) hineinzuschrauben und auf truenas/zfs zu verzichten. Gibt ja zum Glück alternative Lösungen.
Ja, es war ganz bewusst eine schlanke Lösung geplant. Das muss ja keine große Umgebung versorgen. Mir ist die Sicherheit der Daten wichtig. Wenn du recht behältst und TrueNAS nur jenseits meiner Hardwareressourcen betreibbar ist muss ich wohl andere Wege einschlagen :-(

 

[bigchris70]

die bilder passen nicht zu den bildern oben wo das typenschild deiner wd red.
deine hat 64MB diese hier 128MB/256MB

die Specs der WD RED plus hab nicht ich gepostet. Von mir sind nur die Pics von meinen eingebauten HDs. user bic -ne user bigchris70

 

[LarsR]

Sieht so aus als ob deine WD-Platten SMR sind, was die absolut bescheidene Leistung erklären würde. ZFS mag kein SMR. Die Seagate scheint aber eine CMR Platte zu sein. Wenn die Seatate und WD Platten in einem Pool sind und du die Möglichkeit hast die Daten auf einer Externen Festplatte zu sichern würde ich den Pool zerstören und die Seagate in einem einzelnen Pool als Stripe und die WD Platten in einem eigenen Pool als z1, nur um zu testen ob die Performance besser wird.

Wenn die Seagate einzeln die volle Leistung bringt, die WD-Platten von der Leistung her so bescheiden bleiben haste deine Antwort :)

 

[bigchris70]

Sieht so aus als ob deine WD-Platten SMR sind, was die absolut bescheidene Leistung erklären würde. ZFS mag kein SMR. Die Seagate scheint aber eine CMR Platte zu sein. Wenn die Seatate und WD Platten in einem Pool sind und du die Möglichkeit hast die Daten auf einer Externen Festplatte zu sichern würde ich den Pool zerstören und die Seagate in einem einzelnen Pool als Stripe und die WD Platten in einem eigenen Pool als z1, nur um zu testen ob die Performance besser wird.

Wenn die Seagate einzeln die volle Leistung bringt, die WD-Platten von der Leistung her so bescheiden bleiben haste deine Antwort :)

Ich habe unter https://nascompares.com/answer/list-of-wd-cmr-and-smr-hard-drives-hdd/ folgende Auflistung gefunden:

Auch Western Digital ( https://blog.westerndigital.com/wd-red-nas-drives) bezeichnet diese Disk-Serie als CMR Disk:

Die Idee den Pool anders neu zu machen ist gut, ein RAID10 (wd-stripe mirrors a seagate stripe). Ein Backup der drauf liegenden Daten ist mit zfs Replication easy machbar.

Was mir zum Test auch noch eingefallen ist wäre eine kleine SSD mit je einer L2ARC und einer SLOG Partition drauf. Zum Test muss es nicht gleich eine Server-Grade SSD sein. Die Daten bleiben dabei ja nicht auf der SSD.

Was mich noch interessieren würde: wo findet man die Information, dass zfs keine SMR Disks mag?

 

[micneu]

Ich habe unter https://nascompares.com/answer/list-of-wd-cmr-and-smr-hard-drives-hdd/ folgende Auflistung gefunden:


View attachment 52317
Auch Western Digital ( https://blog.westerndigital.com/wd-red-nas-drives) bezeichnet diese Disk-Serie als CMR Disk:
View attachment 52318

Die Idee den Pool anders neu zu machen ist gut, ein RAID10 (wd-stripe mirrors a seagate stripe). Ein Backup der drauf liegenden Daten ist mit zfs Replication easy machbar.

Was mir zum Test auch noch eingefallen ist wäre eine kleine SSD mit je einer L2ARC und einer SLOG Partition drauf. Zum Test muss es nicht gleich eine Server-Grade SSD sein. Die Daten bleiben dabei ja nicht auf der SSD.

Was mich noch interessieren würde: wo findet man die Information, dass zfs keine SMR Disks mag?

kompatibilitäst lsite und hier im forum einfach die suche nutzen wurde hier schon mehrfach behandelt.

 

[Patrick M. Hausen]

Kleine Anmerkung noch - ein Test mit dd if=/dev/urandom ... ist nicht sinnvoll. Das Device liefert je nach CPU der Maschine die Daten nicht schneller. Besser mach so etwas:

Code:

zfs create -ocompression=off <mein-pool>/bla
dd if=/dev/zero of=/mnt/<mein-pool>/bla/blubb

 

[bic]

die bilder passen nicht zu den bildern oben wo das typenschild deiner wd red.
deine hat 64MB diese hier 128MB/256MB

Ach! Vielleicht achtest Du mal auf die Einstellreihenfolge --> erst meine Bilder, dann das Typenschild - ein Hellseher bin ich z.Z. noch nicht, verspreche aber, mich zu bessern Und meine sind die WD red auch nicht, ich verwende lieber Hitachi HUA - lies mal also lieber richtig.