FreeNAS im lesen plötzlich langsam

[bschicht86]

Hard- und Software:

-FreeNAS 9.2.1.6
-FreeNAS-Noob bzw. blutiger Anfänger :D

-Athlon 5350
-16GB RAM (Non-ECC, ich weiß)
-LSI 9650 16 Port
-6x 3TB WD Red als RAID Z-2 (48% Füllstand)
-2x 3TB WD Red als RAID Z-0 (25% Füllstand)
-OS auf einer kleinen Kingston-SSD, die nur für die Fachpresse brauchbare Leistung hatte. (Falls sich wer daran erinnert)

Nun zum Problem:
Von jetzt auf gleich brach die Lesegeschwindigkeit sowohl CIFS als auch FTP weg, weiß aber nicht wieso. Lesend war bisher bei großen Dateien immer volles GBit möglich. Jetzt sind nur noch ~256KB/s drin. Schreiben geht kurioserweise nachwievor mit > 80MB/s

Jemand eine Idee, woran es liegen könnte, bzw. was ich noch erwähnen sollte?

Anderes Problem: Ich habe seit Beginn Probleme mit dem Schreiben. Anfangs volle >80MB/s und nach ca. 4GB eine Gedenkpause, bei der aber die Weboberfläche weiterhin bedienbar bleibt. Nach der Pause gehts für die nächsten ~4GB wieder schnell weiter, bis die nächste Pause eintritt usw.

 

[Ericloewe]

-LSI 9650 16 Port

Ach, das klingt überhaupt nicht gut. HW RAID und ZFS machen keine gute Mischung.

Es kann woll sein, dass eine oder mehr Platten inzwischen defekt sind, obwohl diese Information nicht weitergegeben wird (typisch von HW RAID). Ich vermute, die Platten wurden als individuelle RAID0 Arrays konfiguriert?

-OS auf einer kleinen Kingston-SSD, die nur für die Fachpresse brauchbare Leistung hatte. (Falls sich wer daran erinnert)

Ja, (teilweise) deswegen mögen wir Kingston in diese Gegend nicht.

 

[bschicht86]

Ach, das klingt überhaupt nicht gut. HW RAID und ZFS machen keine gute Mischung.

Es kann woll sein, dass eine oder mehr Platten inzwischen defekt sind, obwohl diese Information nicht weitergegeben wird (typisch von HW RAID). Ich vermute, die Platten wurden als individuelle RAID0 Arrays konfiguriert?

So alt sind die Platten nicht, höchstens 1 Jahr bei nichtmal Dauerbetrieb. (Ab und zu ein Wochenende an) Andererseits ist die Lesegeschwindigkeit von beiden Partitionen (Z-0 und Z-2) gleich schlecht. Den Controller habe ich versucht, als HBA zu konfigurieren, also keine RAID-Konfigurationen und die Platten wurden direkt durchgereicht. (Einen günstigen HBA-only mit 16 Port fand ich nicht)

Wie gesagt, das Problem kam von heute auf gestern, vorher Leseraten am Rand von GBit-Ethernet und jetzt schlimmer als 10MBit

Kann es damit zu tun haben, dass ich ursprünglich die Komprimierung an hatte (lz4) und zwischenzeitlich mal ausgestellt habe? Wenn ja, wie kann man das beheben? Ein erneutes Setzen der Komprimierung bringt keine Besserung, oder muss man neustarten?

Ja, (teilweise) deswegen mögen wir Kingston in diese Gegend nicht.

Ist aber bestimmt besser als ein USB-Stick


Paar neue Fragen: Wie richte ich die Lese- und Schreibcaches ein? (L2ARC und ?) Oder kann FreeNAS 9.2 das noch nicht?

 

[Ericloewe]

(Einen günstigen HBA-only mit 16 Port fand ich nicht)

Weil es keins gibt. Die LSI SAS 9211-16i sind etwas teurer als zwei SAS 2008 Karten.

So alt sind die Platten nicht, höchstens 1 Jahr bei nichtmal Dauerbetrieb.

Eigentlich irrelevant. "Nichtmal Dauerbetrieb" hilft da gar nicht.

Kann es damit zu tun haben, dass ich ursprünglich die Komprimierung an hatte (lz4) und zwischenzeitlich mal ausgestellt habe?

Nein, denke ich nicht.

Ist aber bestimmt besser als ein USB-Stick

Ja, billige SSDs sind für Boot kein Problem.

Paar neue Fragen: Wie richte ich die Lese- und Schreibcaches ein? (L2ARC und ?)

So einfach ist das nicht. L2ARC ist nur ab ~64GB RAM nützlich. SLOG interessiert nur für sync writes.

 

[scwst]

"Cache" trifft es nicht wirklich bei L2ARC und SLOG. Die einfache Art sich das vorzustellen ist dass ZFS den RAM als Cache nimmt - den ARC. Die beste mir bekannte Einführung (oder zumindest die mit den schönsten Bildern) ist die hier, die eigentlich für Linux ist: https://pthree.org/2012/12/07/zfs-administration-part-iv-the-adjustable-replacement-cache/

Die zusätzlichen, superschnellen SSDs - L2ARC fürs Lesen und SLOG fürs schreiben - helfen nur in speziellen Fällen. Die längere Einführung in das Thema ist hier: https://drive.google.com/file/d/0BzHapVfrocfwblFvMVdvQ2ZqTGM/view Speziell zu dem SLOG gibt es hier einen guten (und aktuellen) Primer: https://www.ixsystems.com/blog/o-slog-not-slog-best-configure-zfs-intent-log/

Die ultra-kurz Version: Für's Schreiben ist ein SLOG nur für synchrone Vorgänge nützlich, sprich, wenn der Schreibende eine Bestätigung sofort haben will. Das macht zum Beispiel NFS (weswegen ich bei mir einen SLOG testen werde). Asynchrone Vorgänge wie (MWN) iSCSI und SMB (je nach Konfiguration) gehen eh erstmal einfach in den Speicher, ein SLOG hilft da nicht.

Für's Lesen kommt es darauf an, ob es sich um einen Datenstrom handelt ("Firefly" Folge 1), bei der das L2ARC nicht hilft, oder zufällige, immer wiederkehrende Zugriffe, die dann dort abgelegt werden. Dafür ist aber immer erst Speicher interessant (daher der Hinweis oben).

tl;dr: Speicher, Speicher, Speicher. Maximales RAM reinknallen, weil ZFS das Zeugs wie Popcorn frisst für den ARC. Für Normalsterbliche sind die zusätzlichen SSDs nur in Sonderfällen interessant.

 

[bschicht86]

tl;dr: Speicher, Speicher, Speicher. Maximales RAM reinknallen, weil ZFS das Zeugs wie Popcorn frisst für den ARC.

Check :D
Zudem hilft mir das leider nicht bei meinem eigentlichen Problem.

Eigentlich irrelevant. "Nichtmal Dauerbetrieb" hilft da gar nicht.

Aber dass gleich alle Platten zu gleichen Zeit schlecht werden sollten, ist aber genauso unwarscheinlich. Im Z-2 müssten schon mehr als 2 Platten gleichzeitig schlecht werden und zusätzlich besteht ja auch noch ein Z-0, das das gleiche Symptom zeigt.

 

[bschicht86]

Doppelpost

 

[MrToddsFriends]

Lässt Du auf Deinem System regelmäßige Scrubs und SMART-Tests laufen? Siehst Du mit dem LSI 9650 brauchbare SMART Resultate?

 

[bschicht86]

Lässt Du auf Deinem System regelmäßige Scrubs und SMART-Tests laufen? Siehst Du mit dem LSI 9650 brauchbare SMART Resultate?

Regelmäßige Scrubs sind wegen Non-ECC aus. Aber hatte gestern mal testweise einen angestoßen, half aber auch nichts. Wegen SMART: Gibts einen Konsolenbefehl, mit dem ich das direkt auslesen kann? (Wie gesagt, bin blutiger Anfänger)
Ich kann zwar SMART in der GUI timen, jedoch muss ich dann darauf warten.

 

[Kurti2k]

Hi

ich hatte als ich meinen ersten server zusammengebaut habe auch günstige komponenten aus ebay gekauft und die selben probleme

hatte auch einen 3ware/lsi 9650 mit aktueller firmware
hatte alle hdds als jbod angehängt und ans freenas weitergegeben

anfangs auch volles gigabit mit 80 - 95 mb/s dann auf wenige kb eingebrochen und nahc paar minuten gings wieder hoch mit der transfärleistung

nach tausch auf einen supermicro aoc usas2-l8i oder m1015 it flashed - oder lsi 9201 8 oder 16 er sollte das problem behoben sein jedoch solltest du dir bei deiner datenmänge evtl über eine andere plattform gedanken machen

du wirst aber nicht einfach deinen controller tauschen können, alles auslagern und neu einrichten würde ich dir empfehlen

hier der post von damals als ich um hilfe gebeten habe
https://forums.freenas.org/index.php?threads/geschwindigkeitseinbruch.19205/

mfg marcel

 

[MrToddsFriends]

Wegen SMART: Gibts einen Konsolenbefehl, mit dem ich das direkt auslesen kann? (Wie gesagt, bin blutiger Anfänger)

Die Antwort von @Kurti2k legt nahe, dass der LSI 9650 Dein Hauptproblem ist, die Beschäftigung mit SMART ist aber sicher trotzdem kein Schaden. Der Hard Drive Troubleshooting Guide kann evtl. als Einstieg dienen:
https://forums.freenas.org/index.ph...leshooting-guide-basic-common-failures.41026/

 

[bschicht86]

hatte auch einen 3ware/lsi 9650 mit aktueller firmware
hatte alle hdds als jbod angehängt und ans freenas weitergegeben
anfangs auch volles gigabit mit 80 - 95 mb/s dann auf wenige kb eingebrochen und nahc paar minuten gings wieder hoch mit der transfärleistung

Danke. Den Verdacht hatte ich lange Zeit auch und hab schon einen Adaptec ASR-31605 liegen, jedoch hab ich mich noch nicht "rangetraut".

bei deiner datenmänge evtl über eine andere plattform gedanken machen

Was für eine andere Plattform? Reicht der RAM nicht? Die CPU reicht jedenfalls allemale. Zudem bin ich an ITX gebunden.

Und die SMART-Werte schauen mMn gut aus. Keine Reallocated, kein Pending, keine Uncorrectable. Einzig eine Platte im Z-2 hat ein paar Raw Read Error, jedoch sind Value, Worst und Threshold wie die übrigen. Wie gesagt, die plötzliche miserable Leseperformance betrifft beide Pools. Sonst noch wer eine idee, woran es liegen kann?

 

[MrToddsFriends]

Danke. Den Verdacht hatte ich lange Zeit auch und hab schon einen Adaptec ASR-31605 liegen, jedoch hab ich mich noch nicht "rangetraut".

Wohl besser so.
https://forums.freenas.org/index.php?threads/freenas-not-seeing-all-disks.28271/

@Ericloewe schreibt derzeit an einem aktualisierten "FreeNAS Community Hardware Guide", Du kannst Dich am Abschnitt "Additional SATA/SAS connectivity" orientieren.
https://forums.freenas.org/index.php?resources/hardware-recommendations-guide.12/

 

[Kurti2k]

Hi

ich meine ein ECC oder R Ram fähiges Hardware bundle - gibts auch in itx formfaktor - stichwort avoton
kenne leider deinen geldbeutel nicht :(

evtl kannst du uns noch mitteilen welches board du in betrieb hast vllt supportet das ja auch ecc ram


mfg marcel

 

[bschicht86]

Kleine Info an die Rätselfreudigen:
War wohl die Netzwerkverbindung schuld. Nach Hin- und Herstecken zwischen Switch und Patchpanel ging die Lesegeschwindigkeit wieder mit fluffigen >80MB/s vonstatten. Sehr merkwürdig, dieses Verhalten hatte ich aber noch nie. (TX in 1GBit/s und RX in ~2MBit/s) Selbst der Switch hatte keine Probleme gemeldet.

Danke schonmal an die Hilfeleistenden.

ich meine ein ECC oder R Ram fähiges Hardware bundle - gibts auch in itx formfaktor - stichwort avoton
kenne leider deinen geldbeutel nicht :(

Wenn es AM3+ oder G34 in ITX gegeben hätte oder FM2+ und AM1 mit ECC dahergekommen wär, hätt ich schon ECC drin.

evtl kannst du uns noch mitteilen welches board du in betrieb hast vllt supportet das ja auch ecc ram

AsRock AM1B-ITX. Die AM1-CPU's können allesamt ECC, nur die (blöden) Boardhersteller haben es nicht rausgeroutet.