Neuer Datenserver mit FreeNAS?

Status
Not open for further replies.

JoGi65

Dabbler
Joined
Feb 21, 2016
Messages
45
Weil das ein großes Medienvolumen ist, das logisch nicht unterteilt sein sollte. Das braucht auch nicht verschlüsselt werden.
Ist der Sicherungsserver, wo die älteren 2TB Disks verwendet werden.

Kann ich die alle zusammen in Raid Z3 legen? In der Anleitung steht ja max.11, oder?
 

Rand

Guru
Joined
Dec 30, 2013
Messages
906
Ich habe jetzt 12 gefunden, aber macht am Ende nicht viel unterschied.
Ich bin ja sowieso kein Zx Freund aber wenn es nur als langsame Halde dienen soll...

Dann ist wohl in in Deinem Fall bei 14 platten 2x 4+3 das Beste...

Denk aber dran das man nur per vDev austauschen/upgraden kann ... d.h. wenn Du irgendwann mehr Platz brauchst musst Du dann 7 Platten austauschen um die Änderung zu merken

Edit: (https://forums.freenas.org/index.php?threads/getting-the-most-out-of-zfs-pools.16/)
Let's assume that you have a 96 drive disk array (big, I know, but bare with me)
I can tell you now that you DO NOT want a 96 drive RAID-6, or even a 94 drive RAID-6 with 2 spares. Not only is that an unwieldy Z-pool, ZFS doesn't like it either. That document says that less than 40 devices is recommended, but less than 12 is preferred.

Also technisch geht 14 disks;) und es wäre auch noch nur 'not preferred' ;)
 

JoGi65

Dabbler
Joined
Feb 21, 2016
Messages
45
Auf Seite 33 des Dokuments von diesem Beitrag https://forums.freenas.org/index.ph...ning-vdev-zpool-zil-and-l2arc-for-noobs.7775/
steht: It is not recommended that VDevs contain more than 11 disks under any circumstances.

Die Frage ist, was gilt?

Das Zusammenlegen von 2 vdevs ist mir jetzt auch gelungen. Scheinbar hab ich eine recht langsame Lernkurve :-( . Das kann ja noch heiter werden.
Das mit dem Plattentauschen ist mir klar, dass das mühsam wird, aber das Volumen wird jetzt bei der Umrüstung erweitert, und sollte dann wenigstens 5 Jahre stehen.
Irgenwie glaub ich das selber nicht ;-).
 

Rand

Guru
Joined
Dec 30, 2013
Messages
906
Ich denke mal cj's infos sind eher auf der sicheren Seite.
Ich würde mal davon ausgehen das es kein Problem sein sollte die 14 disks in einen Pool zu schieben - machen würde *ich* es aber nicht;) Nicht weil ich Angst um die Daten hätte oder denke das es nicht geht sondern weil mir das vom Pool Design her so gar nicht gefällt. Ausserdem habe ich immer Ansprüche an Performance und Co und ende immer mit Mirrors;)

Aber wenn Du sagst Du brauchst maximalen Platz bei prinzipieller maximaler Sicherheit (Z3) dann sollte das schon gehen.
Wenn Du allerdings sagst Du gehst davon aus das Du irgendwann mehr Platz brauchst, bzw in 5 Jahren evtl auf dem gleichen System die Disks austauschen willst dann solltest Du es nicht so machen.
 

JoGi65

Dabbler
Joined
Feb 21, 2016
Messages
45
Danke Rand für Deine schnellen Antworten. Bin noch immer nicht sicher was ich wegen den Volumen mach, aber fest am testen. 3008 Controller FW ist (zer)geflasht. Anleitung stelle ich dann nach dem testen mit dem gesammten Volumen ein (Kabel fehlt noch), den das ist schon ein schöner Akt, und ich hab sicher wieder 5-6 Stunden gelesen und dann trotzdem was falsch gemacht. Der Angstschweiß ist geflossen das mein Board Flöten ist, aber wundersamerweise hat der Controller nach "vielen" Minuten auch mit einem falschen Bios für die zu neue FW weitergebootet, und der Fehler war korrigierbar. Gott sei Dank hab ich es so lange eingeschaltet gelassen.

So neue Fragen:

Mainboard SM X11SSh-CTF
Proz XeonE3-1220V5
Ram 2x16GB Samsung ECC
zwei Volumen zum Testen mit SSDs, einmal eine allein und einmal 2 gespiegelt

Große Dateien nutzen das Gbit Lan auf Anschlag aus (10Gbit fehlt noch am PC), was ok ist. Auch mit zwei gespieglten normalen Festplatten.
Das Schreiben von vielen kleinen Dateien ist aber schneckenlangsam (runter bis auf 250kbit! auf SSD), obwohl ich niergends sehe, das die HW ansteht. Was kann ich tun das schneller zu bekommen? Ram ist vollständig frei, Kompression abgedreht. Irgendwo hab ich was von einer zusätzlichen SSD gelesen, aber das find ich leider nicht mehr.

Festplattenausfall getestet. Ist es wirklich so, das man die einfach wieder reinsteckt, ohne irgendetwas zu klicken, und wenns passt wird das Volumen wieder ok? Nix Weiter?

Komme ich irgendwie zu den Smartwerten über die Oberfläche? Hab ich das übersehen, oder gibts das nicht?
 

Rand

Guru
Joined
Dec 30, 2013
Messages
906
Hi,

kleine Dateien - das ist immer viel langsamer als gr0ße Dateien, z.B. Photos sind viel langsamer zu schreiben als DVD Images.
Natürlich sind da SSDs viel besser als Festplatten, aber je nachdem welche auch nur bedingt fähig. Z.B haben Consumer SSDs nur einen limitierten Cache so das nach kurzer Zeit die Performance massiv einbricht - Enterprise SSDs sind da deutlich besser.

Jetzt ist die Frage was für Dateien, wie viele und auf was für eine SSD die geschrieben werden...

Festplattenausfall - habe es ehrlich gesagt nie explizit getestet aber als ich mal eine tauschen musste musste cih die defekte in der GUI replacen... aber da gibts Doku zu (z.B. https://doc.freenas.org/9.3/freenas_storage.html#replacing-a-failed-drive)

Smartwertte auf der Obefläche glaube ich nicht - email report (z.B. bei Fehler) oder cli sind die gängigen Wege
 

MrToddsFriends

Documentation Browser
Joined
Jan 12, 2015
Messages
1,338
Irgendwo hab ich was von einer zusätzlichen SSD gelesen, aber das find ich leider nicht mehr.

Zur Übersicht der ZFS Primer:
https://forums.freenas.org/index.php?threads/zfs-primer.38927/

Eine SSD als ZIL (write cache) hilft nicht bei CIFS, AFP und iSCSI.
Eine SSD als L2ARC (read cache) braucht zusätzlich RAM und mit unter 64GB braucht man gar nicht erst damit anzufangen.

Festplattenausfall getestet. Ist es wirklich so, das man die einfach wieder reinsteckt, ohne irgendetwas zu klicken, und wenns passt wird das Volumen wieder ok? Nix Weiter?

http://doc.freenas.org/9.10/freenas_storage.html#replacing-a-failed-drive

Komme ich irgendwie zu den Smartwerten über die Oberfläche? Hab ich das übersehen, oder gibts das nicht?

Hier ist die Kommendozeile gefragt. Mehr Info zu smartctl:
https://forums.freenas.org/index.ph...leshooting-guide-basic-common-failures.41026/
 

Rand

Guru
Joined
Dec 30, 2013
Messages
906
Eine SSD als ZIL (write cache) hilft nicht bei CIFS, AFP und iSCSI.
Eine SSD als L2ARC (read cache) braucht zusätzlich RAM und mit unter 64GB braucht man gar nicht erst damit anzufangen.

Mir wäre ja ehrlich gesagt gar nicht in den Sinn gekommen hier mit SLog/L2Arc anzufangen ;)
iSCSI könnte helfen (https://forums.freenas.org/index.php?threads/optimise-for-lots-of-small-files.41515/#post-274972) oder halt SSD(s) welche eine bessere Queue Depth abkönnen, z.B. eine Intel DC S3700 (SATA nicht P3700, die ist zwar super aber etwas teuer;))
 

JoGi65

Dabbler
Joined
Feb 21, 2016
Messages
45
Danke Euch. @MrToddsFriends - Genau das mit der SSD als ZIL hab ich gemeint. Leider macht es scheinbar keinen Sinn.

An den SSDs die ich drinnen hab (Samsung SSD 840Pro 512GB) liegt es meiner Meinung nach sicher nicht.
Das Nadelöhr muß woanders sein. das Schreiben auf die SSD bei den kleinen Dateien geht aber schon ganz genau gleich schnell wie auf die Festplatten. Das kann nicht an den SSDs liegen. Speicher Frei min 28.3GB und auch sonst nix ungewöhnliches. Hm.
Wenn ich dann die 1815er zum Umkopieren in den anderen Raum stelle, werd ich das mal im Vergleich zur Syno testen. Aber so langsam waren die nie trotz lahmer HW. Und die TS4.. von Qnap war mit den Vergleichsdaten in 3 Minuten fertig mit 3 SSDs drinnen.

Bilder jeweils gleichzeitige Kopie, einmal auf die SSDs und einmal auf die Festplatte im gleichen Server.
Werd noch mit FTP testen, was da geht. EV liegt es an einer schlechten CIFS Unterstützung?

Schreiben auf 1x2SSDs und 1x2 Festplatten Server3 Superm Xeon1220.jpg



Schreiben auf 1x2SSDs und 1x2 Festplatten Server3 Superm Xeon1220-1.jpg
 

Rand

Guru
Joined
Dec 30, 2013
Messages
906
Hm ich habe mal gerade mit ein paar Bildern bei mir getestet - (nur 2-3000, jpg/raw, 30-40gb, größe zw 2 und 5 MB) und das war schnell (120-180 MB vom Nas auf 1x 1TB Evo, schneller zurück (auf 3x2Mirror HDDs))... hast Du atime an evtl? wenn das winzig kleine files sind er aber für alles irgendwo das FS oder Metadaten anfassen muss könnte es daran liegen...
Ist der Share Typ Windows oder Unix? Permission Type?
 

MrToddsFriends

Documentation Browser
Joined
Jan 12, 2015
Messages
1,338
Das Nadelöhr muß woanders sein.

Ohne identische Testbedingungen zu haben bin ich geneigt das auch so zu sehen. Neugierdehalber habe ich gerade getestet, einerseits 1 Datei mit (exakt) 4GByte aufs NAS zu kopieren und andererseits 4096 Dateien mit jeweils (exakt) 1 MByte. Im ersten Fall habe ich konstant ca. 100 MByte/s Transferrate laut Windows Explorer, im zweiten eine sinkende Transferrate von anfänglich ca. 40 MByte/s bis auf ca. 9 MByte/s.

Alles noch im erträglichen Bereich (bei mir mit GBit Netzwerk und gespiegelten WD Red im Pool auf dem NAS und keinen sonstigen Optimierungen, share type windows, atime on, dedup off, ...). Keine Transferraten die man in Hunderten oder gar Zig KByte/s angeben müsste. Deine kopierten Files sind allerdings durchschnittlich kleiner als 1 MByte und die Anzahl ist höher als "schlappe" 4096.

Eigentlich sind's zwei Fragen:
1) Warum sind die Transferraten bei kleinen Dateien überhaupt so niedrig (insbesondere < 1 MByte/s)? Bei Gelegenheit mache ich auch mal einen Test auf meinem System mit 4 GByte Daten in wirklich kleinen Häppchen.
2) Warum ist die Transferrate mit einem SSD-Pool nochmals niedriger? Im FreeNAS-Forum müssten sich Beiträge mit Aussagen dazu finden lassen, dass ZFS nicht wirklich optimal dafür geeignet ist. Ich bin mir aber nicht sicher, ob das Dein Hauptproblem ist.
 

MrToddsFriends

Documentation Browser
Joined
Jan 12, 2015
Messages
1,338
Nachtrag: Mit einer großen Anzahl von Dateien mit jeweils 4 kByte habe ich nach einer Weile nur noch eine Transferrate von ca 8 kByte/s und Samba (smbd) ist am NAS bei 100%, also am Anschlag für einen Thread. Sagt natürlich nichts über die niedrigeren Transferraten aus, die JoGi65 mit seinem SSD-Pool sieht.
 

Rand

Guru
Joined
Dec 30, 2013
Messages
906
Also habe jetzt auch mal 4096 4Kb files getestet

upload_2016-4-1_21-15-5.png


Wird schon deutlich langsam... Ich denke immer noch das es mit dem Overhead zu tun hat das er die Filetable etc anfassen muss - der Aufwand steigt halt (im Verhältnis) massiv bei winzigen Dateien.

Warum es bei Euch allerdings so tief runtergeht... sollte aber ein allgemeines problem sein was man ggf googlen kann. Atime deaktivieren würde ich immer nochmal testen btw;)


Edit:
noch ein test mit 40000 4k files...
upload_2016-4-1_21-38-38.png
 
Last edited:

MrToddsFriends

Documentation Browser
Joined
Jan 12, 2015
Messages
1,338
Atime deaktivieren würde ich immer nochmal testen btw;)

Deaktivieren von atime bringt bei mir keine deutliche und reproduzierbare Änderung. Für mich auch nicht sehr verwunderlich da atime eine ZFS property ist, bei meinen Tests aber der Samba-Daemon CPU-seitig am Anschlag ist. Ich denke man wird wohl eher bei den Samba-Parametern fündig werden.

JoGi65, evtl. bringt Dich ein Vergleich der smb4.conf von Qnap / FreeNAS auf eine brauchbare Spur.
 
Last edited:

Rand

Guru
Joined
Dec 30, 2013
Messages
906
Ah so weit habe ich dann nicht geschaut, aber gut das Du das ausgeschlossen hast, danke:)
Muss den gleichen Test dann mal von der prd Kiste machen, die sollte nicht CPU bound sein

Und hab da was gefunden ...
https://forums.freebsd.org/threads/49732/

/usr/local/etc/smb.conf
"Auto" is the default and leads to the described name mangling behavior and the low performance when writing to subdirectories with 10.000+ files.

Set to case sensitive = Yes
 

JoGi65

Dabbler
Joined
Feb 21, 2016
Messages
45
Hallo Leute!

Nochmal vielen Dank für Eure Unterstützung hier. Am Freitag sind die Kalbeln miniSAS SFF8643 auf SFF8087 0,6m gekommen, und ich hab die 2411+ ausser Betrieb genommen, und bin das 31616 mit 1 SSD und 14 Festplatten hochgefahren (eine Platte hab ich irgendwo vergammelt, deswegen nur Z2 in einem Volumen). Bis die Datensicherung drauf ist, kann ich nicht viel machen, und das dauert wohl noch bis Dienstag. Jedenfalls läuft es schon ganz sauber so wie es bis jetzt ausschaut.

Die Schreibtests werd ich nachher noch mal im Vergleich versuchen. Das mit dem case sensitive schaut ja gut aus. Ich hab mir meine alten Syno tests angeschaut, aber die waren sehr unterschiedlich.
Da war auch das Kopierprogramm ein wesentlicher Faktor. Sobald das kopieren fertig ist, werd ich testen und die Vergleiche posten.

Ich melde mich dann sicher mit weiteren Fragen ;).

Verbrauch beim hochfahren ca 200W (nur mit Wattmeter und keine Spitzen (mess ich noch). Im Betrieb beim schreiben mit ca.750mbit (nur, weil ich über den PC kopiere) auf 14 Platten ca. 120W, Ruhezustand mit drehenden Platten ca. 105 Watt. Board allein mit einer SSD in Ruhe ca. 50Watt. 13x2TB hauptsächlich HD204UI und 1x3TB.
Netzteil ist jetzt 500Watt.

JG_15911.jpg


JG_15907.jpg
 

MrToddsFriends

Documentation Browser
Joined
Jan 12, 2015
Messages
1,338
Und hab da was gefunden ...
https://forums.freebsd.org/threads/49732/

/usr/local/etc/smb.conf
"Auto" is the default and leads to the described name mangling behavior and the low performance when writing to subdirectories with 10.000+ files.

Set to case sensitive = Yes

Volltreffer bei meinen Testbedingungen, also bei tausenden Files mit 4kB in einem Verzeichnis und relativ geringer Single-Thread-Performance der CPU (Avoton).

Wesentlich höhere Schreibleistung per CIFS aufs NAS (konstant ca. 250 kByte/s statt abfallend bis in den einstelligen kByte/s Bereich)
- wenn 'case sensitive = yes' gesetzt ist (testhalber für einen Share ausprobiert, taugt wohl nicht für alle Use-Cases),
- oder wenn bei Default-Einstellung 'case sensitive = auto' Dateien modifiziert werden statt erzeugt (dann muss Samba kein Name Mangling machen).
 

JoGi65

Dabbler
Joined
Feb 21, 2016
Messages
45
Spannend! Ich hoffe ich komme am Wochenende zum testen und dokumentieren. Möchte die Syno vergleichen.
Jemand bestimmte Wünsche, die sich umsetzen lassen?
Werde auf jedenFall von 1KB aufwärts Tests machen, und bin schon gespannt.

Eine Frage wieder:
Ich hab ja zwei Netzwerkanschlüsse auf den Boards. Wenn ich die jetzt auf ein eigenes Subnet konfiguriere (zb Server2 192.168.2.2 und Server3 192.168.2.3), und die zwei Server direkt zusammenhänge, gibts da einen einfachen Befehl, mit dem ich ein Verzeichnis direkt kopieren über die IPs kopieren kann?
Wäre toll und interessant, da die 10GB Lans dann direkt verbunden wären, und es ev nicht 3 Tage dauert, bis der nächste befüllt ist.

Und noch eine Frage, die ich zwar ausprobieren werde, aber eine Bestätigung das ich nix verklopfe wäre gut: Soweit ich gelesen habe, kann ich die Steckplätze von den Platten einfach tauschen, oder? Die werden unabhängig vom Platz wiedr richtig eingebunden?
 

JoGi65

Dabbler
Joined
Feb 21, 2016
Messages
45
Heute schnell ein paar Tests gemacht. Unix/Windows macht kaum einen Unterschied. Für Case sensitive Umstellung bin ich zu blöd. Da fehlt grundlegendes. Ist das etc ein Platzhalter für meinen Pool?

Jetzt die Bilder mit Standart Einstellungen.

DS1815 10x1GB Files schreiben

Speed_DS1815_1GB_FIles_schreiben.jpg



FreeNas 9.10Server schreiben

Speed_Server3_1GB_FIles_schreiben.jpg



DS1815 lesen

Speed_DS1815_1GB_FIles_lesen.jpg



FreeNas 9.10Server lesen

Speed_Server3_1GB_FIles_lesen.jpg



Oben DS1815, unten Server3 - 100000 1KB Files schreiben

Speed_DS1815_oben_Server3_unten_1kB_FIles_schreiben.jpg



Oben DS1815, unten Server3 - 100000 1KB Files lesen

Speed_DS1815_oben_Server3_unten_1kB_FIles_lesen.jpg



Oben DS1815, unten Server3 - 10000 10KB Files schreiben

Speed_DS1815_oben_Server3_unten_10kB_FIles_schreiben.jpg



Oben DS1815, unten Server3 - 1000 100KB Files schreiben

Speed_DS1815_oben_Server3_unten_100kB_FIles_schreiben.jpg



Mit den Grundeinstellungen ist die Schreibleistung mit kleinen Files (hab viele Dumpnail Ordner für div. Foto Sachen) schon sehr ernüchternd. Es hängt übrigens nicht an der HW, da alles max. im grünen Bereich war. Auch SSDs bringen keinen Vorteil.
Zwei andere Kopierprogramme werde ich noch testen. Da gibt es oft große Unterschiede.
 
Last edited:
Status
Not open for further replies.
Top