Konfiguration meines Pools für VDI

Status
Not open for further replies.

reger93

Dabbler
Joined
Apr 30, 2017
Messages
14
Hallo Zusammen,
ich beschäftige mich in Form eines Projekts mit Storage für eine kleine VDI.
Mein Pool beinhaltet 8x 1TB HDDs und bis zu 6 SSDs.
Ich habe meinen Pool so konfiguriert dass ich 4 512Gb EVO SSDs als L2Arc nehme
und 2 512GB EVO SSDs als ZIL. Mag vielleicht erstmal oversized sein, aber darum geht es nicht.
Mein Testszenario sieht aus, dass 10 Virtuelle Maschinen gleichzeitig laufen und auf diesen Storage jeweils weitere VMs installieren.
Das ganze ist keinen Deut schneller als nur mit HDDs und wenn ich unter Berichte im FreeNas schaue,
machen die beiden ZIL-Laufwerke nichts. Dabei sollten doch diese Theoretisch zuerst beschrieben werden und dann auf die HDDs schreiben,
scheinbar geht es direkt auf die HDDs. Könnt ihr mir als Community helfen was ich falsch mache?
 

flatterlight

Explorer
Joined
Oct 19, 2014
Messages
58
Hi,
wilkommen im Forum.
In deinem Post fehlen noch Angaben zur verwendeten Hardware CPU, RAM, Mainboard, Array Layout (mirror, RAIDZ-1,...)
Bevor du L2ARC verwendest solltest du den RAM ausreizen. Bei weniger als 64GB RAM sollte man keinen L2ARC verwenden, da die Verlinkung in das L2ARC wiederum Speicher im RAM benötigt. Des weiteren ist es empfohlen den L2ARC maximal 5x des Arbeisspeichers zu verwenden.

Quellen:
ZFS Primer engl.
Slideshow explaining VDev, zpool, ZIL and L2ARC and other newbie mistakes! engl.
 

X11SAE

Patron
Joined
Dec 10, 2016
Messages
218
Ich habe mich noch nie intensiver mit ZIL und L2ARC auseinandergesetzt. Ich würde in Deinem Fall vermutlich einen separaten SSD Pool machen und diejenigen VMs welche wirklich schnell sein müssen da drauf schieben. Das ist deutlich einfacher zu konfigurieren.
10 GbE Anbindung hast Du, oder?
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Hardware specs und Anbindung sind erstmal interessant.
Eventuell liegt das bottleneck woanders.
Dann kann man ne Lösung suchen.
Aufjedenfall solltest du dich mit der Funktionsweise von zfs beschäftigen.


Gesendet von iPhone mit Tapatalk
 

reger93

Dabbler
Joined
Apr 30, 2017
Messages
14
Hardware ist ein Intel(R) Xeon(R) CPU E5620 @ 2.40GHz mit 24GB ECC-RAM, angeschlossen mit 10Gbit Netzwerkanbindung.
Ich nutze es über iScsi und jetzt im obigen Link gelesen, dass iScsi wohl asynchron überträgt weshalb der ZIL keinen Sinn ergibt.
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Bei 24 gab ram ist der l2arc mehr hinderlich vermute ich.
Willst du mehr Performance dann --mirrors statt raidz (was nutzt du?)
--Mehr RAM
--ssd Pool (mirrors)

Bei iscsi nur 50% der Kapazität nutzen sonst wird es langsam.


Gesendet von iPhone mit Tapatalk
 

reger93

Dabbler
Joined
Apr 30, 2017
Messages
14
Ich nutze RaidZ und den ZIL Mirrord und L2ARC Stripe.
upload_2017-5-3_12-6-54.png

so schaut mein Pool aus. Der Storage ist ein zvol. Wohl oder übel wird es wohl auf Full-Flash hinauslaufen.
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Wechsel erstmal von. Raidz auf mirrors, das wird einiges bringen.
Zil und l2arc bei dem RAM wird nicht viel bringen.
Wenn mirrors zu langsam sind versuche mirrors mit ssds.
Ansonsten kommst du um ein RAM Upgrade nicht herum.


Gesendet von iPhone mit Tapatalk
 

reger93

Dabbler
Joined
Apr 30, 2017
Messages
14
Weil mein Problem ist wenn ich alle Vms installieren lasse, also schreiben lasse, der RAM vollläuft und dann das Bottleneck ist, weil die Platten dahinter zu langsam beschrieben werden?

Edit: In meinem Testszenario werden knapp 1Tb geschrieben, Ram Ist also sehr schnell voll und kann durch iScsi den ZIL nicht nutzen(weil asynchron) und hat dann die langsam HDDs dahinter. Hab ich das soweit richtig verstanden?
 
Last edited:

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Joa.
Wenn du nun Mirrors anstatt eines Raidz2 nutzt hast du mehr Vdevs, ergo mehr Iops/Performance.
 

reger93

Dabbler
Joined
Apr 30, 2017
Messages
14
Habe nun 6SSDs und 6HDDs als zwei seperate Pools im Mirror aber im 2x3 bisschen Kapazität benötige ich auch.
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
bei 6 SSDs und Richtung auf Performance würde ich 3 Mirrors mit je 2 SSDs machen.

Bei Consumer SSDs dann ZFS Snapshots einrichten und auf den HDD Pool Backupen. - Danach dann wie gewohnt backup...
 

reger93

Dabbler
Joined
Apr 30, 2017
Messages
14
Wenn ich Mirrored mache, dann Cached der nicht im RAM? Wann nimmt der den RAM als (L1)ARC? wenn ich einen L2ARC definiere oder bei RaidZ(1)(2)(3)?
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Arc wird immer genutzt, Unabhängig vom Pool Layout. Egal ob mirrors oder raidzx



Gesendet von iPhone mit Tapatalk
 

reger93

Dabbler
Joined
Apr 30, 2017
Messages
14
Dann würde mich das spätestens morgen beim Test wieder das gleiche Bottleneck haben mit dem RAM, zumindest mit dem HDD-Pool sehe ich das richtig?
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Naja. Außer das mirrored vdevs eben mehr Performance liefern als raidz.
Zfs ist gut. Kann aber weder zaubern noch physikalische Grenzen außer Kraft setzen.


Gesendet von iPhone mit Tapatalk
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Sind das nun eigentlich Tests oder ist das der "Daily" workload?
Sprich jeden Tag 10 vms die 10 neue erstellen!?
Zfs benchmarks können sehr enttäuschend sein, real world Performance dagegen sehr gut. Vorallem wenn sich die hit ratio mal normalisiert hat im live betrieb.


Gesendet von iPhone mit Tapatalk
 

reger93

Dabbler
Joined
Apr 30, 2017
Messages
14
Es ist in erster Linie ein "Test", Daily Workout wird aber sein, dass jweils 6HyperV VMs in 10 virtuellen Desktops parallel laufen und DomänenController dort aufgesetzt werden usw.
Also wenn die 60VMs alle laufen lässt es sich arbeiten, es werden keine Datenbanken darauf laufen. Aber diese Bereitstellung von allen Maschinen, also das Installieren der HyperV-VMs sollte nicht weit über 2h laufen. Mit Full-SSD Storage ist die Zeit gut zu unterbieten, deswegen bin ich auf das Caching aus, insbesondere Schreibcache.
 

snaptec

Guru
Joined
Nov 30, 2015
Messages
502
Von welchen Datenmengen reden wir hier?
Leider das "Schlechteste" os gewählt. Was windows zwischendurch immer auf hdd zugreift im Vergleich zu Linux ist abartig.
Das mit nur 8hdds bzw nur 6ssds ist echt sportlich für 60vms.

Hast mit ssds als mirrors mal getestet? Wie lang dauert das dann?
Wenn es bei nur 8 hdds bleiben soll wird da nichts. Je mehr je schneller!
Ansonsten auf ssd zurückgreifen als Pool.


Gesendet von iPhone mit Tapatalk
 

reger93

Dabbler
Joined
Apr 30, 2017
Messages
14
Also die zu schreibenden Datenmengen sind ca. 800-900GB. Mit schlechteste OS meinst du jetzt FreeNas?
Ja gut die 8HDDs sind 16 einzelne als Raid1 durch den Raid Controller gereicht, somit hab ich mir da jetzt quasi ein Raid(11) gebastelt was wahrscheinlich schrott ist.
Ehrlich gesagt habe ich noch nie soviel getestet mit Raid und Speicher wie bis jetzt :D
Aber ich hatte das Szenario auf den 6 SSDs laufen und war doch ganz ok.
 
Status
Not open for further replies.
Top