ZIL und L2ARC für meine Konfigutration sinnvoll?

[xxxONURISxxx]

Hallo!

Ich experimentiere gerade mit FreeNAS und will es demnächst als Produktivsystem (privat) einsetzen. Folgende Konstellation ist geplant:

• MB: Supermicro X11SSL
• CPU: Xeon E3-1240v6
• RAM: 16GB ECC-RAM (wird erweitert auf 32GB)
• System: ESXi 6.5 auf USB-Stick
  
• Fespl.: 7x WD Red 3TB für Daten; 500GB oder 1TB Festplatte als ESXi-Datastore für VMs (event. als Raid1)
  
• Verwendung: Dateispeicher (Fotos, Videos, Dokumente usw.); iSCSI für andere VMs (MS Server) und Timemachine für meine Macs; später eventuell mal eine kleine DB für ein Dokumentenmanagemensytem oder als Testsystem für SQL o. ä.)

FreeNAS 9.10 soll als VM in ESXi laufen und die 7 WD Red werden per VT-d direkt an FreeNAS durchgereicht und als RaidZ2 eingebunden.

Bisher betreibe ich einen Windows Server 2012R2 mit Storage Spaces und ReFS. Bei diesem System habe ich zwei 128er SSD im Raid1 als Cache-Platten eingebunden, was den Dateitransfer merklich beschleunigt. Soweit ich ZFS bisher verstanden habe, bringt ZIL und L2ARC bei FreeNAS aber nur bei Verwendung großer Datenbanken einen Geschwindigkeitsvorteil. Verstehe ich es richtig, dass ich davon (bei meinem Einsatzszenario) nicht wirklich profitiere?

Gruß
Daniel

 

[flatterlight]

Hallo,
bei deinem aktuellen Speicherausbau ist ein L2ARC nicht empfohlen, da die auf die L2ARC ausgelagerten Blöcke wieder rum Speicher benötigen.

As a general rule, L2ARC should not be added to a system with less than 64 GB of RAM, and the size of an L2ARC should not exceed five times the amount of RAM.

Source: http://doc.freenas.org/9.10/zfsprimer.html#zfs-primer
Es gilt allgemein:

1. Pool Layout vor dem Einrichten auf den Einsatzzweck optimieren
2. RAM voll aufrüsten
3. evtl. L2ARC oder ZIL

Bei deinem Anwendungsfall würde ich 2 verschiedene Pools einsetzen.
Für die Medien/Backups je nach Paranoialevel RAIDZ1 2 oder 3.
Für die Verwendung als iSCSI Volume mehrere Mirrors aus HDDs oder SSDs.

Flatterlight

 

[X11SAE]

Wo hättest Du gerne einen Geschwindigkeitsschub?
Der grosse Pool wird ja vermutlich über 1G Netzwerk an den Clients hängen, da wird das Netzwerk der Bottlenek sein.
Die ESXi Platten sind direkt am ESXi Host angeschlossen, da hilft Dir eine Beschleunigung von FreeNAS nichts.
Wie verbindest Du das iSCSI Target mit den andern Hosts? Wenn Du kein 10G planst, ist auch da wieder das Netzwerk der Bottleneck.

Ich würde empfehlen, FreeNAS günstig und unkompliziert zu betreiben und wenn Du noch Budget hast in SSD's für ESXi zu investieren.

Bei solchen verschachtelten Installationen muss man immer aufpassen, dass man sich nicht ausschliesst. Hast Du eine Domäne? Wenn ja, sollte nach Möglichkeit 1 DC mit DNS ausserhalb des ESXi Hypervisors stehen. Du kannst Dich z.b. nur mit dem vSphere Client verbinden, wenn der DNS läuft. Wenn Du Dich nach einem Totalausfall aber per vSphere anmelden willst um den DC wieder hochzufahren, steckst Du in der Klemme. Dann musst Du physikalisch an den Host um SSH einzuschalten und dann per Putty den DC starten. Ist ultra umständlich.

Kennst Du ESXi 6.5 schon? Ich empfehle eher 6.0, da ab 6.5 der native vSphere Client überhaupt nicht mehr unterstützt wird. Weiter unterstützt der alte Flash Web-Client nicht mehr alle neuen Funktionen, der neue HTML5 Web-Client ist noch nicht fertig und unterstützt noch nicht alle Funktionen. Ziemlich ärgerlich und sehr Kundenunfreundlich was vmWare da bastelt...

 

[xxxONURISxxx]

Danke für eure Hinweise.

@flatterlight: Was ist der Vorteil, das iSCSI Volume als Mirror zu erstellen? Vermutlich wegen der Geschwindigkeit. Oder gibt es noch weitere? Wo kann ich mich zu Punkt 1 belesen?

@X11SAE: Ich habe auch schon darüber nachgedacht, auf die 6.0 zurück zu gehen. Ich weiß nicht, ob es an der 6.5 oder an etwas anderem liegt, aber der Webclient stürzt ständig ab. Das nervt mich schon sehr. Mein 2012er Server läuft auch als DC. Geplant hatte ich, einen zweiten DC auf meinem zweiten ESXi (HP Microserver Gen8) aufzusetzen, welcher aber nur bei Bedarf (z. B. Ausfall des ersten DC) gestartet werden sollte. Nur der erste ESXi soll ständig laufen. Ich will ja nicht unnötig Strom vergeuden. Meinst du, dass das eine praktikable Lösung ist?

Ist ZFS wirlich so schnell, dass das 1G Netzwerk das Problem ist? Mit Storage Spaces kam ich nur mit WB-Cache an die Grenze des Netzwerkes und das auch nicht immer. Ich hatte auch schon über InfiniBand nachgedacht. Das kann man im Gegensatz zu 10G ja teilweise schon recht günstig realisieren.

 

[X11SAE]

Ich kann (noch) nicht auf 6.0, da es da für meine 10G Netzwerkkarten keine Treiber gibt. Das mit dem Webclient kommt noch obendrauf. Welchen verwendest Du? Schau mal, ob der andere Webclient stabiler läuft.

Die Vorteile vom iSCSI Mirror sind Performance und Sicherheit:
- Das Starten und Ausführen eines Betriebssystemes mit GUI generiert auf dem Speicher viele einzelne Lese- und Schreibezugriffe (IOPS). Deshalb spürt man z.B. in einem Notebook einen dermassen grossen Boost, wenn die HDD durch eine SSD ersetzt wird. In Virtualisierungsumgebungen hat man sinnvollerweise mehrere Maschinen, wenn diese gleichzeitig auf den Speicher zugreifen, müssen sie sich die IOPS des Speichers teilen. Mit einem Mirror erhöhen sich die IOPS. Hier lohnt sich auch der Einsatz von (Server-) SSDs.
- Durch den Mirror sind die Daten doppelt vorhanden, wenn eine Disk ausfällt, ist noch nichts verloren.

Meiner Meinung nach wird 1G Netzwerk überschätzt, so schnell ist das auch nicht. Ich kann hier 500M Internet haben, früher war da ein mindestens 2-stelliger Faktor dazwischen.
Für die Client-Anbindung reicht das schon, aber bei Virtualisierung kann es zum extremen Flaschenhals werden. Wenn ich z.B. 10 VM's habe und die sich eine 1G Leitung zum Speicher teilen, dann erreiche ich pro VM höchstens 10 MB/s auf dem Speicher. Wie sich ein Windows bedienen lässt, das von einem Speicher mit der Geschwindigkeit eines alten USB2-Sticks läuft willst Du Dir nicht mal vorstellen ;)
Dann sind da noch die IOPS: Die kürzeren Latenzzeiten einer 10G Verbindung führt dazu, dass die Lese- und Schreibezugriffe schneller bearbeitet werden, was die VM deutlich schneller macht.

Ich habe mir Infiniband auch angeschaut. 40G klingt schon lecker :)
Habe mich dann aber für Ethernet entschieden, da es mehr Treiber gibt und weniger Gebastel ist.
Ich finde das schon bezahlbar, für meine 10G Komponeten habe ich folgendes ausgegeben:
2x Emulex OCe11100 2x69.-
1x Intel X520 100.-
3x SFP+ Twinax-Kabel 3x20.-

FreeNAS mit ZFS hat WB-Cache immer aktiv. Im Gegensatz zu einem Hardware Raid Controller benutzt FreeNAS dafür den RAM. Deshalb benötigt ZFS so viel RAM und deshalb ist es auch so performant.

Ich kann Dir zu Punkt 1 keinen Link oder so geben, das ist auch eine Erfahrungssache. Ich empfehle, geplante Änderungen aufzuzeichnen. So merkt man oft beim Zeichnen, wenn etwas besser gemacht werden kann. Wenn Du so einen Plan für Deine Infrastruktur zeigst, können wir konkrete Tipps geben.

DCs sollten immer laufen, mindestens einer davon physikalisch. Der DC sollte nur DC sein und keine anderen Aufgaben übernehmen. Als Privatperson ist das aber meistens nicht möglich. Dann muss man Kompromisse eingehen und entscheiden, ob man das Risiko so eingehen kann. Solange alles läuft, ist das absolut praktikabel. Faustregel: Je mehr man bei der Architektur spart, umso mehr Aufwand hat man zur Widerherstellung wenn es doch mal kracht.
Apropos, hast Du eine USV? Wie machst Du Backup von den Virtuellen Maschinen?

 

[Scampicfx]

Bedenke dass bei einem Xeon E3 System der Speicherausbau auf 64 GByte begrenzt ist und RAM die Lebensgrundlage für ZFS ist ;)
Vergleiche, um welchen Faktor sich in der Vergangenheit dein Speicherplatzbedarf gesteigert hat...
Ich erinnere mich an Zeiten, bei denen man glaubte, dass man 1 TByte niemals vollkriegen wird... ;)
Heute weiß ich, dass nicht mal 10 TByte reichen würden ;)

Mit einem Xeon E5 System erhöhst du den maximal möglichen Speicherausbau in der Regel auf 256 GByte, was dir eine höhere Zukunftsbeständigkeit des Systems gewährt. Außerdem bildet diese größere Speicherausbaumöglichkeit gleichzeitig die Grundlage für spätere Ausbauoptionen wie z.B. L2ARC / SLOG.

In meinen Augen hältst du dir mit einem Xeon E5 mehr Optionen für die Zukunft offen! Du hast deutlich mehr Upgrade- und Ausbauoptionen! Ich finde, insbesondere für FreeNAS bietet sich die Xeon E5 16xx v4 Serie an (Broadwell).

 

[X11SAE]

Das sehe ich auch so.
Allerdings ist RAM auch die Lebensgrundlage von Virtualisierung und wenn man die Architektur hier anschaut, würde ich zuerst FreeNAS physikalisch vom ESXi trennen, bevor ich all mein Budget in einen Prozessor investieren.
Kommt aber halt darauf an, wieviele VMs vorhanden sind und was die für eine Last generieren. Obwohl ich bei meiner Aussage davon ausgehe, hat ja nicht jeder 10+ VMs Zuhause :)

 

[xxxONURISxxx]

Fein ... jede Menge Input. :)
Allerdings will ich es nicht ausarten lassen. Es ist eine private Umgebung und ein E5 mit 256 GB RAM leider etwas too much. Solche Server haben wir ja nicht mal in unserer Firma stehen. :D

Ich taste mich momentan gerade erst an das Thema FreeNAS heran. Klar wäre ein eigener Server für FreeNAS ne feine Sache. Allerdings muss für mich auch die Kosten-Nutzen-Rechnung einigermaßen passen. Den Stromverbrauch muss ich auch irgendwie der Regierung erklären können. Zu dem ESX kommt eh schon eine zweite Maschine mit einer Sophos UTM hinzu. Wenn ich da jetzt noch eine dritte Maschine laufen lasse ...

@X11SAE: Der Server hängt an einer USV. Backup der VMs habe ich bisher noch nicht gemacht, da es alles nur Testinstallationen waren. Mit produktiven Maschinen ist das natürlich ein anderes Thema. Welche kostenlosen bzw. preiswerten (bis 100,-) Programme sind denn zu empfehlen? Ich hatte mich schon einmal mit Veeam beschäftigt.

Ich werde mich noch etwas mit dem Konzept befassen und das Ganze mal aufzeichnen. Ich melde mich ....

 

[X11SAE]

Man muss halt unterscheiden, ob das Betreiben der Server Hobby ist oder Mittel zum Zweck. Ich habe hier total 4 Server (2x ESXi Host, 2x FreeNAS) und noch ein Thecus NAS stehen und bin irgendwie immer am Limit :)

Veeam kann ich sehr empfehlen, ich befürchte jedoch, dass die kostenlose Version nicht ausreicht. Im Moment mache ich noch mit Veeam ein Snapshot Backup meiner VMs. Das ist super schnell und bei Bedarf kann die komplette VM innerhalb kurzer Zeit in die bestehende oder eine neue Infrastruktur wiederhergestellt werden. Nur einzelne Dateien wiederherstellen ist natürlich auch kein Problem.
Ich bin am überlegen, ob ich vom Konzept mit dem Veeam Backup weg soll und es durch FreeNAS Bordmitteln ersetzen will. Da ich 2x FreeNAS habe, würde sich ein Replizieren des Datastores aufdrängen.
Veeam bietet jedoch deutlich mehr Möglichkeiten und vor allem viel schnelleres und einfacheres Wiederherstellen von einzelnen Dateien. Dafür brauche ich extra eine Veeam VM, welche wieder Ressourcen "verschwendet".

 

[xxxONURISxxx]

Mal eine andere Frage ... wie sieht euer Backupplan aus? Wie sichert ihr all eure Daten?

 

[X11SAE]

Ich bin da grad im Umbruch. Meine Umgebung ist historisch ohne FreeNAS gewachsen und wird die nächsten Monate angepasst. Hier mal eine kurze Beschreibung meiner Situation:

FreeNAS-1 per 10G iSCSI an ESXi Host:
- SSD-Pool: Datastore für VMs
- HDD-Pool: Datastore für Windows Fileserver

FreeNAS-2 per 1G iSCSI an ESXi Host:
- HDD-Pool: Datastore für Backup Repository

Thecus NAS SMB per 1G:
- HDD-Pool-1: Datastore für Backup Repository
- HDD-Pool-2: Transfer, Temp, Reserve

FreeNAS-1 beinhaltet alle meine produktiv Daten. Für jede virtuelle Maschine gibt es einen eigenen Veeam Backupjob, welcher jede Nacht die komplette VM nach FreeNAS-2 sichert. Der Fileserver ist wegen der grossen Datenmenge auf 3 Jobs mit unterschiedlicher Priorität aufgeteilt. Die Backups werden max. 30 Tage auf FreeNAS-2 gespeichert.
Weiter wird jeder Backupjob Sonntags auf das Thecus NAS gesichert. Dort werden die Backups im Moment noch unendlich gespeichert. Irgendwann wird aber auch da der Platz nicht mehr reichen.

Als 1. Massnahme möchte ich den Windows Fileserver durch FreeNAS ersetzen und die SMB Shares direkt vom FreeNAS zur Verfügung stellen. Das hat den Vorteil, dass ich eine VM weniger benötige. Weiter erwarte ich dadurch Performance Vorteile, da der Netzwerkverkehr des Filers nicht mehr via Umweg übers 10G iSCSI beim Client landet. Der Hauptgrund für diese Massnahme ist, dass ich in Windows die Vorgängerversionen und die Snapshot- und Replizierungsfunktionen von FreeNAS nutzen kann.
Der Nachteil ist, dass ich einiges an Flexibilität abgebe. Mit dem Windows Fileserver im VMware Datastore kann ich die einzelnen Partitionen des Filers auf unterschiedliche Datastores migrieren und so diese für Wartungsaufgaben im laufenden Betrieb freimachen und sogar ausschalten/neustarten.

Offsite Backup mache ich zur Zeit nicht komplett. Die allerwichtigsten Daten (Bewerbungsunterlagen, Zeugnisse, Diplome, persönliche Erinnerungen, Kinderfotos, etc) habe ich auf verschlüsselten USB-Sticks im Auto, im Geschäft und bei den Eltern.
Das Thecus NAS ist in einem Blechschrank, ausserhalb des Racks in einem Raum mit nahezu keinem brennbarem Material und separatem Zugang. Es ist so aufgestellt, dass ich es innerhalb von 3 Sekunden unter den Arm klemmen und mitnehmen könnte.

Das ist sicher nicht optimal, hat sich für mich als Privatperson jedoch als guter Kompromiss bewährt.

 

[xxxONURISxxx]

Dein Backup-Konzept klingt nicht schlecht. Ich muss an meinem auch noch arbeiten.

Mal eine andere Frage zu ESXi ... Ich hab nun den E3-1240V6 und musste feststellen, dass dieser erst von ESXi 6.0U3 unterstützt wird. Allerdings kann ich keine kostenlose Version der U3 finden. Nur die U2 kann ich herunterladen. Gibt es die U3 nicht als Free-Version?

 

[X11SAE]

Schau mal hier: https://my.vmware.com/web/vmware/details?downloadGroup=ESXI60U3&productId=491&rPId=15970

 

[snaptec]

Backup über zfs replication oder rsync, je nach Ziel + selbiges als offsite Backup.


Gesendet von iPhone mit Tapatalk