Nochmal zur Virtualisierung / Tipps für meine Umgebung

[s25a]

Hallo Zusammen,


dieses Forum hat mir wirklich schon sehr weitergeholfen Vielen Dank für eure schnellen Tipps. Nun bräuchte ich nochmal ein paar Tipps / Ideen. Ich habe mir vor einigen Monaten ein System zusammengestellt auf dem das aktuelle Freenas läuft (jetzt 9.10 upgegraded von 9.3). Parallel läuft noch meine alte NAS damit ich erstmal etwas Zeit habe Freenas zu verstehen. Soweit bin ich sehr zufrieden und möchte nun bald meine alte NAS abschalten und alle Daten auf Freenas migrieren. Habe auch relativ viel Geld in das System investiert (XEON CPU / robustes Mainboard 32GB ECC Speicher) um damit erstmal etwas Zukunftssicheres zu haben.

Ich habe nun auch etwas mit Virtualisierung gespielt. An sich gefällt es mir sehr gut auch gleich noch eine Virtualisierungs-Umgebung auf dem System zu haben da ich die Rechenpower etwas besser nutzen kann. Ram ist genug da also liegt es eigentlich nahe.

Allerdings möchte ich auf jeden Fall vermeiden dass die VMs irgendeinen Einfluss auf das System haben sprich nur weil auf einem Test - Gast etwas schief läuft darf das Grundsystem nicht berührt werden. Leider hatte ich nun bereits ein paar (wenn auch wenige Störungen). Beispielsweise gab es einen Reboot des Gesamtsystems als ich einen Reboot einer VM ausgelöst habe und diese einfach hängen geblieben ist. Sowas ist natürlich sehr unschön.

Lange Rede: Meine Anforderungen sind 3-4 VMs (Debian, Windows Server, Ubuntu) die ich eben unabhängig vom Gastsystem benötige. Wie würdet ihr das lösen? Würdet ihr nochmals ein separates System aufsetzen und dort die VMs laufen lassen oder würdet ihr das Ganze auf Freenas belassen. Vielleicht habe ich ja auch nur etwas falsch konfiguriert ... zudem wird mit Freenas 10 sicherlich einiges passieren mit dem neuen Hypervisor.

Wichtig wäre mir auch die Maschinen möglich einfach zu sichern zum einen über Snapshots zum anderen aber auch über ein Backup auf ein anderes System falls wirklich alles ausfällt.

Danke für eure Tipps

VG S

 

[xaibex]

Wie hast du es denn momentan umgesetzt? ESXi auf dem FreeNAS läuft oder FreeNAS mit jail mit virtualbox ? Das ist aus deinem Text nicht ersichtlich.

Prinzipiell macht es schon sinn auch ein paar VMs nebenbei laufen zu lassen. Allerdings musst du bedenken dass du deine 32GB Ram ja eigentlich für das ZFS hast. Wenn du jetzt 8, oder 16GB davon irgendwelchen VMs zuweist hast du automatisch schlechtere ZFS Performance. ZFS braucht so viel RAM wie möglich, und den reserviert es sich auch. Wenn du wirklich unabhängig sein willst macht ein separates system daher schon sinn.

 

[s25a]

Hi,

vielen Dank. Ja sorry das ist nicht ersichtlich wobei ich eigentlich gar nicht erwartet hattet dass ESXI (auf dem Freenas installiert ist) eine Rolle spielt. Oder irre ich mich dass das nicht supported ist?
Und ja ich hatte es mit Jails und VBOX umgesetzt. Wobei ich mich dieser Konstellation schon irgendwie Bauchschmerzen habe vor allem weil ich mir nicht sicher bin ob ich die Ganze Arbeit die ich investiere um die Maschinen einzurichten nicht nochmal machen muss - Kann mir nicht vorstellen dass ich eine VM aus VirtualBox dann 1:1 auf ein Freenas 10 und einen neuen Hypervisor übertragen kann.

Hinsichtlich des Speichers ist es natürlich ein Argument dass ich meine Performance auf dem Speicher nicht ausbremsen möchte wobei das für meine paar Clients die da dran hängen sowieso schon überdimensioniert ist :) Trotzdem danke für den Hinweis.

Eine Zusätzliche Maschine bedeutet halt auch immer zusätzlich Strom und Wartung allerdings würde ich dass sofort in Kauf nehmen wenn dadurch das Freenas problemloser läuft und genau den Eindruck habe ich momentan

Nochmals Danke und Viele Grüße

S


PS: Was mir gerade noch eingefallen ist:

Ich könnte ja eigentlich auch ein ISCSI Laufwerk dem anderen Server zur VErfügung stellen auf dem dann Host und die Gäste installiert werden dann spare ich mir zumindest den Speicher. Habt ihr denn einen Tipp auf welchem Hypervisor ich mit meinen Anforderungen (also Debian/Windows Server und Ubuntu als Gast und ISCSI als Speicher drunter sowie einfach Snapshots und Backups) am Besten fahre?

 

[xaibex]

Es funktioniert wohl der Weg (wenn auch nicht für Produktiveinsatz empfohlen) auf Hardware einen ESXi aufzusetzen und darauf FreeNAS mit durchgereichten (PCI-Passtrough) HBA zu betreiben. Wird jedenfalls von einigen ohne größere Probleme so betrieben. Ich hatte es seinerzeit aber ebenfalls mit vitrualbox umgesetzt.

Die Virtualbox Lösung funktioniert meinen Erfahrungen nach ganz gut und wird es wahrscheinlich auch in Zukunft tun, sofern du bei 9.3/9.3.10 bleibst. Und falls du doch auf 10 upgradest könntest du immernoch die maschinen(hüllen) neu erstellen und den platteninhalt kopieren (normalerweise werden ja gängige virtual disk formate verwendet wie .vhd .vmdk oder lassen sich notfalls inhaltlich clonen)

Bei der Zusätzlichen Maschine könntest du dir auch einen günstigen HP Microserver g8 holen, falls nötig mit i3 bestücken und ohne platten (iSCSI von Storage) nur mit ESXi vom Stick laufen lassen. Allerdings würde ich dann eine zweite Netzwerkkarte einbauen und Storage und Client Netz trennen.

 

[Rand]

Muss es denn Debain und Ubuntu sein oder geht es nicht auch mit einem FreeBSD Jail? Dann wäre nur eine Maschine (Win) extra in VBox...
Ansonsten ist es Geschmackssache - bzw die Frage ob Du überhaupt einen HBA zum bei ESX durchreichen hast oder ob Du auf den SATA Anschlüssen läufst...

 

[s25a]

Hallo Zusammen,

nochmals Danke für eure Tipps. Ich habe jetzt über Pfingsten ein wenig experimentiert. Also es ist definitiv so dass die Vbox in einem Jail bei mir Probleme macht. Keine Ahnung ob das schon immer so war oder erst nach dem Update von 9.3 auf 9.10 jedenfalls passieren da Sachen die denke ich nicht sein sollten. Beispielsweise bootet das komplett System neu beim Versuch das Jail (ob mit oder ohne laufender VM) anzuhalten oder neu zu starten. Bei anderen Jails ist das nicht der Fall. Auch kommt es immer wieder zu Problemen wenn ich beispielsweise eine der VMs anhalten möchte bis dahin dass das System (das Freenas) nicht mehr erreichbar war). Also ich werde definitiv von der Virtualbox in Jail Lösung absehen denn dafür ist mir das Gesamtsystem zu wichtig. Ansonsten habe ich mit den BSD Jails keine Probleme die tun was sie sollen.

Leider habe ich 2 Anwendungen die ich nicht unter BSD installieren kann dafür benötige ich eben weitere Betriebsysteme. Einen anderen Hypervisor auf BSD gibt es nicht oder(Außer dem geplanten in Freenas 10 aber das dauert ja noch ein paar Monate)?
Die Lösung Freenas auf VM zu virtualisieren hört sich erstmal ganz spannend an allerdings bin ich mir bzgl. der Zuverlässigkeit unsicher. Wieso ist das nicht supported - das wird einen Grund haben denke ich oder geht es nur darum dass der Entwickler keinen Support für die unterschiedlichen Hardwarekombinationen geben kann? Ich habe eines der neuen Boards mit C236 Chipsatz und einem Xeon V5 drauf. Das Board hat 8 x Sata da sind die Platten dran.

Viele Grüße

S

P.S Das hatte ich dazu noch gefunden

http://www.freenas.org/blog/yes-you-can-virtualize-freenas/

 

[Rand]

Also die Probleme mit der vBox klingen nach Problemen mit LAN Treibern. K.A. ob das normal ist, hatte immer noch meine alte Config basierend auf CJ's offizieller Anleitung von vor langer Zeit und habe jetzt auf VMWare migriert.

BHyve ist ja nicht FreeNas limitiert sondern läuft unter FreeBSD 10 schon länger - du könntest damit experimentieren in 9.10 (CLI only), wenn Du das möchtest.

FreeNas unter VMWare funktioniert wenn man es ordentlich macht - i.e. im speziellen keine RDMs oder virtuellen Disks für die Poolplatten, sondern nur HBA Pass Through.
Sata Passthrough (also onBoard) klappt glaube ich nicht, habe es zumindestens nicht hinbekommen
D.h. Du brauchst auf jeden Fall einen HBA den Du nur für FreeNas verwendest z.B. M1015, ESX verwendet dann die Sata Ports.

 

[s25a]

Vielen Dank für die Ausführlichen Infos das hilft schonmal sehr weiter Klingt eigentlich schon sehr interessant mit der Freenas Virtualisierung. Bin schon fast wieder am Überlegen ob ich das mit dem HBA Passthrough machen soll. Dann könnte ich daneben meine Virtuellen Maschinen Parcken. Ich gehe mal von aus dass das Ganze etwas "un-performanter" ist als hardwarebasiert auf der anderen Seite sollte das mit dem Xeon V5 eigentlich Dicke reichen.

Also die Probleme mit der vBox klingen nach Problemen mit LAN Treibern. K.A. ob das normal ist, hatte immer noch meine alte Config basierend auf CJ's offizieller Anleitung von vor langer Zeit und habe jetzt auf VMWare migriert.

Ich hab das schon richtig verstanden dass du dass genau so verwendet oder? Weil du von einer VMWare Migration sprichst.

Danke und VG

S

 

[xaibex]

Sata Passthrough (also onBoard) klappt glaube ich nicht, habe es zumindestens nicht hinbekommen

Das klappt mit bestimmten Chipsätzen die zwar auf dem Board mit drauf sind aber per PCI-Express angebunden sind und sich verhalten wie ein dedizierter HBA. Supermicro hat wohl mehrere solcher Boards im Programm, aber ich habe keine Ahnung welche genau das sind.

 

[Rand]

Naja mit onBoard SAS geht das auf jeden Fall, und ein separater Marvell wahrscheinlich auch, aber der Standard Intel auf einem E3 Board? Weiss nicht - aber kann schon sein :)

Und ja das ist genau ein Szenario wie ich es betreibe (mit einem E3 v3 und einem E3 v5)

 

[s25a]

Ok jetzt habt ihr es geschafft mich neugierig zu machen Ich glaube ich werde das mit der Virtualisierung von Freenas probieren. Das bedeutet zwar dass ich ein neues Board brauche aber das wäre es mir Wert insofern dass dann vernünftig läuft
Nur nochmal zum Mitschreiben:

- Ich habe z.B. das Board gefunden: http://www.supermicro.com/products/motherboard/Xeon/C236_C232/X11SSL-CF.cfm
Dieses hat abgesehen von den Onboard SATA Anschlüssen einen LSI 3008 Onboard. Diesen würde ich entsprechend verwenden um die Platten anzuschließen.
- Auf dem System wird also der ESX Server installiert und dadrauf wiederum als VM mit PCI Passthrough: Freenas. Der durchreichte LSI ist dann exklusiv für Freenas Bestimmt.
- Nebenbei laufen 2-3 weitere Maschinen auf dem ESX Server
- Von den 32GB Speicher würde ich natürlich den Großteil Freenas geben. Kann man das mit dem ESX Server so realisieren und was wäre hier eure Empfehlung?
- Weiterhin habe ich noch eine PCIe Karte (DVB-C) die ich gerne einer anderen Maschine (also nicht Freenas) geben würde - ist das möglich oder kann ich immer nur einer Maschine etwas durchreichen.

Danke für eure Tipps und VG

S

 

[Rand]

Hm bei dem Board musst du glaube ich aufpassen - es kann sein das der C232 kein Vt-D unterstützt, das also nur der C-236 kann... glaube da was gelesen zu haben - steht aber bei Supermicro nichts von da (auch nicht bei meinem Board das es kann)

Edit. hmm laut Intel schon: http://ark.intel.com/products/90578/Intel-GL82C232-PCH
Muss ich mal suchen wo ich das aufgeschnappt hatte.

Edit2 :zB hier: https://forums.freenas.org/index.php?threads/x11-build-report.41877/#post-279675
Aber auch da steht am Ende das es gehen sollte.

Speicher - also bei mir waren die 32GB schon knapp, aber ich übertreibe es auch ein wenig, ist auf jeden Fall ein guter Startwert, und aktuell ja recht günstig.
DVB-C Karte sollte sich eigentlich ohne Probleme durchreichen lassen