TrueNAS baremetal vs. virtualisiert

[doe24]

Hallo zusammen,

ich plane zu Hause mir ein Homelab aufzubauen, grob kann man sagen es soll Storage (TrueNAS) und Compute Power/Hypervisor (Proxmox) für VMs aufgebaut werden. Ich bin ein Freund von sauberen Trennung von Domänen, d.h. Storage und Hypervisor sollten getrennt sein, also dedizierte Hardware, jedoch gibt es ein Konflikt mit dem Stromverbrauch, heißt 2 Server mehr monatliche Kosten! Viele Leute virtualisieren auch TrueNAS innerhalb von Proxmox, wäre technisch möglich, ob es Sinn macht ist die andere Frage, wie seht ihr das, welche Vor / Nachteile gibt es pro Option?

Ein Nachteil wäre das man den Hypervisor nicht ausschalten könnte, falls ich diese nicht brauchen würde, aber TrueNAS darin noch läuft (24/7)

Auch wie verhalten sich die TrueNAS zugewiesenen Disks die evtl. im Sparmodus SleepMode (Spindown) sind und Proxmox diese wieder evtl. aufweckt etc.

Diese Gedanken schwirren in mir rum, wie seht ihr das alles?

 

[jgreco]

https://www.truenas.com/community/t...ide-to-not-completely-losing-your-data.12714/

 

[doe24]

Das bestätigt mich noch mehr dediziert einen Server für Storage und Hypervisor zu bauen

 

[Patrick M. Hausen]

Supermicro Xeon-D basierte Boards bieten für mich einen guten Kompromiss aus "Wumpf" und Stromverbrauch. Allerdings sind die Boards teuer. Dafür hat man dann aber "echte Server-Hardware" mit ECC, IPMI, 1 und 10 G Netz onboard, ...

Beispiel:

X10SDV-TLN4F | Motherboards | Products | Super Micro Computer, Inc.

X10S, X10SD, X10SDV, X10SDV-TLN4F

www.supermicro.com

 

[doe24]

Hi Patrick, genau die Supermicro Boards mit SoC Chips sind sparsamer, was hälst du von den beiden hier,?

Supermicro A2SDI-H-TF retail (MBD-A2SDI-H-TF-O)

Supermicro A2SDI-H-TF retail | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Supermicro A2SDI-H-TF retail ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: Mini-ITX • CPU: Intel Atom C3758, 8C/8T, 2.20GHz, 16MB+2MB Cache, 25W TDP, Codename "Denverto… ✔ Mainboards mit CPU ✔ Testberichte ✔ Günstig kaufen

geizhals.de

ASRock Rack EPYC3101D4I-2T

ASRock Rack EPYC3101D4I-2T | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASRock Rack EPYC3101D4I-2T ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: Mini-ITX • CPU: AMD Epyc Embedded 3101, 4C/4T, 2.10-2.90GHz, 8MB+2MB Cache, 35W TDP, Codename… ✔ Mainboards mit CPU ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Beide haben 2x10G Netz, Verbrauch zwischen 25W - 35W TDP, das Supermicro hat in Summe 12x SATA Ports, das Asrock RACK hat nur 4x SATA Ports

Wenn man +6 Disks einbauen möchte, dann müsste man bei ASROCK eine weitere Karte/Controller kaufen.
Meine Idee wäre ZFS Mirror mit 3 VDEVs (3x2 Disks) zu bauen.

 

[Patrick M. Hausen]

Ein Atom ist halt deutlich schwächer als ein Xeon-D. Ich hab genau aus diesem Grund von Atom auf Xeon-D gewechselt, weil meine Windows VM (in TrueNAS/bhyve) einfach unerträglich langsam war. Generell sind die Atom-basierten Boards von Supermicro geiler Scheiß. Vor allem das eine Gerät mit 12x SATA - what the ...? Die Single-Core Performance ist halt nicht so prall. Also solange Du nicht Windows 10 darauf virtualisieren und wirklich damit arbeiten willst über RDP ... go for it.

 

[John Doe]

hab nach etwa 4 jahren freenas auf bare metal zu ESXi und freenas gewechselt.
Ich hatte damals auch den wunsch firewall, storage und die VMs physisch getrennt laufen zu lassen. Hardwarekosten und stromverbrauch würden aber zu viel sein, um nur ein bisschen rum zu spielen.

die ESXi kiste (specs in der signatur) läuft tadellos und bisher ist mir auch kein datenverlust aufgefallen.
performance hits habe ich gefühlt bei sehr kleinen dateien via SMB im vergleich zu baremetal, jedoch im vertretbaren rahmen.

nach vielen tutorials und mit den einstellungen spielen bin ich im idle bei 55-60W, ohne HDD spindown (pfsense, 5x debian VMs [plex, PW manager, nextcloud, roundcube und jirafeau] an).

sollte es in nächster zeit mal ein atx oder e-atx motherboard für ryzens geben mit 10gbit intel nic werd ich wohl auch mal ein upgrade machen.

lessons learned:

• weniger ram riegel nutzen -> weniger stromverbrauch
• versuchen um den HBA herum zu kommen, ich vermute meiner zieht um die 10-15w
• onboard intel 10GBE nic um strom zu sparen

spindown ist so ein zweischneidiges schwert. man spart sicher etwas strom, verkürzt wohl aber auch die lebensdauer der HDD.
ich habe mal geschaut, wie oft die HDD aus dem spindown geholt wird (noch vor dem ESXi umbau) und für mich hat sich die stromersparnis zu dem ärger einer neuen HDD und anschaffungspreis nicht gelohnt. der Lesekopf sollte in die parkposition gehen, HDDs aber weiter drehen.

noch ein paar gedanken, wenn du über einen hypervisor nachdenkst:
ich finde es sehr komfortabel HDDs als SMB datengrab zu nutzen und SSDs für VMs/jails/logs
truenas reicht den speicherplatz auf den SSDs wieder "zurück" an ESXi, worauf dann die VMs laufen. somit rattern die HDDs nicht die ganze zeit und wenn ich dann mal die windows VMs an mache, ist es auch recht flüssig via RDP.