Umstieg auf Serverhardware, Empfehlungen?

[cap]

Hätte mal eine Frage. Ich überlege jetzt doch den PicoPSU weg zu gehen und wollte dieses hier kaufen:

Inter-Tech Mini-ITX PSU 200W NAS DC/DC, Adapter ohne Netzteil, unterstützt Netzteile bis 200W, null Watt

Die kompakte Bauform dieser Mini-ITX PSU erlaubt es, auch in engen Gehäusen die Komponenten mit Strom zu versorgen. Ein Kabel mit Buchse und Überwu...

www.alternate.de

Laut Inter-Tech benötigt man ein Netzteil was auch 200W ausgibt, aber ich kann keine Netzteile finden mit dieser Wattzahl. Ich hätte am liebsten ein Corsair RM550x (2021) gekauft, aber wird wohl nicht mehr produziert. Mit dem Pico wäre ich zumindest in der Lage es in einem Mini ITX Gehäuse zu verbauen. Möchte hier nur nichts falsch verkabeln und kompatible Produkte kaufen. Oder ginge auch dieses Netzteil mit dem 200W PSU: https://www.otto.de/p/leicke-ull-ne...ungsschutz-S0K1N08I/#variationId=S0K1N08I25UT

So ein LEICKE ULL 156W Netzteil sollte damit funzen. Ich meine schon die Kombi gesehen zu haben (war glaube ich im Unraid-Forum). Ob das jeweilige System damit funktioniert, hängt damit zusammen, was alles so angeschlossen ist. Eine HDD kann bis zu 40 Watt Anlaufstrom haben.

Da die richtig guten ATX-Netzteile kaum teuerer sind und man gegenüber einer PicoPSU + Netzteil + ggf. S-Ata Kabelpeitsche + ggf. Blende für schönere Optik (insbesondere gegenüber original PicoPSU) nicht mehr viel spart, habe ich direkt ein ATX-Netzteil gekauft. Mag sein, dass mit PicoPSU das System noch einen Tick sparsamer wäre. Aber bei dem ATX-Netzteil muss ich mir keinen Kopf machen, ob das zu schwach ist etc. bzw wie stark die einzelnen Schienen belastet werden (5V, 3,3V und 12V Schiene) und Schutzschaltungen etc. sind wohl auch besser.

Falls Thema PicoPSU interessant ist: Schau auch dazu ins Unraid-Forum wegen genauerer Infos und Erfahrungen.

​

 

[cheaptrick666]

ASUS Prime N100I-D D4-CSM ab € 98,38 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASUS Prime N100I-D D4-CSM ✔ Produktinfo ⇒ Formfaktor: Mini-ITX • CPU: Intel N100, 0C+4c/4T, 0.80-3.40GHz, 6MB+2MB Cache, 6W TDP, Codename "Alder La… ✔ Mainboards mit CPU ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Ich würde gerne das Board kaufen. Hier steht 1x M.2/M-Key (PCIe 3.0 x2, 2280/2260). Reicht das aus um es um 5xSata Slots zu erweitern über eine M.2 to SATA Karte wie diese hier? Und gibt es da zuverlässige Hersteller bzw. wie zuverlässig ist so eine Anbindung im Vergleich zu direkten Sata Ports?

m.2 zu Sata Karte

EDIT: Da ich meine QNAP 2,5Gig Karte weiter nutzen werde käme auch der Weg über einen m.2 to PCIe Riser in Frage um darüber die Karte zu betreiben und dem PCIe 3.0x1 Slot für eine SATA Karte zu verwenden, anstatt der M.2 zu SATA Lösung

EDIT2: Vergessen, dass die Teile nur SO DIMM bis 16GB nehmen. Geht zwar 32GB, aber das kostet mehr als das Board selbst. Damit wohl uninteressant. Außer andere RAM Module funktionieren auch außerhalb der QVL. Ist mir aber etwas unsicher. RAM ist ja nicht unwichtig bei TrueNAS

 

[Patrick M. Hausen]

Nur 1 DIMM und kein ECC - wäre für mich ein KO-Kriterium.

 

[cheaptrick666]

Genau das dachte ich mir auch. 1 DIMM macht keinen Sinn. Der J5040 den @bic erwähnt hattem kann zumindest Dual Channel und 32Gb. ECC ist für mich nicht so entscheidend. Aber HW Transcoding scheint auf dem J5040 nicht so toll zu sein nach schnellem googlen. N100 hat da schon weniger Probleme.

 

[Patrick M. Hausen]

Ist dieses M.2 nach SATA Teil tatsächlich ein einzelner Controller mit Portmultiplier? Finger weg!

Multiply your problems with SATA Port Multipliers and cheap SATA controllers

In the last year or two, we've had a resurgence of users asking about SATA Port Multipliers and cheap SATA controllers. Please, do NOT use port multipliers, and use cheap SATA controllers only after extensive research. SATA controllers and SATA...

www.truenas.com

 

[cap]

Nur 1 DIMM und kein ECC - wäre für mich ein KO-Kriterium.

ECC bezahlbar und stromsparend ist "DANK" Intel aktuell sehr schwierig geworden.

Ich würde bewusst nur einen Riegel einsetzen. Das spart Strom und die für einen Performance-Nachteil bemerkt man nicht (für das bisschen, was man privat auf einem Server so üblicherweise macht).

@cheaptrick666: Schau ins deutsche Unterforum von Unraid. Dort haben mehrere User N100-Builds...

 

[bic]

Schau ins deutsche Unterforum von Unraid.

Ich lese bei Dir ständig "Unraid", haben die Dich geschickt um die Leute abzuwerben

 

[Patrick M. Hausen]

Der OP möchte Dinge gleichzeitig, die sich mit TrueNAS u.U. nicht realisieren lassen. Bevor er mit TrueNAS unglücklich wird, doch lieber mit einem anderen System glücklich.

Ich mein ... "Umstieg auf Server-Hardware" und dann ein Asus-Board ohne ECC aber mit einem Audio-Chip.

Systeme ohne ECC sind keine Server. A hill I am willing to die on. Auch hier zuhause hat jedes System ECC und jedes System IPMI. Aber jeder wie er/sie/es mag.

 

[bic]

Aber HW Transcoding scheint auf dem J5040 nicht so toll zu sein nach schnellem googlen.

Was willst Du denn damit im Heimnetzwerk, bzw. hast Du denn derart exotische Endgeräte, dass die das nicht selbst erledigen können?

 

[cheaptrick666]

Was willst Du denn damit im Heimnetzwerk, bzw. hast Du denn derart exotische Endgeräte, dass die das nicht selbst erledigen können?

Wenn ich Plex nutze wüsste ich nicht, wie mein Endgerät das erledigen soll. Ein Samsung TV in dem Fall.

@Patrick M. Hausen ich verstehe deine Einwände, aber ich muss hier irgendwie Abstriche machen um die Kosten im Zaum zu halten. Ein Board für 400 Euro wie die meisten Supermicro und dann noch ECC Ram sprengt den Rahmen. Und wenn dann noch IPMI nochmal 5 Watt extra zieht habe ich nichts gewonnen. Mein Ziel wäre es schon den Verbrauch im Idle minimum zu halbieren. Eventuell ist das mit TrueNAS nicht möglich? Unraid scheint ja mit HDD Sleep besser umzugehen. Da auf meinen Sever nicht 24/7 zugegriffen wird wäre der Idle Verbrauch sehr wichtig. Ich mag TrueNAS und die Oberfläche und Bedienbarkeit. Unraid wirkt recht unübersichtlich. Weiß nicht was für meinen Usecase besser ist. Eventuell verhindert Core auch geringere C-States? Hatte hier mal im Forum gelesen, dass nur C3 drin wäre. Eventuell bringt Scale da Abhilfe?

 

[cap]

Ich lese bei Dir ständig "Unraid", haben die Dich geschickt um die Leute abzuwerben

Nein. Nutze selber TrueNAS Scale (vorher Core). Nur bzgl. stromsparender Hardware (für daheim) erhält man in dem anderen Forum deutlich mehr Infos (während man hier eigentlich überhaupt keine Infos behält, weil gefühlt 99% der User über keine stromsparende Hardware verfügen und auch nicht daran interessiert sind, sondern andere Dinge priorisieren bzw. hier es eher in Richtung Enterprise geht). In dem anderen Forum finden sich die Antworten auf viele der Fragen des Threaderstellers, z.B. haben dort verschiedene User bereits N100er-System (oder sind es gerade am aufbauen) und da kann man sich daran orientieren. Am Ende ist es alles ein Linux. Einzig bei ASPM habe ich die seltsame Erfahrung gemacht, dass sich hier jedes OS anders verhalten kann. In Scale musst ich manuell nachhelfen, während es in Fedora für den NetzwerkNIC ootb ging. Ergebnis: Geschätzt ca. 5 Watt weniger Stromverbrauch.

Was willst Du denn damit im Heimnetzwerk, bzw. hast Du denn derart exotische Endgeräte, dass die das nicht selbst erledigen können?

Das frage ich mich auch immer, warum vielen das Transkodieren so extrem wichtig ist. Moderne Endgeräte können doch alle gängigen Formate abspielen?!
Persönlich ziehe ich auch Emby einem Plex vor. Plex hat so ein paar Dinge, die mir negativ aufschlagen und es aus meiner Sicht zu einem No-Go machen. Jellyfin wäre noch besser, sofern das passt.

Vielleicht brauchst du mit dem SamsungTV kein Transkodierung...

 

[cap]

Der OP möchte Dinge gleichzeitig, die sich mit TrueNAS u.U. nicht realisieren lassen. Bevor er mit TrueNAS unglücklich wird, doch lieber mit einem anderen System glücklich.

Ich mein ... "Umstieg auf Server-Hardware" und dann ein Asus-Board ohne ECC aber mit einem Audio-Chip.

Systeme ohne ECC sind keine Server. A hill I am willing to die on. Auch hier zuhause hat jedes System ECC und jedes System IPMI. Aber jeder wie er/sie/es mag.

Bin eigentlich bei Dir und hätte selber gerne ECC Ram. Nur bekomme ich das aktuell dank der Intel-Politik nicht hin. Zumindest wenn es stromsparend für meine Begriffe ist und bezahlbar bleiben soll.

Die Boards, die auf der alten Intel Plattform basierend aufgrund von Erfahrungsberichten genau diese Anforderungen erfüllen (ECC-Ram, extrem stromsparend) kann man nicht mehr kaufen. Und bei der aktuellen Plattform braucht man einen W-Chipsatz, damit ECC funktioniert. Da kostet dann ein Board alleine mehrere 100Euro. Und dann habe ich noch nicht mitbekommen, dass eines dieser Boards wirklich stromsparend ist, wenn Leute privat das Geld in die Hand genommen haben.

ZFS kann man auch ohne ECC-Ram nutzen und taugt dann auch. Auch dann bietet es einen Mehrwert. Klar, ECC Ram ist immer besser. Keine Frage. Will ich nicht bestreiten. Man kann halt leider nicht alles haben und muss dann für sich Prioritäten setzen (bei der alten Intel Plattform konnte man durchaus alles haben).
Wenn das Budget des Threaderstellers stark limitiert ist, muss er sowieso schauen, was überhaupt geht.

 

[cap]

Ist dieses M.2 nach SATA Teil tatsächlich ein einzelner Controller mit Portmultiplier? Finger weg!

Multiply your problems with SATA Port Multipliers and cheap SATA controllers

In the last year or two, we've had a resurgence of users asking about SATA Port Multipliers and cheap SATA controllers. Please, do NOT use port multipliers, and use cheap SATA controllers only after extensive research. SATA controllers and SATA...

www.truenas.com

Also so etwas hier basierend auf ASM1166 und aktueller Firmware soll richtig gut funktionieren. Das ist aber offenbar auch kein Port-Multiplier. Eigene Erfahrungen dazu habe ich nicht. Gibt es auch als PCIe-Karte.

 

[cap]

Die c't hatte meine ich mal eine Beispielsystem mit Supermicro und IPMI (CPU war glaube ich ein Pentium), das glaube ich bei so ca. 13 Watt im IDLE lag. Das ist dann ganz OK bzw. für IPMI ziemlich gut. Weiß aber nicht, ob die mit aktiver Netzwerkverbindung gemessen haben. Und es war die alte Plattform, die man mit ECC-Ram noch bezahlbar kaufen konnte.

Gefunden: Allerdings kostet das Board aktuell auch über 300 Euro (und ist die alte Plattform - dafür ECC Ram möglich).
"Im Betrieb der Grundkonfiguration ohne Festplatten kamen wir trotz des daueraktiven Baseboard Management Controlers unter Ubuntu 20.04 LTS auf knapp 12 Watt Leistungsaufnahme, mit vier schläfengelegten Festplatten waren es auch nur gut 14 Watt [...]"

Heimserver 2020 c't 18/2020 | Wunschlisten heise online Preisvergleich Deutschland

Günstige Preise, Meinungen und Bewertungen zu vielen Produkten findest du bei heise online

www.heise.de

Die Kingston SSD in dem Build würde ich nicht nehmen; ich meine mal gelesen zu haben, dass die einen Bug hat und tiefe c-states verhindert.
(die c't hat dieses Netzteil gewählt und das scheint auch zu funzen; bei niedrigen Lasten muss man achten, dass das Netzteil auch damit klar kommt, sonst kann es passieren, dass der Rechner nicht startet; dafür wäre damals die PP11 Reihe besser gewesen).

 

[Exhorder]

Also wenn es stromsparend sein soll und man auf IPMI und ECC verzichten kann, dann empfehle ich Fujitsu Esprimo D757/E94+. Die sind billig zu haben. Es passen mit Adapter 4x 2,5" SATA SSD und/oder per Adapter 4x NVMe SSDs rein. Ein onboard M.2 für das System ist auch vorhanden.
Wenn IPMI oder HDDs verwendet werden sollen, dann brauchen wir vermutlich über stromsparend nicht mehr zu reden

Ich habe hier gerade zwei dieser Rechner auf dem Tisch

• i3-6100, Proxmox Backup Server mit 2x 4 TB 2,5" Crucial MX500 und 16 GB RAM: idle unter 5 W, wenn Backups drauf geschoben werden sind es IIRC ca. 12 W
• i3-6100, TrueNAS Core mit 2x 8 TB 2,5" Samsung Enterprise SSD und 16 GB RAM. Außerdem eine weitere Intel dual Gigabit Ethernetkarte (82576), 3 Gigabit Ports insgesamt in Benutzung: idle ca. 14 W

Es gibt ECC fähig auch Fujitsu Celsius J550 Workstations, die sind aber teurer und schwerer zu bekommen. Vermutlich brauchen die auch ein paar Watt mehr.

 

[cap]

Von so Fujitsu "Kistchen" habe ich auch schon gehört, die man wohl manchmal gebracht "hinterhergeworfen" erhält. Wäre für den Threadersteller vielleicht eine Option. Oder so manchen umgebauten Thin Client...

Wenn [...] HDDs verwendet werden sollen, dann brauchen wir vermutlich über stromsparend nicht mehr zu reden

[...]

• i3-6100, TrueNAS Core mit 2x 8 TB 2,5" Samsung Enterprise SSD und 16 GB RAM. Außerdem eine weitere Intel dual Gigabit Ethernetkarte (82576), 3 Gigabit Ports insgesamt in Benutzung: idle ca. 14 W

Also wenn man nicht allzu viele HDDs einbaut und auf "sparsame" HDDs achtet, kann man immer noch von stromsparend sprechen.
Ich nutze einen ZFS Mirror. Habe mit meinem alten System (TrueNAS Scale) mit 2 x 12 TB im Stromverbrauch bei ca. 20 bis 25 Watt gelegen (ich glaube näher an den 20 Watt). Da wäre möglicherweise noch mehr drin, da ich festgestellt habe, dass ASPM nicht durchgängig läuft aber noch nicht versucht habe, das besser hinzubekommen. Das alte System soll dann das Backup-System werden (ZFS send... ).

Mit meinem neuen System hoffe ich mit 2 x 12 TB HDDs zwischen 15 und 20 Watt im IDLE rauszukommen. Habe noch keine Zeit gefunden die zweite NVMe SSD und HDDs einzubauen. Wo ich dann am Ende wirklich lande, werde ich sehen. Bei zwei HDDs mit Helium-Füllung gehe ich von ca. 5 Watt Stromverbrauch im IDLE aus (= ca. 10 Watt).

TrueNAS Scale liegt im IDLE mit der unterstehenden Hardware bei ca. 7 bis 8 Watt ohne Gehäuselüfter - natürlich kein Monitor, Maus, Tastatur angeschlossen - nur 2.5 GBe LAN (noch nichts weiter konfiguriert und eingerichtet außer das Ausführen von powertop --auto-tune und dem manuellen Aktivieren von ASPM für den NIC *).

Gigabyte B760M Gaming X DDR4
bequiet Pure Power 12M
Intel Core i3-12100 (boxed)
Samsung 970 EVO Plus
Crucial DIMM 32GB, DDR4-3200, CL22-22-22

Weitere Tuning-Optionen, um Stromverbrauch noch etwas weiter zu senken:
Ram mit 2666@1.1v betreiben (hat ein anderer User gemacht; habe ich selber noch nicht)
Offset im Uefi senken und schauen, ob das System stabil bleibt (mache das aber wahrscheinlich nicht)
Mit weiteren Befehlen wie Powersave / Governor habe ich mich noch nie beschäftigt.

Ram langsamer laufen lassen und/oder nur Single Channel nutzen => damit macht man auf dem Papier das System zwar etwas langsamer. In der Praxis aber nicht wirklich bei den typischen Dingen, die üblicherweise auf einem Server daheim so laufen (bei einem i3-12100, der viel Däumchen drehen wird).

*

Code:

sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:03:00.0/link/l1_aspm"

 

[Patrick M. Hausen]

Ich hab jetzt neugierhalber ein System gemessen, bei dem das mal so eben geht.

Supermicro A2SDi-4C-HLN4-F
Supermicro SC101F Chassis mit externem Netzteil
3x Noctua 40 mm Lüfter
Atom C3558
2x 8 G ECC RDIMM
IPMI
2x Supermicro SATA-DOM 32 GB
1x WD Red M.2 SATA SSD 1TB
1x WD Red 2,5" SATA SSD 1TB

TrueNAS CORE, 1 OPNsense VM, 1 TrueCommand VM, 1 Grafana Jail

21,6 W

Das ist etwa soviel wie die passiv gekühlte Deciso 650 Firewall-Appliance im Büro auch braucht. Ich finde, das ist extrem wenig ...

Gruß
Patrick

 

[Exhorder]

Naja, extrem wenig ist halt relativ. FreeBSD frisst halt leider Strom im Vergleich zu Linux. Verglichen mit meinen ähnlichen Esprimo-Kisten von oben:

• 4-5 W unter Linux mit tlp daemon (vergleichbar powertop --auto-tune)
• ca. 12 W mit TrueNAS ohne weitere Ethernetkarte
• Dein Server mit IPMI und ECC auf der Haben-Seite bei ca. 22 W

Da erscheinen die 22 W dann schon wieder viel

 

[cap]

Finde das auch nicht so wenig, wenn man bedenkt, dass das System nur mit zwei SSDs (+ SATA-DOM) läuft, die beim IDLEN fast nichts ziehen werden und sogar noch ein externes Netzteil zum Einsatz kommt, das wahrscheinlich ziemlich effizient sein wird. ca. 22 Watt ist aber jetzt auch ein Wert, den man hinnehmen kann. Wenn er zufrieden ist, passt das. Dafür hat er halt ECC-Ram und IPMI, was ich z.B. nicht habe.
Edit: Mit dem Wechsel auf Linux bzw. Scale, könnte man ggf. den Verbrauch noch etwas drücken (powertop & co).

Beim Strommessgerät gibt es qualitativ auch in der Genauigkeit Unterschiede. Ich verwende ein "EMG-1", das mal in der c't recht gut abgeschnitten hatte.

An irgendeinem gebrauchten Fujitsu-System war ich vor längerer Zeit übrigens selber mal dran. Das hatte auch ziemlich gute Verbrauchswerte (alles aufeinander abgestimmt, effizientes Netzteil). Ich hatte das damals nicht weiterverfolgt, da man AFAIR keine 3.5" HDDs einbauen konnte (nur 2,5") und ich nicht basteln wollte.

 

[bic]

Vielleicht brauchst du mit dem SamsungTV kein Transkodierung...

Ich? Meinst Du mich? Ich brauche das ohnehin nicht, mir dient seit Jahren sonen Teil als Zuspieler: