Umstieg auf Serverhardware, Empfehlungen?

[cheaptrick666]

Findet man irgendwas zu den Effizienzkurven der FlexATX Netzteile in den SuperMicro Gehäusen? Power Efficiency Kurven zu gewissen Server Netzteilen konnte ich finden, aber nicht speziell für das PWS-353-1H

 

[cap]

Ich habe den Thread nur flüchtig überflogen und es zeigt einmal mehr, dass dieses Forum keine gute Quelle für Erfahrungen und Beratung hinsichtlich stromsparender Systeme ist. Das liegt aber wohl auch daran, da viele hier andere Prioritäten haben.
Für ein System daheim finde ich sollte das aber schon ein Thema sein. Dazu schau besser ins Unraid-Forum, Hardwareluxx-Forum etc.

Mit aktueller Plattform kann man leider ECC-Ram und stromsparend meines Wissens vergessen.

Mit der alten Plattform sah dies noch deutlich besser aus. Da konnte man sehr stromsparende und bezahlbare Systeme zusammenstellen.

Ein sehr gutes Board war z.B. das C246M-WU4 von Gigabyte:

Mein 10 Zoll Server

forums.unraid.net

Du benötigst ein stromsparendes Mainboard und ein extrem effizientes Netzteil und musst schauen, dass das System tiefe c-states erreicht (z.B. mittels Powertop oder entsprechende Befehle manuell setzen) und ASPM durchgängig unterstützt wird (d.h. Mainboard idealerweise ohne extra Chips etc, insb. wenn diese kein ASMP unterstützen + keine Fernwartung). Wenn in der Kette irgendetwas nicht passt, versaut es dir das Endergebnis mehr oder weniger stark. Wenn es passt, kannst du im IDLE auf Werte zwischen 5 und 10 Watt kommen (ohne Bildschirm und Tastatur + natürlich die Festplatten, die noch hinzukommen).

Ein extrem gutes Netzteil, das von Effizienz fast an eine PicoPSU rankommt, war das Corsair RM550x in der 2021er Version. Das bekommst du aber nicht mehr, zumindest zu bezahlbaren Preisen. Ein gute Alternative, wenn wahrscheinlich auch nicht ganz so effizient, scheint das BeQuiet Pure Power 12 M 550 zu sein.

Ich habe aktuell hier ein B760M Gaming X DDR4. Mit dem komme ich unter Unraid ohne HDDs und einer SSD auf ungefähr 8 Watt im IDLE.

Unter TrueNAS Scale funktioniert bislang für den Realtek NIC leider kein ASPM (in Unraid oder Fedora funktioniert es hingegen Out-of-the-box). Daher komme ich in den C-States nicht tiefer als C3 und der Verbrauch ist ca. 5 Watt höher. Ein Moderator hat meinen Thread dazu einfach gelöscht. In einem anderen Thread, in dem keiner reinschaut, gibt es noch einen Post dazu: https://www.truenas.com/community/threads/realtek-rtl8125-2-5gbps-ethernet.70485/page-2#post-788845

Restliche Hardware von mir:
BeQuiet pure power 12 m
Intel Core i3-12100
970 EVO Plus
Crucial DIMM 32GB, DDR4-3200, CL22-22-22
+ zwei 12 TB HDDs (Helium).

Mit ASPM würde ich unter TrueNAS Scale im IDLE wahrscheinlich unter 20 Watt bei durchgängig laufen HDDs (ZFS Mirror) kommen.

Kontron K3842-Q2 hat einen Intel NIC. Ich könnte mir vorstellen, dass man mit dem Board ähnlich tief oder noch tiefer kommt ohne ASPM-Probleme. Kann ich mangels Erfahrung aber nicht versprechen. Board ist nicht günstig und hat kein ECC-Ram. Aber wie ich schon schrieb: ECC-Situation hat sich dramatisch verschlechtert für bezahlbare und extrem stromsparende Systeme für daheim. Ist von Intel so gewollt.

Edit: BIOS/UEFI muss natürlich ebenfalls richtig konfiguriert sein.

 

[Patrick M. Hausen]

Ich habe den Thread nur flüchtig überflogen und es zeigt einmal mehr, dass dieses Forum keine gute Quelle für Erfahrungen und Beratung hinsichtlich stromsparender Systeme ist.

Was ist an einem Atom-Board nicht stromsparend?

 

[asap2go]

Was ist an einem Atom-Board nicht stromsparend?

Im Vergleich zu meinen Raspberry Pi Zero 2W mit externer USB HDD ist das die reinste Stromvernichtungsmaschine.

 

[cap]

Was ist an einem Atom-Board nicht stromsparend?

Das habe ich übersehen. Habe wie geschrieben nur den Thread flüchtig überlesen und dabei vielleicht die falschen Posts gelesen.

Aber auch Atom muss nicht zwangsweise stromsparend sein. Es kann stromsparend sein.

Edit:
Zum durchstöbern: https://www.hardwareluxx.de/communi...ysteme-30w-idle.1007101/page-86#post-29774572

 

[Patrick M. Hausen]

Im Vergleich zu meinen Raspberry Pi Zero 2W

Das ist aber auch Spielzeug. Wenn man Atom mit Xeon oder Epyc vergleicht, schneidet der m.E. prima ab. Und die A2SDi-Plattform mit ihren drölf SATA-Anschlüssen ist einfach großartig für ein NAS.

 

[cap]

Und die A2SDi-Plattform mit ihren drölf SATA-Anschlüssen ist einfach großartig für ein NAS.

Durch IPMI kommt AFAIK automatisch ca. 5 Watt hinzu, wenn dies über einen extra Chip realisiert ist. Ist zumindest suboptimal aus Stromsparsicht. Beißt sich durchaus mit den Zielen, die hier im Forum teilweise eher verfolgt werden (Enterprise vs. Nutzung daheim).
Die c't hatte meine ich mal eine Beispielsystem mit Supermicro und IPMI (CPU war glaube ich ein Pentium), das glaube ich bei so ca. 13 Watt im IDLE lag. Das ist dann ganz OK bzw. für IPMI ziemlich gut. Weiß aber nicht, ob die mit aktiver Netzwerkverbindung gemessen haben. Und es war die alte Plattform, die man mit ECC-Ram noch bezahlbar kaufen konnte.

 

[Patrick M. Hausen]

Durch IPMI kommt AFAIK automatisch ca. 5 Watt hinzu, wenn dies über einen extra Chip realisiert ist. Ist zumindest suboptimal aus Stromsparsicht.

IPMI ist für mich auch privat ein essentielles Feature. Ich habe an keinem meiner Systeme einen Monitor oder eine Tastatur. Die wurden alle per IPMI installiert. Und 5W ist nicht viel. Nie wieder ohne ...

 

[cap]

IPMI ist für mich auch privat ein essentielles Feature. Ich habe an keinem meiner Systeme einen Monitor oder eine Tastatur. Die wurden alle per IPMI installiert. Und 5W ist nicht viel. Nie wieder ohne ...

Ist natürlich nice-to-have. Ich muss dann in den Keller flitzen bzw. den Rechner mit hoch holen. Kommt aber zum Glück selten vor, weswegen das für mich OK ist.

 

[cap]

Und 5W ist nicht viel. Nie wieder ohne ...

Für die 5 Watt will ich jetzt nicht meine Hand ins Feuer legen. Ich meine ich hätte das mal gelesen und es liegt auch in dem Bereich, den ich dafür schätzen würde.
Es gibt aber noch eine Fernwartungsmöglichkeit ohne extra Chip, die über Intel selber realisiert wird. Habe vergessen wie sich das nennt. Ich glaube Boards wie Fujitsu D3644-B haben das angeboten.

Edit:
Es nennt sich wohl Intel vPro. Und eingeschränkt kann man das wohl auch mit passenden Tools auf CPUs nutzen, für die es nicht vorgesehen ist, wie ein Pentium.

 

[bic]

Es nennt sich wohl Intel vPro.

Nö --> klick!

An sonst - den meisten Strom kann man natürlich dadurch sparen, wenn man auf den ganzen Kram generell verzichtet

 

[cap]

Ich habe übrigens eben geschafft ASPM manuell zu aktivieren:

Realtek RTL8125 2.5Gbps Ethernet

The 8125 Realtek chipset is now officially. supported as of 12u4 but apparently needs two tunables set to use the newly-adopted Realtek drives. See here Just to bump this and confirm, the 2.5 8125 nic IS supporting in the latest version?

www.truenas.com

Verbrauch liegt jetzt bei ca. 7 Watt (ohne Maus, Tastatur und Bildschirm). Festplatten kommen dann noch hinzu.

Edit:
Hoffe, dass es keine negativen Effekte gibt.

Edit:
Komme bis C8 (aber nicht C10)

 

[cheaptrick666]

Danke @cap für die ganzen Informationen. Den Thread bei HWLuxx hab ich auch schon entdeckt. Die Vielfalt an Hardware erschlägt mich etwas. Hab auch Wolfgangs Channel seine Server Config gesehen, die ebenfalls sehr sparsam zu sein scheint. Aber irgendein AliExpress Board möchte ich dann doch nicht. IPMI ist für mich definitiv kein Muss. Bisher hatte ich noch keinen Fall, wo ich das gebraucht hätte. Konntest du bei dem BeQuiet Netzteil ein Spulenfiepen feststellen? Hatte dazu gerade was gelesen. Wäre interessant wie das gegen ein Supermicro Flex ATX abschneidet. Falls das Flex besser ist, wäre das Gehäuse von Supermicro keine schlechte Alternative zum Jonsbo N1. Dass der 12100 auf 7 Watt kommt ist erstaunlich. Was muss man dafür alles im Bios deaktivieren? Kann man eine non-k CPU überhaupt im Takt beschneiden? Die Celeron und Pentium Chips die hier im Thread erwähnt wurden scheinen dann auch nicht sparsamer zu sein, als der 12100. Wobei die ne TDP von 10 bis 15W haben und der 12100 60W. Oder können die noch niedriger idlen bei durchgehend rotierenden Platten?

 

[cap]

Mir ist beim BeQuiet Netzteil bislang kein Spulenfiepen aufgefallen.

"Wäre interessant wie das gegen ein Supermicro Flex ATX abschneidet."

Keine Ahnung. Wage ich aber zu bezweifeln, dass das Supermicro besser ist, ohne mir das jetzt angesehen zu haben. Eher das Gegenteil bzw. ich würde davon ausgehen, dass das Supermicro (wesentlich?) schlechter ist, was Effizienz betrifft.

Welche Netzteile (400-500 Watt) sind im idle besonders effizient?

So hab das TFX 300 schon da :) Vielleicht mal am Wochenende anschmeißen. Werde berichten. Ich warte schon sehnsüchtig (noch könnte ich es zurückschicken)

www.hardwareluxx.de

Die aktuellen Intel CPUs unterscheiden sich beim IDLEN i.d.R. nur marginal.

 

[cap]

Ich habe "powertop --auto-tune" als Post-Init-Command in TrueNAS Scale über die UI eingebunden. Funktioniert einwandfrei.
Aber wie binde ich "echo 1 > /sys/bus/pci/devices/0000:03:00.0/link/l1_aspm" ein, das ich als Root ausgeführt habe (sofern es keine negativen Effekte gibt)?

Edit:

Code:

sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:03:00.0/link/l1_aspm"

Unter Unraid und Fedora war letzteres nicht notwendig, da ASPM mit dem Realtek NIC OOTB funktioniert hat. Das aktuelle Ubuntu hingegen hat sich wie Scale verhalten.

Dass der 12100 auf 7 Watt kommt ist erstaunlich. Was muss man dafür alles im Bios deaktivieren? Kann man eine non-k CPU überhaupt im Takt beschneiden? Die Celeron und Pentium Chips die hier im Thread erwähnt wurden scheinen dann auch nicht sparsamer zu sein, als der 12100. Wobei die ne TDP von 10 bis 15W haben und der 12100 60W. Oder können die noch niedriger idlen bei durchgehend rotierenden Platten?

Ich glaube du hast das Thema TDP nicht verstanden und falsche Vorstellungen.
Am besten liest du dich in die Themen etwas ein, wenn es dich interessiert. Hardwareluxx und das Unraid-Forum (deutsche Unterforum) sind ganz gute Anlaufpunkte, da es relativ viele User gibt, die auf Stromsparen aus sind.

 

[cheaptrick666]

Mir ist bewusst, dass TDP nichts mit tatsächlichem Verbrauch zu tun haben muss. Deshalb ja die Frage nach dem Idle Verbrauch zwischen den einzelnen Prozessoren. Aber vielleicht kannst du mir etwas anderes beantworten. Nutzt meine CPU eventuell die C-States nicht? Der 4690 ist zwar schon älter aber das System sollte doch im Idle auch weniger als 65 Watt ziehen mit 5 Platten und 3 Lüftern ohne Peripherie oder?

 

[cap]

Bin kein Experte. Aus dem Hardwaregame bin ich eigentlich seit vielleicht 15 Jahre raus. Nutze meist nur Macs. Aufgrund aktuellen Anlasses bin ich seit Jahren mal etwas wieder am basteln aber bei weitem nicht mehr so auf dem Stand, wie das früher mal war. Daher kann ich auch nur bedingt Auskunft geben. Für Details schaue andere Quellen.

Um zu schauen, welche C-States du hast, gib mal ein:

Code:

 sudo powertop

Hier findest du etwas zu PowerTop. Unraid ist auch nur ein Linux und vieles davon kannst du für Scale übernehmen.
Powertop, wenn auch nicht in der aktuellsten Version, ist in Scale dabei.


ASPM kannst du schauen:

Code:

sudo lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM |Disabled;|Enabled;)'

Im Bios/UEFI musst du die wichtigen Einstellungen setzen. Auto heißt nicht immer "AN". Am besten "Enabled" aktivieren.
In dem nachfolgenden Post siehst du ein paar Einstellungen, die man so setzen sollte (meine sind ähnlich aber nicht gleich): https://forums.unraid.net/topic/138498-gigabyte-b760m-gaming-x-ddr4-messung-und-sata-erweiterung/

Auch hier mal in den Spoiler schauen. Oder hier.

Edit:
In deiner Signatur steht "TrueNAS Core 12.0-U8"
Leider verbraucht BSD mehr Strom. Zumindest war das in der Vergangenheit immer so. Da hast du schnell alleine durch die Nutzung von FreeBSD anstatt Linux einen höheren Verbrauch.
Dann funktionieren die obigen Befehle auch nicht bei Dir.

Edit:
"Asus Z97-K with Realtek RTL8111GR"
Das Board kenne ich nicht. Es kann sein, dass es kein gutes Board aus Stromsparsicht ist.
Und das Netzteil spielt eine große Rolle!

Edit:
Die ca. 7 Watt, die ich bei mir vorhin gemessen habe, waren noch ohne drehende Platten (und ohne angeschlossenen Monitor und USB-Peripherie) und ohne weitere Dienste etc. aktiviert. Ich hoffe, dass ich mit einem ZFS-Mirror (2 Platten mit Helium) dann vielleicht zwischen 15 und 20 Watt lande (IDLE natürlich und nicht Last).

 

[cheaptrick666]

Korrekt, habe TrueNAS Core. Bei so alten System ist schwer etwas über den Verbrauch herauszufinden und ob der im Rahmen der Hardware liegt bei mir. Lese ein paar alte Berichte mit circa 30W Idle für den 4690. Könnte also hinkommen mit den 64W Idle aktuell.
Mein Netzteil ist übrigens ein 650 Watt be quiet! Straight Power 11 Modular 80+ Platinum. Bei meinen 10% Last bin ich dann wohl bei 88% Effizienz wenn der Artikel stimmt:

Be Quiet Straight Power 11 Platinum 650 Watt im Test: Platin zum Goldpreis - Bild in Originalgröße (5)

Be Quiet Straight Power 11 Platinum 650 Watt im Test: Platin zum Goldpreis - Straight Power 11 Platinum - Effizienz

www.pcgameshardware.de

 

[cap]

Eine Helium-Platte braucht im IDLE ca. 5 Watt (wenn man Glück hat, vielleicht auch etwas weniger).
Mit 5 x HDDs bist du dann schon bei 5 * 5 = 25 Watt. Wenn es keine Helium-Platten sind, können das auch noch einiges mehr sein.

Wenn jetzt das Mainboard ineffizient ist, ggf. BIOS suboptimal eingestellt ist, der Rechner nicht in tiefere c-states etc. kommt (mit BSD AFAIK ohnehin schwierig oder nicht möglich, sofern sich da nicht etwas geändert hat), dann wird der Rechner selber auch einiges verbrauchen.

Ich habe mich bewusst für einen Mirror aus zwei 12 TB-Helium Platten entschieden. Mir reicht das (vorerst). Zumal es auch die Meinung gibt, dass Mirror vorzuziehen sind (andere Baustelle): https://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs-not-raidz/

Edit:
Habe erst jetzt wahrgenommen, dass das System schon älter ist:
i5-4690 = 22 nm, Einführungsdatum Q2'14

Intel® Core™ i5-4690 Prozessor (6 MB Cache, bis zu 3,90 GHz) Produktspezifikationen

Intel® Core™ i5-4690 Prozessor (6 MB Cache, bis zu 3,90 GHz) Kurzübersicht mit Spezifikationen, Funktionen, Preise, Kompatibilität, Design-Infos, Bestellcodes, SPEC-Codes und mehr.

ark.intel.com

=> wahrscheinlich deutlich ineffizienter

 

[cheaptrick666]

Welche Platten ich nutze hatte ich mal im Thread erwähnt. Nehme an es sind keine Helium Platten, da unter 8 TB. 3 und 4 TB um genau zu sein. Der Verbrauch laut Geizhals im Idle 3,96W und 3W. Circa 17W Idle insgesamt. Wobei im TrueNAS ja kein Spindown empfohlen wird. Könnte also durchaus höher sein. Eher so 21W.