Tipps für den NAS-Selbstbau im 19 Zoll Schrank

[fluffy-bunny]

Hallo zusammen!

Ich plane, mir bei uns im Heizungskeller einen kleinen 19 Zoll Serverschrank mit einem Patchpanel und einem Server als True-NAS Lösung hinzuhängen.
Ich würde gerne eine Netto-Kapazität mit insgesamt 32TB haben wollen, um hier auch noch für die Zukunft "ordentlich Luft nach oben zu haben".

Könnt ihr mir vielleicht Tipps bezüglich der Hardware geben und folgende Fragen beantworten:

• Was nahme ich für ein Mainboard (mit ECC Speicher ? ) und welche Festplatten sind zu empfehlen?
• Macht es Sinn das OS auf eine schnelle NVME zu installieren und die Daten lieber auf eher langsame Sata-Platten bzw. NAS-Platten zu legen?
• Kann ich auf dem NAS auch jails einrichten, in welchen ich Windows- als auch Linux-Hosts laufen lasse?
• Gibt es Mainboards, welche über einen iLO / iDRAC verfügen, um sich ggf. via Console auf den Server verbinden zu können?
  

Ich danke euch für eure hilfreichen Tipps.

 

[mistermanko]

Guten Morgen!

1.1 Super Micro Boards mit ECC-Speicher sind hier im Forum sehr gut dokumentiert und als extrem verlässlich bekannt. Gebrauchte X10 Chipsätze sind schon günstig zu bekommen und "rock solid" und voll kompatibel. ECC-Speicher ist Pflicht.
1.2 Festplatten sollten auf keinen Fall SMR nutzen. (google mal WD SMR disaster) Ansonsten was in dein Budget passt. Die Anzahl und Art der Platten hängt natürlich von deinem Mainboard ab, SAS oder SATA. Möglicherweise benötigst du noch einen HBA im IT-Modus falls das Board nicht genug Slots von Hause aus mitbringt. Zu HBAs gibts im Forum auch Support - SuFu ist dein Freund.
2. Ja.
3. jails gibts mit dem FreeBSD auf TrueNAS CORE, linux basierte Apps gibts auf TrueNAS SCALE. pick your poison. Beide bieten ebenfalls eine kleine Hypervisor VM-Lösung an (CORE - byhve, SCALE - KVM), meiner Erfahrung nach funktionert KVM auf SCALE besser. Aber YMMV.
4. SuperMicro Boards kommen fast immer mit IPMI. Damit kannst du dich dann verbinden. iLO / iDRAC sind proprietäre Lösungen, da weiß ich nicht obs unterstützt wird.

Generell bevor du loslegst, leg ich dir folgende Lektüre ans Herz:

Introduction to ZFS

This is a short introduction to ZFS. It is really only intended to convey the bare minimum knowledge needed to start diving into ZFS and is in no way meant to cut Michael W. Lucas' and Allan Jude's book income. It is a bit of a spiritual...

www.truenas.com

Documentation Hub

Home page for the TrueNAS documentation projects.

www.truenas.com

Hiermit kannst du ausrechnen welche Größe und welche Anzahl an Festplatten benötigt werden, für 32TB netto.

OpenZFS Capacity Calculator

jro.io

 

[fluffy-bunny]

@mistermanko vielen vielen Dank dir zunächst einmal für deiner ausführliche Beschreibung.

Ich weiß, dass es vielleicht ein wenig naiv klingt, aber gibt es für auch Boards welche halbwegs sparsam im Strom sind? Die Super Micro Boards ziehen ja wahrscheinlich auch allerhand an Strom :).
Ein Arbeitskollege hat mir ein ASRock J5040-ITX ans Herz gelegt, wenn ich "was wirklich stromsparendes" haben will.
Aber ich bin mir natürlich auch bewusst, dass das kein richtiges Server-Board ist, welches unbedingt für den Dauerbetrieb ausgelegt ist und wo ich mehrere VMs drauf laufen lassen kann :)....

Hast du / habt ihr zudem eine Backupstrategie, mit welcher ich dann am besten Sicherungen meines NAS ziehen kann?

Ich danke dir / euch für eure Antworten.

 

[ChrisRJ]

Ich weiß, dass es vielleicht ein wenig naiv klingt, aber gibt es für auch Boards welche halbwegs sparsam im Strom sind? Die Super Micro Boards ziehen ja wahrscheinlich auch allerhand an Strom :).

Server Boards und Strom sparen ist eher schwierig. Es gibt mit Sicherheit welche, aber das schraenkt die Auswahl ein. Schlussendlich sind es Deine Anforderungen, die das bestimmen.

Ansonsten solltest Du etwas mehr ueber Deine Anforderungen schreiben.

• [..] und welche Festplatten sind zu empfehlen?

Platten und insbesondere deren Konfiguration haengen von Deinen Anforderungen ab (s.o.).

• Macht es Sinn das OS auf eine schnelle NVME zu installieren und die Daten lieber auf eher langsame Sata-Platten bzw. NAS-Platten zu legen?

OS sollte auf einer SSD sein, egal ob NVMe oder SATA. Ob die Daten ganz oder teilweise auf HDDs oder SSDs gehen, haengt mal wieder, Du ahnst, was jetzt kommt , von Deinen Anforderungen ab.

• Ich danke euch für eure hilfreichen Tipps.

Du solltest auf jeden Fall ein paar Wochen Zeit einplanen und im Forum viel mitlesen. Da kriegt man sehr viel mit und kann hinterher eine gute Loesung fuer sich selber bauen.

Viel Erfolg!

 

[mistermanko]

@mistermanko vielen vielen Dank dir zunächst einmal für deiner ausführliche Beschreibung.

Ich weiß, dass es vielleicht ein wenig naiv klingt, aber gibt es für auch Boards welche halbwegs sparsam im Strom sind? Die Super Micro Boards ziehen ja wahrscheinlich auch allerhand an Strom :).
Ein Arbeitskollege hat mir ein ASRock J5040-ITX ans Herz gelegt, wenn ich "was wirklich stromsparendes" haben will.
Aber ich bin mir natürlich auch bewusst, dass das kein richtiges Server-Board ist, welches unbedingt für den Dauerbetrieb ausgelegt ist und wo ich mehrere VMs drauf laufen lassen kann :)....

Hast du / habt ihr zudem eine Backupstrategie, mit welcher ich dann am besten Sicherungen meines NAS ziehen kann?

Ich danke dir / euch für eure Antworten.

Also das Board an sich wird kaum ins Gewicht fallen. Komponenten wie CPU und Festplatten sind da deutlich größere Treiber im Stromverbrauch. Ich habe kürzlich erst den Stromverbrauch meines Servers um 30% gesenkt in dem ich auf den HBA verzichtet habe.

Wenn es ein Server für den Dauerbetrieb sein soll, bin ich immer ein Freund davon soviele Variablen wie möglich auf Stabilität auszulegen. Nichts ist schlimmer als ein Server der zufällig neustartet oder dich mit error Meldungen nervt. Nimm ein hier in Forum gut dokumentiertes Server-Board und du hast eine Variable weniger um die du dich sorgen musst.

Backup-Strategien sind ja für manche schon eine Glaubensfrage. Von 3-2-1 Regeln, über S3 Offsite verschlüsselt bis hin zu in Beton gegossen und im Garten vergraben. Mit TrueNAS bekommst du aber eine Vielzahl an Möglichenkeiten. Da ist die Doku dein Freund ;)
Letzendlich kommt es auf deinen Use-Case an.

 

[fluffy-bunny]

Ich lieäugel - da ich doch nicht unbedingt ein normales ATX - Board im Rack hängen haben möchte und mir auch schon so ein wenig stromersparniss erhoffe - ein Supermicro X11SCL-IF ins Auge gefasst.
Kann jemand von euch sagen, ob das für den Betrieb als NAS eine gute Wahl ist?
Und wie bekomme ich denn vielleicht 6 Festplatten an das Board geklemmt? Wahrscheinlich bräuchte ich dafür einen HBA, oder?

Kann ich die Festplatten quasi auch "extern" in nen eigenes Chassis im Rack packen?

 

[mistermanko]

Den Chipsatz sieht man hier im Forum recht häufig. Also sollte passen. Die Stromersparnis zwischen ITX und ATX ist vernachlässigbar bei gleicher Last. Du hast 6 Platten, CPU und Netzwerk. Da wird der Chipsatz eben seine 5W ziehen ob er das jetzt mit 1 PCIe oder 3 PCIe Slots macht ist ihm wurscht.

Und wie bekomme ich denn vielleicht 6 Festplatten an das Board geklemmt? Wahrscheinlich bräuchte ich dafür einen HBA, oder?

Ja, da darauf achten, dass es ein LSI oder ähnlich im IT-Mode ist. Mehr dazu gibt hier per Suche.

Kann ich die Festplatten quasi auch "extern" in nen eigenes Chassis im Rack packen?

Das wird entweder teuer (SAS-Expansion) oder nicht-kompatibel (USB oder SATA-Expander). Also am besten ein Case mit genug Platz für alle Platten suchen. Temperatur-Management nicht vergessen. Viele HDDs werden schnell sehr warm und benötigen ausreichend Kühlung.

 

[ChrisRJ]

Ich lieäugel - da ich doch nicht unbedingt ein normales ATX - Board im Rack hängen haben möchte und mir auch schon so ein wenig stromersparniss erhoffe - ein Supermicro X11SCL-IF ins Auge gefasst.

Hoffnung ist schoen, wird in diesem Fall aber nach hinten losgehen. Der zusaetzliche HBA, den Du bei mehr als 4 Platten brauchst, wird alleine ca. 20-230 W ziehen (und braucht eine gute Kuehlung!). Warum kein ATX Board im Rack?

Kann jemand von euch sagen, ob das für den Betrieb als NAS eine gute Wahl ist?

Bei mehr als 4 Platten auf jeden Fall nicht. Generell sind ITX-Boards zwar schoen klein. Aber das erkauft man sich mit einer Menge Einschraenkungen. Ich bin deswegen ueberhaupt kein Freund.

Und wie bekomme ich denn vielleicht 6 Festplatten an das Board geklemmt? Wahrscheinlich bräuchte ich dafür einen HBA, oder?

Ja, s.o.

Kann ich die Festplatten quasi auch "extern" in nen eigenes Chassis im Rack packen?

Ja. Dann reden wir aber von einem separaten Disk Enclosure, einem HBA mit externem Anschluss und in Summe nochmal mehr Stromverbrauch als "nur" mit einem HBA.

Ich wuerde nach gebrauchten Boards mit 8+ SATA Anschluessen und ECC RDIMMs (viel billiger als UDIMM) schauen.

 

[John Doe]

Hallo zusammen!

Ich plane, mir bei uns im Heizungskeller einen kleinen 19 Zoll Serverschrank mit einem Patchpanel und einem Server als True-NAS Lösung hinzuhängen.
Ich würde gerne eine Netto-Kapazität mit insgesamt 32TB haben wollen, um hier auch noch für die Zukunft "ordentlich Luft nach oben zu haben".

Könnt ihr mir vielleicht Tipps bezüglich der Hardware geben und folgende Fragen beantworten:

1. Was nahme ich für ein Mainboard (mit ECC Speicher ? ) und welche Festplatten sind zu empfehlen?
2. Macht es Sinn das OS auf eine schnelle NVME zu installieren und die Daten lieber auf eher langsame Sata-Platten bzw. NAS-Platten zu legen?
3. Kann ich auf dem NAS auch jails einrichten, in welchen ich Windows- als auch Linux-Hosts laufen lasse?
4. Gibt es Mainboards, welche über einen iLO / iDRAC verfügen, um sich ggf. via Console auf den Server verbinden zu können?

Ich danke euch für eure hilfreichen Tipps.

1) Supermicro ist wie bereits erwähnt gut dokumentiert und auch ich habe mich an die empfehlung gehalten und kaum/ keine probleme. ECC ram würde ich nehmen, wenn es wichtige daten sind. kannst du die daten neu bekommen/erstellen kann man auch ohne ecc ram gut auskommen.
1.1) generell würde ich abstand von den WD red nehmen. Wenn die kiste bei dir im Keller steht, greife ruhig auf die schneller drehende zurück (7200) toshiba hat enterprise platten die recht gut sein sollen. Hauptsache kein SMR, du willst CMR!

2) nein macht kein sinn, truenas bootet einmal von einem datenträger, danach läuft es im ram. man kann auch USB sticks nehmen, jedoch würde ich eher auf anständigen flash setzen, sei es dom, oder eine kleine sata ssd oder ein usb auf sata adapter. os und daten sind getrennt.

3) ja kannst du

4) supermicro hat ipmi, alternativen gibt es auch von asrock

bzgl. strom:
die CPU langweilt sich üblicherweise die meiste zeit, die kiste sollte ja eh 24/7 laufen, daher ist dies nach meiner erfahrung eher weniger relevant. Chipsatz und ram und HBA/ karten ziehen noch recht viel strom, besonders wenn es enterprise hardware ist. mein HBA (signatur! ist bei etwa 10-15w)

überlege dir, ob du alles via truenas machen möchtest oder virtualisiert via esxi und co. (wenn ESXI wirst du vermutlich einen adapter brauchen zum exklusiv durchreichen an VM) wenn nur truenas, versuche auf den adapter zu versichten und genügend anschlüsse am board zu haben.
so gibt es auch supermicro board mit SFF anschlüssen (breakout kabel auf sata) gibt dann üblicherweise platz für 8 sata platten + noch ein paar sata onboard.
generell solltest du dir gedanken über das pool layout machen. wenig platten mit großer kapazität erhöhren die resilver zeit und somit auch die warscheinlichkeit eines weiteren ausfalles.

je nach performance wunsch und layout von board bzgl. ram ansprechen, versuche so wenig ram sticks zu benutzen.
z.b. dual channel, besser 2x 32gb anstelle von 4x 16gb -> spart etwas strom

hdds drehen lassen und nur den lesekopf in parkposition zu legen ist bei teuren festplatten ratsam, bei günstigeren und entsprechendem pool layout kann man ggf. auch die hdd komplett schlafen legen. hierbei geht es um den verschleiss von dem motor beim andrehen der festplatten.

 

[Patrick M. Hausen]

nein macht kein sinn, truenas bootet einmal von einem datenträger, danach läuft es im ram

Das ist schon seit Jahren nicht mehr richtig. TrueNAS verwendet einen gewöhnlichen read/write ZFS Pool als Bootmedium und schraddelt auf dem je nach system dataset auch ordentlich rum. Eine kleine SSD mit hoher Schreibtoleranz wird empfohlen, Transcend hat da einiges mit 32 oder 64 GB. Die Performance ist dagegen tatsächlich relativ "wurst".

 

[fluffy-bunny]

Ja, da darauf achten, dass es ein LSI oder ähnlich im IT-Mode ist. Mehr dazu gibt hier per Suche.

Sorry für meine sehr späte Rückmeldung. Ich bin ehrlich gesagt gerade noch ein bisschen am Gucken und Einlesen in die ganze Materie....

Könnt und will ich bei 6 Platten so einen HBA verwenden ^^?
--> https://www.servershop24.de/broadco...ahk-aFqZwDrQoqGZ1nvfaPC24lWtwwysaAqnfEALw_wcB

Wenn ich das richtig gesehen habe, kann ich an den ja nur vier Platten anklemmen, oder?

 

[bic]

Wenn ich das richtig gesehen habe, kann ich an den ja nur vier Platten anklemmen, oder?

Nö, 1.024 Stück (https://docs.broadcom.com/doc/12354879)

 

[Patrick M. Hausen]

Selbst mit einer passiven oder gar keiner Backplane kannst du an den mit 2 SFF-8643 nach 4x SATA bis zu 8 Platten anschließen. Ist ja dual port.

Delock Produkte 83392 Delock Kabel Mini SAS HD SFF-8643 > 4 x SATA 7 Pin 0,5 m

www.delock.de

 

[fluffy-bunny]

Nö, 1.024 Stück (https://docs.broadcom.com/doc/12354879)

Aaah, kk das hab ich nicht gesehen. Danke dir :)

Selbst mit einer passiven oder gar keiner Backplane kannst du an den mit 2 SFF-8643 nach 4x SATA bis zu 8 Platten anschließen. Ist ja dual port.

Delock Produkte 83392 Delock Kabel Mini SAS HD SFF-8643 > 4 x SATA 7 Pin 0,5 m

www.delock.de

Ah, das heißt ich bräuchte dann eigentlich nur ne Kabelpeitsche?

Was für nen günstigen Controller könnt ihr mir denn ansonsten empfehlen, sodass ich erstmal ein kleines Setup mit 6 - 8 Platten realisieren kann?

 

[Patrick M. Hausen]

Na, nimm doch diesen und zwei Breakout-Kabel. Den musst du allerdings umflashen auf IT mode. Siehe die RAID Level unten in der Beschreibung. So wie verkauft, bitte nicht mit ZFS benutzen.

Such mal nach einem 9300-8i - der ist noch einen Tick günstiger zu bekommen und es gibt eine "TrueNAS approved" Firmware dafür:

LSI 9300-xx Firmware Update

Hey Community, If you are using an LSI 9300 HBA with FreeNAS or the soon-to-be TrueNAS CORE, you may experience some performance issues causing the controller to reset when using SATA HDDs. After working with Broadcom, we’ve come up with a...

www.truenas.com

Die Kabel wären dieselben.

 

[fluffy-bunny]

Na, nimm doch diesen und zwei Breakout-Kabel. Den musst du allerdings umflashen auf IT mode. Siehe die RAID Level unten in der Beschreibung. So wie verkauft, bitte nicht mit ZFS benutzen.

Such mal nach einem 9300-8i - der ist noch einen Tick günstiger zu bekommen und es gibt eine "TrueNAS approved" Firmware dafür:

LSI 9300-xx Firmware Update

Hey Community, If you are using an LSI 9300 HBA with FreeNAS or the soon-to-be TrueNAS CORE, you may experience some performance issues causing the controller to reset when using SATA HDDs. After working with Broadcom, we’ve come up with a...

www.truenas.com

Die Kabel wären dieselben.

@Patrick M. Hausen : Vielen Dank dir für die nette und ehrliche Antwort :).
Hm, umflashen kann ich den Controller wie in deinem Link beschrieben, oder?
(https://www.truenas.com/community/resources/lsi-9300-xx-firmware-update.145/ )

Ich hab mir jetzt den 9300-8i rausgesucht und bei Amazon gibt's den momentan anscheinend für ~235€:

https://www.amazon.de/dp/B00DSURZYS/ref=olp-opf-redir?aod=1&linkCode=xm2&condition=new&camp=2025&creative=12738&smid=A1X153VV6DKKO9&creativeASIN=B00DSURZYS&tag=geizhals10-21&ascsubtag=Irx8tXOY7xV8iJ3HcYHWw

Ich hätte noch ein paar Fragen, welche hoffentlich nicht "zu unbeholfen rüberkommen" :):

1. Was könnt ihr mir denn für Platten empfehlen? Ich tendiere zu WD Red, welche für den Dauerbetrieb ausgelegt sind, habe aber auch momentan noch keine Idee, was ich so an Nettokapazität wirklich brauche, um zumindest für die nächsten ~5 Jahre "Luft nach oben zu haben"?
   
   
2. Was nehme ich für ein Gehäuse, um gut ein mini-ITX Board verstauen zu können, aber auch noch gute Luftzirkulation bei gleichzeitigem Platz für 6-8 Festplatten zu haben?
   
   
3. Kann ich beim Truenas die Platten ggf. erweitern, sodass ich notfalls auch noch "Platten nachstopfen kann", ohne den Pool komplett neu aufbauen zu müssen?
   
   
4. Wieviel ECC-RAM will ich denn in meinem System haben? Ich würde vielleicht 2 - 4 VMs zusätzlich laufen lassen wollen, um somit auch eine kleine Spielwiese zu realisieren, um mal ein bisschen was testen zu können :).....

Ich wäre euch sehr dankbar, wenn ich mir zu meinen Fragen noch ein paar Tipps geben könntet :)

 

[bic]

Ich wäre euch sehr dankbar, wenn ich mir zu meinen Fragen noch ein paar Tipps geben könntet :)

Ja, schon klar, lass mal die anderen machen, ist ja auch bequemer, als selbst zu suchen und zu entscheiden. Schön auch, dass Du weiter oben z.T. schon Antworten auf ähnliche Fragen bekommen hattest - hält doppelt besser ? Ich versuche es aber trotzdem mal, da ich gerade Langeweile habe:

Was könnt ihr mir denn für Platten empfehlen?

Grundsätzlich keine mit dem SMR-Aufzeichnungsverfahren. Dies gilt besonders auch für die WD Red, da sollte es schon die "Plus" oder die "Pro" sein. Hier mal ein Überblick, allerdings schon zwei Jahre alt. An sonst hatte die CT gerade einen Artikel bzgl. des Vergleich von NAS vs. dedizierte Servereplatten (klick!) und siehe da die Serverplatten waren nicht nur besser, sondern auch billiger.

Ach so - die Entscheidung, welchen Speicherplatz Du brauchst, wird Dir wohl keiner abnehmen können, denn niemand weiß, was Du machen willst und wirst. Da hilft nur selbst rechnen (und sich irren )

Was nehme ich für ein Gehäuse, um gut ein mini-ITX Board verstauen zu können, aber auch noch gute Luftzirkulation bei gleichzeitigem Platz für 6-8 Festplatten zu haben?

Also da ist das Angebot groß und auch hier heißt es, selbst ist der Mann (oder die Frau oder sonst etwas). So etwas würde aber sicher funktionieren.

Kann ich beim Truenas die Platten ggf. erweitern, sodass ich notfalls auch noch "Platten nachstopfen kann", ohne den Pool komplett neu aufbauen zu müssen?

Gerade dafür ist ZFS gemacht. Aber auch hier - Google hätte es Dir gesagt

Wieviel ECC-RAM will ich denn in meinem System haben? Ich würde vielleicht 2 - 4 VMs zusätzlich laufen lassen wollen, um somit auch eine kleine Spielwiese zu realisieren, um mal ein bisschen was testen zu können :).....

Also, wenn du nicht weißt, was Du willst, wer soll es sonst wissen? Mir reichen jedenfalls seit Jahren 32 GB ohne Fehlerkorrektur in meinen Truenas(en).

An sonst ist ein NAS eine NAS, da gehören keine Speielerein drauf, zumindest nicht dann, wenn einem seine Daten lieb und teuer sind.
Truenas als Hypervisior ist ohnehin nicht so prickelnd, da stell Dir lieber eine andere kleine Kiste mit Proxmox o.ä. hin, die kann man dann auch platt machen, wenn mal etwas schief gelaufen ist.

So jetzt aber - es gibt Frühstück, mit der Langeweile ist es nun vorbei und ich höre auf zu nörgeln

Frohe Ostern allen !