Kaufberatung + Feedback

[losh]

Hallo!
Ich stelle gerade mein erstes FreeNas zusammen und wollte mir von euch die Hardware "absegnen" lassen bzw. Feedback einholen.
Einsatz: Primär Datengrab für Multimedia (HTPCs greifen via NFS oder CIFS darauf zu), Dokumente und Backups. Außerdem soll ein kleiner Bereich (1TB sollte reichen) für einen Proxmox reserviert werden, der dann via NFS oder iSCSI (beides soll über direct link und ggf. link aggregation passieren) eingebunden wird.

Derzeit sieht meine Einkaufsliste wie folgt aus:
1 x ASRock C2550D4I
1 x Kingston ValueRAM DIMM Kit 32GB, DDR3L-1600, CL11, ECC (KVR16LE11K4/32)
10 x Western Digital WD Purple 3TB, SATA 6Gb/s (WD30PURX)
1 x Antec EarthWatts EA-550 Platinum, 550W ATX 2.31 (0761345-04750-0/0761345-04751-7)
2 x Cremax Icy Dock FlexCage MB975SP-B
1 x Inter-Tech IPC 3U-30240, 3HE (88887106)

Ich würde mich über Feedback zu dieser Liste und Ideeninput bzgl. Konfiguration (pools, vdevs, datasets,...) freuen!

 

[MrToddsFriends]

10 x Western Digital WD Purple 3TB, SATA 6Gb/s (WD30PURX)

Support für TLER scheint bei den Purple ebenso gegeben zu sein wie bei den Red.
https://forums.freenas.org/index.php?threads/checking-for-tler-erc-etc-support-on-a-drive.27126/

Wie sich die Purple in Bezug aufs Köpfe parken verhalten, solltest Du evtl. prüfen.
https://forums.freenas.org/index.php?threads/hacking-wd-greens-and-reds-with-wdidle3-exe.18171/

Ich würde vermutlich an Deiner Stelle Red kaufen, auch wenn die ein paar Euro teurer sind.

 

[losh]

Danke für dein Feedback zu den Platten.
Die Purple habe ich eigentlich gewählt, weil mein vdr seine recordings auf den Fileserver schreiben soll.
Hab jetzt mal auf dein Anraten die Red reingenommen:

1 x ASRock C2550D4I
1 x Kingston ValueRAM DIMM Kit 32GB, DDR3L-1600, CL11, ECC (KVR16LE11K4/32)
10 x Western Digital WD Red 3TB, 3.5", SATA 6Gb/s (WD30EFRX)
1 x Antec EarthWatts EA-550 Platinum, 550W ATX 2.31 (0761345-04750-0/0761345-04751-7)
2 x Cremax Icy Dock FlexCage MB975SP-B
1 x Inter-Tech IPC 3U-30240, 3HE (88887106)

Was sonst noch?

 

[flatterlight]

Hi, wieso nimmst du das 30240 Chassis und nicht eines aus der Storage Serie z.B. das 2U-2412 ?
Ich betreibe das selbe Board in einem solchen. Beim Erwähnten solltest du allerdings je nach Umgebung die Lüfter mit Verlängerungskabeln ans Board anbinden, da diese im Default am Molexstecker angeschlossen sind -> Lüfter auf Vollast.

Flatterlight

 

[losh]

Hi, wieso nimmst du das 30240 Chassis und nicht eines aus der Storage Serie z.B. das 2U-2412 ?

Für diese Entscheidung waren folgende Punkte maßgeblich:

• Preis (wobei mich deine Variante nicht mal 50€ mehr kosten würde...also verkraftbar)
• Höhe unkritisch (hab noch reichlich HE zur Verfügung)
• Tiefe ist aus thermischen Gründen kritisch: Der Fileserver kommt in das obere Drittel des (geschlossenen) Schranks und würde -so denke ich- einen Wärmestau verursachen wenn er fast die ganze Schranktiefe einnehmen würde

Spricht deiner Meinung nach was gegen meine Variante (30240 + IcyDock Backplanes)?

 

[MrToddsFriends]

1 x ASRock C2550D4I
10 x Western Digital WD Red 3TB, 3.5", SATA 6Gb/s (WD30EFRX)

Ich bin gerade in meiner Linksammlung über diesen hier gestolpert:
https://forums.freenas.org/index.php?threads/asrock-c2550cd4i-corrupting-files.39879/

Es gibt/gab wohl immer wieder Probleme mit dem/den Marvell-Controllern auf C2550D4I und C2750D4I. Zum Einen sollte die Firmware für den Marvell SE9230 (falls nötig) geupdated werden.
https://forums.freenas.org/index.php?threads/validation-of-hardware.42931/#post-281940

Und zum Anderen sind die Treiber für die Marvell SATA-Controller in FreeBSD wohl nicht so stabil wie für die empfohlenen Controller/HBAs (Intel, Avago/LSI). Ich erinnere mich, hier im Forum gelesen zu haben, dass die Situation mit FreeNAS 9.10 (FreeBSD 10.3) besser geworden ist, aber leider nicht mehr ob dies für beide Marvells auf den Asrock-Boards gilt (SE9172, SE9230).

Am Besten recherchierst Du selbst noch ein bisschen falls noch nicht geschehen.

 

[losh]

Am Besten recherchierst Du selbst noch ein bisschen falls noch nicht geschehen.

Hab ich soeben und musste feststellen, dass ich wahrscheinlich mit meiner Konfiguration böse Überraschungen erlebt hätte. Danke für den Hinweis!!
Was wären deiner Meinung nach meine Optionen, um 10 Platten fehlerfrei zu betreiben und mein Budget nicht allzu sehr zu sprengen? Günstigeres MoBo und ein (empfohlener) IBM HBA?
Vorschläge?
Danke schon mal im Voraus!

 

[MrToddsFriends]

Was die C2550D4I/C2750D4I Boards (bzw. deren Marvell Controller) betrifft bin ich nicht sicher, deswegen mein letztes Posting. Der noch relativ neue FreeNAS Mini XL von iXsystems hat auch so ein Board verbaut, kann aber nur mit bis zu 8 Platten ausgestattet werden.

Vielleicht lässt sich herausfinden, welche der Onboard Marvells beim Mini XL verwendet werden und ob sich daraus eine Aussage für 10 (oder 12) Platten ableiten lässt.

 

[Ericloewe]

10 Platten fehlerfrei zu betreiben und mein Budget nicht allzu sehr zu sprengen?

Supermicro X10SL7-F

Normalerweise ist es billiger als separat ein HBA zu kaufen. Dazu etwa ein i3-4330. Ein Pentium G3220 wäre etwas billiger und reicht aus, wenn kein Transcoding benötigt wird.

 

[losh]

Supermicro X10SL7-F

Cooles Board, habs mal auf meine Einkaufsliste gesetzt, danke!
Ich lese gerade in Deinem Beitrag Memory Recommendations, dass Du von Kingston Riegeln abrätst. Welche würden Deiner Meinung nach in Frage kommen?
Diese hier vielleicht? Crucial DIMM 8GB, DDR3L-1600, CL11, ECC (CT102472BD160B)

Hier die aktuelle Liste:
2 x Cremax Icy Dock FlexCage MB975SP-B
10 x Western Digital WD Red 3TB, 3.5", SATA 6Gb/s (WD30EFRX)
1 x Intel Pentium G3220, 2x 3.00GHz, boxed (BX80646G3220)
1 x Supermicro X10SL7-F retail (MBD-X10SL7-F-O)
1 x Inter-Tech IPC 3U-30240, 3HE (88887106)
1 x Antec EarthWatts EA-550 Platinum, 550W ATX 2.31 (0761345-04750-0/0761345-04751-7)
4 x RAM?

Nochmal danke an alle Beteiligten, ich komme der Sache schon näher!

 

[Ericloewe]

Crucial funktioniert prima mit X10 Boards. Wenn dann Supermicro sagt "diese DIMMs wurden von uns nicht getestet", muss man einfach sagen, sie seien Micron so und so Teile (was auch stimmt).

 

[losh]

Super!
Dann hier mal meine (finale?) Liste:
2 x Cremax Icy Dock FlexCage MB975SP-B
10 x Western Digital WD Red 3TB, 3.5", SATA 6Gb/s (WD30EFRX)
10 x DeLOCK SATA Kabel gelb 0.3m mit Arretierung, gerade/gerade (82473)
1 x Intel Pentium G3220, 2x 3.00GHz, boxed (BX80646G3220)
4 x Crucial DIMM 8GB, DDR3L-1600, CL11, ECC (CT102472BD160B)
1 x Supermicro X10SL7-F retail (MBD-X10SL7-F-O)
1 x Inter-Tech IPC 3U-30240, 3HE (88887106)
1 x Antec EarthWatts EA-550 Platinum, 550W ATX 2.31 (0761345-04750-0/0761345-04751-7)
Werde voraussichtlich Anfang nächster Woche bestellen. Ihr könnt also noch gerne Feedback/Anregungen dazu einbringen.
Btw: wen es interessiert: derzeit kostet das System knapp 2000€.

Eine letzte Sache hätte ich noch: die Storage Config.
Den Einsatz kennt ihr ja aus meinem Eröffnungs-Post (Datengrab + Proxmox Storage).
Ich vermute mal, ihr würdet mir davon abraten, alle drives in einen einzigen, riesigen Pool zu stecken, oder?
Wie würde eine vernünftige Config aussehen?

 

[Ericloewe]

10 x DeLOCK SATA Kabel gelb 0.3m mit Arretierung, gerade/gerade (82473)

Sind die Kabel nicht zu kurz? Die 30cm werden sind fast immer inklusive Stecker, also vorsicht.

1 x Antec EarthWatts EA-550 Platinum, 550W ATX 2.31 (0761345-04750-0/0761345-04751-7)

Ich würde etwas wie ein Seasonic X-650 benutzen. Die Platten brauchen beim Spinup etwas mehr als die spezifierten 30W. 550W sollte in Ordnung sein, lässt aber wenig Spielraum.

 

[losh]

Sind die Kabel nicht zu kurz?

Ich dachte mir, dass das bei einer Gehäusetiefe von 43cm und Backplanes, die ~12cm tief sind, ausreicht...werde aber zur Sicherheit 10cm längere Kabel nehmen.

ch würde etwas wie ein Seasonic X-650 benutzen.

Jop, sicher ist sicher. Danke!

 

[flatterlight]

Hi,

Für diese Entscheidung waren folgende Punkte maßgeblich:

• Preis (wobei mich deine Variante nicht mal 50€ mehr kosten würde...also verkraftbar)
• Höhe unkritisch (hab noch reichlich HE zur Verfügung)
• Tiefe ist aus thermischen Gründen kritisch: Der Fileserver kommt in das obere Drittel des (geschlossenen) Schranks und würde -so denke ich- einen Wärmestau verursachen wenn er fast die ganze Schranktiefe einnehmen würde

Spricht deiner Meinung nach was gegen meine Variante (30240 + IcyDock Backplanes)?

Wenn du das vorgeschlagene Chassis nimmst ersparst du dir die extra einbau Plattengehäuse.

Flatterlight

 

[Rand]

Sind die 10 Platten für Diskspace oder IOPS?
Ich weiss ja das die 3TB immer noch der Sweet Spot bei den Preisen sind, aber das heisst nicht das es unbedingt sinnvoll ist das ganze System danach auszurichten;)
Also ich brauche 10 Platten für XXX deswegen muss es YYY Board sein und daher ZZZ CPU/Ram...

 

[losh]

Sind die 10 Platten für Diskspace oder IOPS?
Ich weiss ja das die 3TB immer noch der Sweet Spot bei den Preisen sind, aber das heisst nicht das es unbedingt sinnvoll ist das ganze System danach auszurichten;)
Also ich brauche 10 Platten für XXX deswegen muss es YYY Board sein und daher ZZZ CPU/Ram...

Die 10 Platten sind primär mal für storage. Kannst du mir Deine Überlegung vielleicht genauer erklären? Danke!

 

[MrToddsFriends]

Die 10 Platten sind primär mal für storage. Kannst du mir Deine Überlegung vielleicht genauer erklären? Danke!

Vermutlich meinte Rand etwas recht naheliegendes (lag mir auch schon auf der Zunge): Mit Platten höherer Kapazität kämst Du mit weniger Exemplaren auf ähnlich viel Speicherplatz --- eventuell ganz ohne externe Plattengehäuse und die HBA/SATA-Controller-Frage wäre eventuell auch einfach zu klären. 6 x 6TB z.B. wäre nicht unbedingt abwegig.

 

[Rand]

Naja Du schaust hier immer nach Boards mit einer grossen Anzahl an SATA Ports und ich frage mich nur ob das der richtige Ansatz ist?

Wenn es nur um Storage space geht sind (wie @MrToddsFriends schon sagte) weniger grössere Platten eine gute Alternative ggüb 10 kleineren Platten weil es die Auswahl an Boards und Cases sehr viel einfacher macht.

Wenn du aber sowieso davon ausgehst, dass du irgendwann mehr Platten brauchst (und dafür ein entsprechendes Gehäuse möchtest) dann würde ich eher auf Erweiterbarkeit des Boards (pcie Slots) achten als auf SATA Ports. Dann bist du flexibler bei Defekten oder zukünftigen Upgrades...

Vlt habe ich das auch mis-interpretiert und das hat alles ganz andere sinnvolle Gründe:)

 

[losh]

Ich gehe nicht davon aus, dass ich mal mehr Platten brauchen könnte. Mit 30TB raw space bin ich einige Jahre versorgt. Danach würde ich ggf. den ganzen Pool gegen größere Platten tauschen.
Gibt es eurerseits noch Tipps zur Config? Ich habe mir überlegt, einfach ein einziges vdev (Z3) aus Platten Platten zu erstellen. Einwände?