Aufbau von neuem System - Fallstricke

[CoolFrog]

Hallo zusammen,
ich habe nicht direkt ein Problem sondern würde nur gerne welche vermeiden. Bisher waren alle meine NAS Systeme Qnaps, davon möchte ich aus verschiedenen Gründen weg.
Da ich bisher keine wirklichen Erfahrungen mit TrueNas habe würden mich eure Meinung interesieren.

Was ich benötige:
Den Speicherplatz der HDDs auf zwei große Partionen 70%/30% aufteilen. (Datengrab)
Eine der SSDs mit 250GB für VMs (Keine Retundanz notwendig, wenn Tod dann Tod ist schon Ok)
Tägliche Snapshots von den HDD und SSD Daten

1. Was ist eure Empfehlung was ich mit den SSDs machen soll,- also worauf OS, evtl spiegeln ? Cache sinnvoll?(sind keine Datacenter SSDs)
2. Wie soll ich die HDDs einbinden? Alles in einen Pool stecken oder was ist hier zu empfehlen.
3. Tägliche Snapshots- Muss ich hier was beachten? Oder einfach einrichten.
3. Tägliches Backup - Ich habe hier schon ein paar Interesante Beiträge zu dem Thema gefunden. Hätte evtl eine der Netzwerkkarten mit dem alten NAS verbunden und täglich einen Snapshot gespeichert.

Ich habe aus dem Keller gekrahmt bzw eingekauft:
Mobo: Asus P10S-M IKVM
CPU: Intel Xeon E3-1230 v6
RAM: 4x16GB DDR4 ECC
SSD: 2x 120GB (Samsung Pro Irgendwas...)
SSD: 2x 250GB (Samsung Pro Irgendwas...)
HDD: 10x 18TB
Netzwerkkarte: 2,5GBits


Danke für eure Hilfe :)

 

[LarsR]

Das OS würde ich auf den 2x 120GB SSD packen, geht ganz einfach. Bei der Installation einfach beide SSD's auswählen und den rest macht der installer automatisch.
Die 2x 250GB SSD's würde ich in einen Mirror für Jails/VM's oder im falle von Truenas Scale für Container packen.
Die HDD's würde ich in einen Stripe von 2x5 Raidz2 vdevs packen. In dem Pool kannst du dann zwei Datasets mit Quoten von 70% & 30% anlegen.
Dabei aber drauf achten, dass allgemein ein Pool nur bis 80% Gesamtkapazität gefüllt werden sollte - sonst kann es zu Leistungseinbußen kommen.
Bei der Konfiguration der HDD's können dir Pro vdev 2 Platten abrauchen ohne Datenverlust. Die Größe des Pools wäre dann ca. 90-94 TiB.

Die Treiber der meisten 2,5Gb Netzwerkkarten sind unter Freebsd einfach nur kacke , bleib lieber bei vernünftigen Intel 1GB Karten, oder nimm ein bisschen mehr Geld in die Hand und geh gleich auf 10Gb Karten. Wenn du der Einzige bist der das Nas benutzt brauchst du nur 2 Karten und ein DAC Kabel und da ist man bei gebrauchten Karten von Ebay mit 100€ dabei.
Cache macht in 99% der fälle nicht das was die Leute denken dass es tut. Wenn du nix mit NFS oder ISCSI machen möchtest wird dir ein Cache nicht helfen. Wenn du die Geschwindigkeit erhöhen möchtest Versuch lieber den Arbeitsspeicher des Servers zu maximieren.

Alle Angaben ohne Gewähr und auf eigene Gefahr - benutze Truenas selber erst seit einem Jahr xD

Edit:
Snapshots kannst du dir so einrichten wie du magst, wenn sich viel an den Daten ändert kannst du stündliche Snapshots einstellen, wenn sich wenig ändert täglich oder wöchentlich mit unterschiedlich langen aufbewahrungszeiten.
Zum Thema Backup könntest du mit rsnapshot einen einen Snapshot an dein altes Nas schicken.

 

[micneu]

mein tipp (so habe ich es damals gemacht)
habe auf einer vm mir ein truenas installiert und geschaut ob mir das system gefällt und ob ich das umsetzen kann was mir wichtig war.
und danach habe mir mir meine hardware gekauft (im footer zu sehen)
ist ähnlich wie deinem setup.
die installation ist sehr simple und wird auch in der dokumentation beschrieben.
meine erfahrung ist halt drauf zu achten das die hardware kompatibel ist.

 

[ChrisRJ]

Statt zwei Vdevs mit je RAIDZ2 koennte auch eines mit RAID3 in Frage kommen. Weniger IOPS aber mehr Nettokapazitaet.

 

[CoolFrog]

Guten Abend zusammen,
erstmal Danke für die schnellen Antworten.

LarsR
Es wird Scale. Die Netzwerkkarte läuft erstaunlicherweise ohne Probleme in meinen Testaufbauten. Ich habe im Notfall noch eine Intel I225-T1 2,5Gbits da. Die würde evtl auch unter BSD laufen.
OK also auf den ZIL und L2ARC kann ich also getrost verzichten.
Warum würdest du zwei Vdevs verwenden statt einem? Mehr IOPs was ChrisRJ anspricht?

micneu
Ah danke für den Hinweis, ich glaube dafür ist es bei mir jetzt zu spät. Aber ich habe auch nur die HDD Platten und die Netzwerkkarte gekauft, den Rest hatte ich noch da.

 

[LarsR]

bin kein fan von zu großen vdevs... falls du nochmal die Kapazität erhöhen möchtest müsstest du bei meiner Variante "nur" 5 neue platten kaufen.
Wenn du die Variante von ChrisRJ nehmen würdest und irgendwann mal noch Kapazität drauf packen möchtest müsstest du wieder 10 platten auf einmal kaufen. Ich komme zwar aus NRW aber irgendwo schlummert ein Schwabe in meinen Genen und ich gebe nicht gerne so viel Geld auf einmal aus xD

 

[ChrisRJ]

@LarsR , die Erweiterung ist in der Tat ein Argument. Ich war bei 10 Platten davon ausgegangen, dass fuer die geplante Laufzeit des NAS das kein Thema ist. Aber das kann natuerlich auch anders sein. Zur Not koennte man auch mit einem Mirror erweitern, aber das waere etwas unkonventionell.

@CoolFrog , was soll das gute Stueck denn machen?

 

[CoolFrog]

@LarsR Hahah :-D Naja das Geld wächste bei mir auch nicht auf Bäumen

@ChrisR Die NAS wird nicht erweitert werden. Für noch mehr Speicher ist auf jedenfall die Hardware schon zu alt,- denke ich.
Speicher für Persönliche Daten.
Als Exportverzeichnis für ein Video Digitalisierungs Projekt von mir, auf der alten NAS habe ich etwa 60TB Video files liegen bisher, das läuft voll.
Später (so in einem Jahr) wenn das Projekt fertig ist, wird da ein Plex drauf laufen.
Ein paar kleine VMs....

 

[micneu]

eine frage noch, es gibt doch eine empfehlung wieviel ecc ram für x tb festplatten speicher empholen wird.
bin der meinung das deine 32GB zu gering sind.

 

[CoolFrog]

In den Oracle Dokumenten die ich zu ZFS habe steht mindestens 1GB / Tb.
Aber mehr als die 64GB die meine Server hat, geht leider nicht. Das Board und die CPU kann nicht mehr.
Ich habe keine Ahung was passieren wird.

Werde das ganze die Tage mal einrichten, ihr habt mir schon viel Info geliefert. Ich berichte wie es läuft

 

[LarsR]

Wenn das System läuft kannst du auch einfach verschiedene pool layouts erstellen, testen und wenn's dir nicht gefällt ein anderes ausprobieren.
Du kannst also sowohl mein Pool Layout für die HDD'S als auch das von ChrisRJ ausprobieren und wenn's dir nicht passt einfach den pool platt machen und von vorne anfangen. Natürlich nur mit nicht kritischen Daten oder test wie fio oder wie sie alle heißen testen.

 

[ChrisRJ]

Oberhalb von 16 GB RAM ist die Regel mit 1 GB RAM pro 1 TB Platte nicht mehr ganz so strikt auszulegen. Weniger RAM geht natuerlich zu Lasten der Performance. Aber bei 64 GB und den o.g. Platten sind grds. keine Probleme zu erwarten; jedenfalls solange nicht noch groessere VMs oder viele Jails laufen.

 

[CoolFrog]

@LarsR ok Genau das werde ich die Woche mal machen.
@ChrisRJ Das hab ich auch so im Netz gelesen, da ich sehr wenige IOs habe denke ich das sollte laufen.

Nur so als kleines Status Update falls es jemanden interessiert:
Habe die letzen zwei Tage einen Memtest über das Systme laufen lassen und musste leider festellen das einer Riegel nicht so ganz super ist. Warte gerade auf Ersatz. Mal schauen ob ich dann die ZFS Ram konfiguration wie unter Oracel von Hand erhöhen muss oder ob das automatisch passiert.
Gerade bastel ich an der USV anbindung und versuche einen Trunk zu meiner Qnap aufzubauen das die Datenübertragung nicht eine Woche dauert. Dass ist auf Truenas Seite kein Problem, aber die Qnap ist speziell.