RAID NAS mit 10 TB: was muss ich beachten?

[senior_hombre]

Hallo,
ich plane mir einen NAS zuzulegen bzw. selbst zusammenzubauen und muss mich in diesem Zusammenhang mit Dingen beschäftigen die für mich bisher nicht relevant waren, wie z.b. Raid.
In meinem Fall möchte ich knapp 6 TB an Multimediadaten speichern und einen Puffer von 4 TB vorsehen, außerdem möchte ich die Möglichkeit haben den Verbund vielleicht später weiter zu vergrößern.
Und weil ich die Daten auch noch Streamen will d.h. Filme (Full HD Bluray Qualität) vom NAS auf anderes PCs abrufen will, als auch sicherstellen möchte, dass mir die Daten nicht durch einen Plattendeffekt kaputtgehen, will ich das ganze in einem RAID Verbund machen.
Vielleicht kann mir hierbei schon jemand ein paar Fragen beantworten:
1. Ich hätte an RAID 1 gedacht, ist das eine gute Variante für mein Vorhaben? (Ich habe in diesem Zusammenhang auch etwas von einem Software-RAID gelsen, ZFS oder so ähnlich?)
2. Wie würde ich das mit FreeNAS umsetzen, kann ich vor der oder bei Installation von FreeNAS den RAID Verbund anlegen oder muss ich vorher irgendwelche Vorarbeiten leisten?
3. Könnte ich den RAID Verbund später erweitern, d.h. um weitere Festplatten? Oder muss ich ihn dafür auslösen d.h. alle Daten vorher irgendwo Zwischenspeichern und dann in den neuen Kopieren?
4. Ich habe gelesen, dass ich für FreeNAS eine extra Festplatte brauche für das OS ansich, wie kann ich das mit dem RAID Verbund für die Datenspeicherung kombiernieren? Dafür bräuchte ich ja kein RAID, kann ich hier einfach RAID und eine normale Festplatte kombinieren? Ist es hier sinnvoll für das OS eine SSD zu benutzen?

Eine andere Frage betrifft die Hardware des NAS, insbesondere weil ich ja auch FullHD Filme speichern und über das Netzwerk spielen will, brauche ich dafür einen besonders Leistungsfähigen CPU? Oder Viel RAM?
5. Zu was für einem Prozessor würdet ihr mir raten?
6. Wieviel Arbeitsspeicher benötige ich?
7. Könnte ihr mir vielleicht auch eine ganz konkrete Empfelung für ein Motherboard geben? Ist es hier Ratsam eines mit integriertem Grafikchip, Netzwerkkarte und RAID-Controler zu verwenden?
8. Falls ich eines der oben genannten Geräte nicht als in das Motherboard integierte Varianten nutzen sollte, zu welchen konkreten Karten würdet ihr mir raten?

Ich baue mir meine PCs zwar schon seid Jahren selbst zusammen, aber an ein NAS wage ich mich zum ersten Mal insbesondere auch an einen RAID Verbund und ich möchte daher im Vorfeld alle möglichen Probleme mit denen ich als Anfänger nicht rechne gleich ausschließen. Insbesonder wäre es ja ungünstig wenn ich viel Geld für das System ausgeben und am Ende Probleme mit der Lüftung oder der Performance des Systems habe. Überdimensionieren will ich es aber auch nicht.

 

[bubulein]

Hallo,
ich plane mir einen NAS zuzulegen bzw. selbst zusammenzubauen und muss mich in diesem Zusammenhang mit Dingen beschäftigen die für mich bisher nicht relevant waren, wie z.b. Raid.
In meinem Fall möchte ich knapp 6 TB an Multimediadaten speichern und einen Puffer von 4 TB vorsehen, außerdem möchte ich die Möglichkeit haben den Verbund vielleicht später weiter zu vergrößern.
Und weil ich die Daten auch noch Streamen will d.h. Filme (Full HD Bluray Qualität) vom NAS auf anderes PCs abrufen will, als auch sicherstellen möchte, dass mir die Daten nicht durch einen Plattendeffekt kaputtgehen, will ich das ganze in einem RAID Verbund machen.

Moin,

Hallo,
1. Ich hätte an RAID 1 gedacht, ist das eine gute Variante für mein Vorhaben? (Ich habe in diesem Zusammenhang auch etwas von einem Software-RAID gelsen, ZFS oder so ähnlich?)

Ein RAID1(mirror) bedeutet in deinem Fall das Du 20TB an festplatten benötigst.Sprich 10 Festplatten à 2TB welches ganz schön ins Geld geht.
Wenn Du deinen RAID dann vergrössern möchtest musst Du jedesmal 2 neue Platten dazu hängen.
Vielleicht denkst Du mal über ein RAIDZ (RAID5) oder RAIDZ2 (RAID6) nach.
Z.B.
RAIDZ
2TB Daten
2TB Daten
2TB Daten
2TB Parität
------------
6TB Nutzbar und eine kann Ausfallen

Nachteil ist Das Du jedesmal einen kompletten RAIDZ-Satz (Anzahl Platten +1) dazuhängen musst.
Ich würde an deiner Stelle einen RAIDZ2 machen also bei 10TB wären das

5x2TB Daten
2x2TB Parität
--------------
10TB Nutzbar

Und dann Ordentliche Backups machen (USB-Festplatten, DAS, besser zweites NAS (atom oder so ist ausreichend))

2. Wie würde ich das mit FreeNAS umsetzen, kann ich vor der oder bei Installation von FreeNAS den RAID Verbund anlegen oder muss ich vorher irgendwelche Vorarbeiten leisten?

Das alles wird unter FreeNAS konfiguriert. Hauptsache Dein BIOS erkennt alles

3. Könnte ich den RAID Verbund später erweitern, d.h. um weitere Festplatten? Oder muss ich ihn dafür auslösen d.h. alle Daten vorher irgendwo Zwischenspeichern und dann in den neuen Kopieren?

Wie erwähnt Vergrössern geht immer - Ist eine Preisfrage

4. Ich habe gelesen, dass ich für FreeNAS eine extra Festplatte brauche für das OS ansich, wie kann ich das mit dem RAID Verbund für die Datenspeicherung kombiernieren? Dafür bräuchte ich ja kein RAID, kann ich hier einfach RAID und eine normale Festplatte kombinieren? Ist es hier sinnvoll für das OS eine SSD zu benutzen?

FreeNAS einfach auf einen USB-Stick installieren. Das spart Dir auch einen Anschluss für die Festplaten.

Eine andere Frage betrifft die Hardware des NAS, insbesondere weil ich ja auch FullHD Filme speichern und über das Netzwerk spielen will, brauche ich dafür einen besonders Leistungsfähigen CPU? Oder Viel RAM?
5. Zu was für einem Prozessor würdet ihr mir raten?
6. Wieviel Arbeitsspeicher benötige ich?

zu 5. Kommt darauf an wie viele Rechner/TV etc.Du bedienen willst. Ich denke mit einem Core Ziel à 2-3Ghz solltest Du hinkommen.
zu 6. 1GB pro TB Festplatte + 2GB Luft == 12GB

7. Könnte ihr mir vielleicht auch eine ganz konkrete Empfelung für ein Motherboard geben? Ist es hier Ratsam eines mit integriertem Grafikchip, Netzwerkkarte und RAID-Controler zu verwenden?
8. Falls ich eines der oben genannten Geräte nicht als in das Motherboard integierte Varianten nutzen sollte, zu welchen konkreten Karten würdet ihr mir raten?

Da Du mittlerweile festgestellt haben solltest das wir hier über ein Setup von ein Paar Tausend Euronen reden wirst Du festgestellt haben das das kein Selbsbauprojekt werden sollte :)


-Christian

 

[senior_hombre]

vielen Dank erstmal für die Antworten, sie waren schonmal sehr hilfreich.
Du meinst also ich bekomme diese Konfiguration billiger wenn ich sie als Fertiglösung kaufe? Damit hätte ich nicht gerechnet. Insbesondere weil diese Fertiglösungen doch in der Regel schon über ein OS verfügen und FreeNAS damit doch überflüssig wäre, oder habe ich dich falsch verstanden.

Kannst du mir denn eine Fertiglösung empfehlen? Ich kann die Angebote nicht wirklich einschätzen und will hier nicht später auf Probleme stoßen die ich als erfahrener Nutzer (der vieleicht schon 2-3 Fertiglösungen gekauft und aus Fehlern gelernt hat) nicht hätte.

 

[bubulein]

Moin,

z.Z. she ich das grösste Problem beim Streamen. Vielleicht denkt Du mal über alternativen nach.
Ich z.B. würde lieber so etwas wie das WD Live nehmen und ganz einfach nur ein NAS als Datengrab. Damit sparst Du Dir einen fetten Processor, einen Haufen Stromkosten und viel viel Confickerrei.
Ich selber benutze einen HP Microserver den ich für 230€ incl. 250GB Platte (7400RPM) + 30€ für 8GB RAM abgeschossen habe.

http://h18004.www1.hp.com/products/quickspecs/13716_na/13716_na.html

Wenn Du nun 3TB Platten nimmst (hab ich nicht getestet) dann kommst Du mit den eingebauten Slots auf 9TB und kannst im RAIDz auch noch einen Festplatten Ausfall verkraften. Da wo eigentlich das DVD-Laufwerk hinsoll kann auch noch eine Platte rein. (BIOS upgrade um den Stata-Port für DVD aufzubohren).

Denk mal drüber nach.

-Christian

 

[senior_hombre]

Wo liegt denn das Problem beim Streamen? Geht es nur um dem Prozessor und das die Prozessoren in den Fertiglösungen nicht Leistungsfähig genug sind?
Ich möchte mir ungern zwei Geräte hinstellen und der Großteil meiner Datensammlung sind auch eben Multimediadaten. Wenn es nur am Prozessor liegt wäre dann nicht doch eine Selstbaulösung möglicherweise eine Möglichkeit das zu Regeln?
Ich schaue mir die Sachen aber mal an die du vorgeschlagen hast aber ein möglicher Aufwand würde mich jetzt nicht abschrecken, solange man Probleme lösen kann wäre das für mich ok, ich will nur nicht am Ende viel Geld ausgegeben habe und mit der Sache nicht zufrieden sein.

 

[bubulein]

Moin,
am besten ansehen. Also ich habe damit Tage zugebracht es gescheit zum laufen zu bekommen. Und ich habe einiges an Erfahrung sammeln können. Ich für meinen Teil differenziere NAS und Mediaserver.
Dafür ist mir der Strom zu teuer.
Aber wenn Du ein paar Tage investieren willst wieso nicht, vielleicht installierst du dazu FreeNAs erstmal auf deinem Desktop Rechner. Mal davon abgesehen das Mediastreaming noch nicht zur Verfügung steht und anfangs soviele Bugs da sein werden das es überall kriecht und krabbelt :)

-Christian

 

[senior_hombre]

Hmm ok, dann werde ich es einfach erstmal mit einem Selbstbau-NAS Versuchen.
Mir ist dabei aufgefallen, dass die RAID-Controller für SATA Platten dort nur bis zu 8 Anschlüsse haben, wie mache ich das wenn ich mehr Platten im Verbund haben möchte, brauche ich dann einen Controller mit mehr anschlüssen oder kann ich auch mehrere Controler kombinieren?

 

[bubulein]

Moin,
du kannst auch mehrere Controller einbauen, oder einfach via eSata einen Raid-Array anhängen. (HBA)
Sei dir halt im klaren das FreeNAS z.Z. kein Mediastreaming unterstützt.

-Christian

 

[senior_hombre]

Hmm dann habe ich vielleicht falsch verstanden was Mediastreaming ist. Was ist denn der Unterschied zwischen dem Abspielen einer Filmdatei auf einem PC die auf einem Netzlaufwerk (NAS) liegt und richtigem Mediastreaming?

 

[bubulein]

Moin,

http://de.wikipedia.org/wiki/Streaming_Media

http://de.wikipedia.org/wiki/Streaming-Server

http://de.wikipedia.org/wiki/Dlna

-Christian

 

[senior_hombre]

Ich werde aus diesen Seiten nicht so richtig schlau, dort habe ich häufig nur gelesen, dass Streaming das "Ausliefern" von Media-Daten bezeichnet. In gewisser Weise ist das zugreifen von Daten auf einem Netzlaufwerk ja auch ein Ausliefern. Auf der zweiten Seite steht etwas von speziellen Protokollen sollte das der eigentlich Unterschied sein? Als Laie kann ich vielleicht noch akzeptieren dass es sowas wie Passive und Aktive Übertragung von Daten gibt (wenn gleich damit technisch nichts anfangen kann), wie auch immer ich werde es Trotzdem mit einem Selbstbau-NAS Versuchen, denn um die Datenspeicherung komme ich nicht mehr herum.

Danke für deine Hilfe, ich werde mir erstmal die Hardware besorgen und melde mich dann bei Problemen hier im Forum :)

 

[xbmcg]

Mediastreamen ist relativ. Willst Du wirklich Media streamen (Transcodieren, Multicast etc?) oder willst Du einfach nur deine Videosammlung irgendwo ablegen und zum Beispiel mit einem Mediaplayer (XBMC oder Ähnlich) abspielen. Das ist ein großer Unterschied. Im ersten Fall brauchst Du viel CPU und Speicher weil die Daten erst in einen oder mehreren Datenströmen umgewandelt werden (Wie beim Fernsehen) und der Empfänger sie dann einfach ausgibt, im zweiten Fall reicht eine schnelle Ablage (reiner Fileserver), dort öffnet der Empfänger einfach die Datei und liest sie bei Bedarf, die Aufbereitung / Decodierung geschieht im Client in der Regel im GPU Chip der Grafikkarte und belastet nicht den Server.

Für meine xbmc Mediabibliothek habe ich eine alte Dualcore Pentium Kiste mit einem HightPoint RocketRaid Controller aufgebaut, er hat 16 SATAII Kanäle und hat um die 300 Euronen gekostet, die Platten sind im Hardware RAID1, immer paarweise, eine Hotspare Platte habe ich mit der größten Kapazität auch spendiert, die Im Fall der Fälle automatisch einspringt. Von RAID 5 rate ich ab, da man bei einem 2. Fehler Totalverlust hat, Auch rate ich von RAID10 oder Striping ab. Wie gesagt, Prozessor ist alter Intel, 2GB RAM, GBit Ethernet, Windows 7 Pro, das wars. "streamen" kann ich ohne Probleme auf 3 Mediacenter PC in HD, ohne dass die Kiste hustet.

Für die "normalen" Daten experimentiere ich mit der freeNAS, ist mir aber noch etwas zu heiß, um darauf alle Daten ungeschützt zu migrieren, insbesondere ist mir der Speicherhunger etwas suspekt (1GB / TB Daten). Das zfs ist ziemlich interessant, allerdings sind die Datenrettungstools im UI noch sehr durftig. Man muss an die Konsole, wenn man was zerschossen hat und dann hilft nur noch ein schnelles Backup. Für die persönlichen Daten ist das schnell erledigt, ein paar GB sind schnell gerettet und man hat auch irgendwo immer Platz um die kurz auszulagern. Sehr schön finde ich die snapshots, um auch mal an ältere Versionen wieder heranzukommen. Allerdings sind die ziemlich opfermäßig im UI implementiert, SAMBA ist fest auf 2 Wochen codiert, und im W7-Explorer funktioniert die shadow copy Sicht auch nicht. Ist halt noch eine große Baustelle.

Wie gesagt, Terrabytes an Daten würde ich noch nicht drauf packen, und RAIDZ (entspricht RAID5) wäre mir viel zu unsicher. Wenn überhaupt, dann nur mit RAIDZ2 (Doppelparität) und funktionierender Hot-Spare Unterstützung. Aber da ist man auch schon bei 3 Platten für die Redundanz pro Plattenset, so dass sich ein einfaches RAID1 eher lohnt. Da muss man die Daten im schlimmsten Fall nicht sektorweise zusammenkehren, sondern hat sie sortiert plattenweise.

Beispielrechnung:

7 Platten a 3 TB = 3x2 Platten RAID1 = 9TB Nutzdaten + 1 Hotspare
6 Platten a 3 TB: RAIDz2 mit 5 Platten = 9TB Nutzdaten + 1 Hotspare

Kompression macht bei Filmen keinen Sinn, die sind schon MP4 maximal zerquetscht, kostet nur Performance, deduplication ist auch Unsinn, man hat ja keine doppelt, Snapshots sind hier auch eher sinnfrei.
Ich denke, dass man mit ZFS im RAID1 dann auch mit wesentlich weniger Speicher auskommen sollte, da der Rechenaufwand sich dadurch stark reduziert (reiner Cache).

Meine freeNAS hat einen alten Celeron Core 2 Duo und 2 GB RAM, 2*320GB Notebook - HD mit 7200 Umdrehungen - RAID1 zfs. 500Mbps Transferrate auf dem 1Gbps Interface, das liegt aber sicher am langsamen Client, der die Daten wegschreiben muss (SATA2-Platte).

 

[senior_hombre]

Danke deine erste Konfiguration klingt für mich nach dem was ich suche, ich werde mich mal über xmbc informieren. Braucht man da noch andere Software?
Und wie richtet man da (also mit extra Controler) den RAID Verbund ein, vor oder während der Installation?
Und was mich brenned interessiert aber vielleicht nicht relevant für mein Problem ist, kann ich neben dem RAID Verbund auch noch eine normale AHCI Festplatte verwenden auf dem ich dann das OS installiere? Ich stelle mir vor, dass ich die AHCI Platte einfach an das Board anschliesse und den RAID Verbund an dne extra Controler und dann im BIOS alles regeln kann.

edit: mir ist gerade noch was eingefallen, kann ich auf die MediaDaten dann auch mit meinem PC zugreifen oder nur noch per TV?

 

[xbmcg]

Ich habe mein OS auf einer alten IDE Platte, weil mich die Bootzeit nicht interessiert, die RAID Gruppen kannst Du unter Windows im GUI verwalten /OnLine / Offline nehmen, Erweitern, RAID Migration machen, Platten Ersetzen, Rebuild veranlassen etc. Der Controller hat auch ein BIOS, mit dem man auch schon vor dem Booten alles konfigurieren kann, das veraltet aber schnell, die neuesten Treiber sind im OS, Er hat auch ein Web-Interface, so dass man den auch aus der Ferne warten kann (zusammen mit den vielen anderen Controllern, wenn man eine Farm hat....), ist aber für den Hausgebrauch nur dann nützlich, wenn man kein Monitor an der Kiste hat und mit dem Terminal Server Client nicht umzugehen weiss.

Du kannst natürlich auch alle anderen SATA Schnittstellen mit platten belegen. Ich habe meine Daten Platten alle am Controller dran, er hat einen eigenen Prozessor und cache und so schläft der Rechner beim herausschieben der Daten über die Netzwerkkarte. Ich hätte auch einen Atom Prozessor nehmen können, allerdings haben die in der Regel keinen PCIex8 oder PCiex16 Slot drauf, den braucht aber der Controller, um die Datenmassen loszuwerden. Der ist auch schon in die Jahre gekommen, hatte nur SATA2, aber es gibt Nachfolgemodelle mit SATA3 für ca gleiches Geld.

Das ist ein simpler Fileserver (entspricht CIFS/SAMBA). Du kannst ganz normal die Laufwerke verbinden oder über unc Namen zugreifen (\ \server\share). Kein UPnP, DLNA, TWonkyMedia oder sonstiger streaming Unfug. XBMC macht den Rest.

 

[senior_hombre]

Hast du eine extra Grafikkarte auf dem Board, einen Monitor ( oder eine Tastatur) will ich ja nicht anschliessen aber irgend eine Form von Grafikchip muss da sicher drauf oder?

 

[xbmcg]

Die Onboard VGA vom MoBo tut's doch auch, Du willst ja mit dem Server keine HD Videos gucken...
Neuere Bords haben aber sogar schon HD fähige Graphicchips drauf (nVidia, ATi), meist mit hdmi / dvi Anschluß, nicht dass man das brauchen würde, aber wenn es schon mal da ist... Dann kannst Du die Kiste auch noch zum Filme schneiden hernehmen (wenn Du Windows oder Linux drauf lädst, mit freenas hilft die Grafikbeschleunigung in der Regel nicht - ist ja nur eine Konsole, freenas sollte sogar ganz ohne auskommen, wenn man es vorher überredet allein die serielle schnittstelle als Konsole zu verwenden und dann mit einem Terminal auf einem anderen Rechner verbinden, kann man vielleicht noch 3-5 Watt sparen.)

 

[firestorm99]

und noch was:

Einfach mehr Platten reinhängen ist mit ZFS nicht. Dann musst du einen 2ten Pool anlegen. Oder langsam alle kleine Platten durch große ersetzen. Aber die Anzahl der Platten eines ZFS Pools wird beim Anlegen festgelegt.

 

[bubulein]

Moin,

und noch was:

Einfach mehr Platten reinhängen ist mit ZFS nicht. Dann musst du einen 2ten Pool anlegen. Oder langsam alle kleine Platten durch große ersetzen. Aber die Anzahl der Platten eines ZFS Pools wird beim Anlegen festgelegt.

Falsch, Du kannst einen pool vergrössern. Ich schleppe einen pool schon mit mir rum da hatte er noch zwei platten, und nun ist er bei 12. Der hat schon so ziemlich alles mitgemacht was ein pool so mitmachen kann- ausser verrecken :)

-Christian

 

[firestorm99]

Falsch, Du kannst einen pool vergrössern. Ich schleppe einen pool schon mit mir rum da hatte er noch zwei platten, und nun ist er bei 12. Der hat schon so ziemlich alles mitgemacht was ein pool so mitmachen kann- ausser verrecken

-Christian

Schon, aber was man da gern vergisst zu erwähnen, weils so einfach klingt (habs vorhin auch nicht sauber ausgedrückt bzw. das wort pool falsch verwendet):

Wenn du z.B. and deinen 4x 2TB RAIDZ1 pool ein zusätzliches vdev (eine einzelne hdd) hängst, verlierst du die Parität. Geht das hinzugefügte vdev putt, sind deine Daten futsch. --> Man sollte also nur vdevs adden die selbe oder eine bessere Parität (zwar nicht sinnvoll) als die Ursprungskonfiguration besitzen, um die Redundanz zu erhalten.

--> http://constantin.glez.de/blog/2010/06/closer-look-zfs-vdevs-and-performance

 

[xbmcg]

würde ich sowieso nicht machen. sonst sortiert man die daten später wieder... der alte pool wird irgendwann am ende sein und ausgetauscht werden müssen. Wenn man immer neue Platten dranhängt ist der Verhau irgendwann komplett... Es muss ja nicht jede Platte in ein und den selben Pool springen. Was spricht gegen mehrere shares? ist sowieso performanter, wenn nicht jeder Zugriff über alle Platten rödeln muss, besonders in Multi-User Umgebungen ist die Wahrscheinlichkeit hoch, dass Anfragen von unabhängigen Pools gleichzeitig bearbeitet werden können und so die Kopfpositionierungen schneller gehen. im Fall der Fälle ist der Schaden auch begrenzt auf weniger Daten, die anderen Pools bleiben ja unversehrt - sonst droht totalverlust.