10 Gbit (moeglichst) auslasten?

[Stupid01]

Hallo alle,

Der Titel von mir ist nicht unbedingt aussagekräftig, versuch mein Anliegen mal in einfachen Worten zu beschreiben:

Brauche eine BB (Backupbuechse) auf der sollen Daten von Rechnern gesichert werden.

Wuerde ich eine herkoemmliche Kiste zusammenstellen, bzw. ein fertiges Backup-Storage kaufen, wuesste ich was ich an Hardware benoetige (HDDs, HW-RAID etc.) um eine 10 Gbit Lan-Karte auszunutzen bzw. diese auszulasten, mit Ruecksichtnahme auf die jeweiligen groessen der Files.

Bei einer Truenas-Loesung, fehlt mir das Gefuehl fuer das Filesystem bzgl. ZFS.
Ich lese mich seit Tagen kreuz und quer durch Foren und Artikel, im Groben und Ganzen ist mir auch bewusst wie ZFS die Daten handhabt, aber es fehlt einfach die Praxis bzw. die Erfahrung.

Hier mal ein Beispiel-Projekt, fuer eine kleine BB (herkoemmliche herangehensweise):

6 x 10 TByte HDD, in 3 segmente jeweils 2 HDDs gespiegelt und einen Stripe ueber die 3 Mirrors per HW-Raid

Cache ueber extra RAM oder SSD

Kleine CPU plus ca. 8 GByte ECC RAM



Wenn man jetzt das ganze mit Truenas/ZFS aufbaut, was braucht es ungefaehr an CPU-Leistung

um genug Rechenkraft fuer ein 10 GBit Lan zu gewaehrleiten?

ZFS-Regel bzgl. RAM 1 GByte pro 1 TByte HDD, waeren bei dem Beispiel oben 6 x 10 TByte Hdds, also 64 GByte RAM


Ich hoffe ich habe mich verstaendlich genug ausgedrueckt, um meine unkenntnis bzw. kein Gefuehl fuer ZFS-Datendurchsatz in abhaengigkeit von der Hardware,
anschaulich zu vermitteln.


Danke vorab an alle fuer ihre evenetuelle Hilfestellungen, Aufklaerung und Tipps.

MFG

 

[emk2203]

Ich hab ein Backupsystem mit 10x10TB HDDs, RAIDZ2 und 32GB RAM. Das lastet eine 10GB Verbindung gut aus. Da können dann auch beliebige zwei Platten ausfallen ohne Datenverlust. Bei deinem Mirror-Stripe-HW Raid kuckst du schon in die Röhre, wenn die falschen zwei Platten ausfallen. Die 64 GB brauchst du nur im Datacenter bei entsprechendem Zugriffsprofil. Aber sie schaden natürlich nicht, wenn sie da sind.

 

[ChrisRJ]

Geht es denn primaer um die noetige CPU-Leistung oder auch um die anderen Komponenten?

Wie soll das Backup durchgefuehrt werden? Ein klassisches Backup, das differentiell passiert, hat potentiell voellig andere Anforderungen als ZFS Snapshot?

Wie gross sind die Dateien und wie viele (absolut und taegliches Delta)? Ich hatte Anfang der 2000er ein Projekt, da hat der Scan des Dateisystems auf Aenderungen ueber 24 Stunden gedauert (auf einem SAN fuer ueber 200k EUR).

Wie lange darf das Backup max. dauern und was waere wuenschenswert? Wie viel darf der nice-to-have Faktor kosten?

 

[Stupid01]

Sorry, meine Eingangsbeschreibung greift etwas zu kurz bzw. zu wenig Info.

Bei dem Backup handelt es sich ca. um 12 TByte gesamt Volumen, taeglicher bedarf ca. 5 - 7 TByte. Die Datengroesse ist gemischt, von 1 KByte grossen Files bis zu 100 GByte Files.

Primaer geht es mir um die Einschaetzung, was ZFS ueberhaupt an Hardware benoetigt um Datendurchsatz X (10 Gbit) zu ermoeglichen, i3, i5, i7, 10 SAS HDD aufwaerts etc. etc..

Bei dem von mir oben aufgefuehrten Beispiel (Loesung mit HW-Raid) wuerde ich z.B. eine i3 bzw. eine i5 nutzen oder von einem anderem Hersteller vergleichbares.

Das die max. moegliche Datenrate bei 10 Gbit nicht permanent zu 100% erreicht wird, ist mir bewusst (den Wasserkopf bzgl. Protokolle mal aussen vorgelassen).

Zeit? Gute, und berechtigte Frage. Wuenschenswert waeren 30 min., sorry fuer den Spruch.
Z.Z. laufen mehrere Backups Nachts parallel an den jeweiligen Rechnern, das aufwendigste davon rennt ca. 4,5 Std.. Alles HDD die extern angeschlossen sind und immer abgehaengt bzw. angeschlossen werden muessen.
Sprich es existieren pro Rechner 5 externe HDDs, eine fuer jeden Werktag, bei Wochenstart wird wieder HDD 1 angeschlossen.

Kosten, fuer eine Zentrale Loesung, geplant um die max. 2 K Euro ohne HDDs. Vorausgesetzt man benoetigt dann nicht einen Plattenstapel von 10+ HDD.

Hoffe es beantwortet die berechtigten Fragen zur genuege, ansonsten einfach "stupsen" wenn noch Info gewuenscht werden.

 

[emk2203]

Theoretische Kapazität der 10Gbit wären 800 s für 1 TB oder (mit Sicherheitsreserve) 8000 s (2 h 13 min 20 s) für 10 TB. Halbe Stunde ist da schon mal nicht möglich.

Mein i3 hat unter realen Bedingungen mit einem ähnlichen Sicherungsprofil (von 1 kB bis 40 GB alles dabei) so 400 MByte/s weggespeichert über den 10GBit-Link. Ist aus dem Kopf, kann sein, dass ich da etwas daneben liege. Viel länger war es aber nicht. CPU war nicht voll ausgelastet und hatte noch gut Reserven. Das ist ziemlich genau Faktor 3 zur theoretischen Kapazität. Das wären 6 h 40 min für den 10 TB-Job über Nacht. Sollte für deine Zwecke reichen. Musst du wirklich jeden Tag ein Vollbackup machen?

 

[Stupid01]

Bin etwas verwirrt, kann aber auch sein das ich versehentlich den falschen Thread angeklickt hatte heute unter Tags, dachte habe etwas bzgl. Switch Empfehlung gelesen, egal, mein Gehirn ist nicht mehr das beste.

Nein, es muss kein Voll-Backup erstellt werden, es gibt dazu keine Auflage.

Ein Inkrementelles- bzw. Differentielles-Backup haben klar Vorteile bzgl. Zeitfenster fuer die Dauer eines Backups, birgt aber auch einige Tuecken.
Wenn z.B. bei einem Projekt ein bestimmtes File nur einmal abgeaendert wird, wird es am Tag der Aenderung gesichert, d.h. es existiert nur ein einziges mal. Ist der Datentraeger auf dem dieses File gesichert wurde korrupt bzw. das File selbst, ist eine Wiederherstellung nicht mehr so ohne weiteres moeglich, da ja beide Varianten auf einen Intervall von Vollbackup und n-GeaenderteFiles-Backups, bis zum naechsten Vollbackup basieren.

Das ganze ist natuerlich auch eine persoenliche Ermessensfrage und selbstverstaendlich auch eine Frage des Backupvolumens in Abhaengigkeit zum Faktor Zeit.

Persoenlich ziehe ich die Variante Vollbackup jeder anderen vor, solange dies machbar ist, da diese Art von Backup die schnellste Wiederherstellung garantiert.

Danke fuer all die Informationen und gedanklichen Anregungen.

 

[ChrisRJ]

Du hast noch nicht verraten, wie das Backup gemacht werden soll. Das hat schon Auswirkungen auf die Empfehlungen. Reden wir stuendliche Snapshot? Oder rsync? Oder ... ?

 

[Stupid01]

1 x taeglich, 5 Tage Historie.

 

[emk2203]

1 x taeglich, 5 Tage Historie.

Das beschreibt das "wann", aber nicht das "wie".

 

[Stupid01]

Backupsoftware und teilweise Scripts zum kopieren von Verzeichnissen und deren zugeordneten Files.

 

[bic]

Bin etwas verwirrt .....

Ich -und sicher nicht nur ich- jetzt auch. Du schreibst "Brauche eine BB (Backupbuechse) auf der sollen Daten von Rechnern gesichert werden.". Wie soll man sich das vorstellen?

Gibt es einen (zentralen) Backupserver, welcher die Daten von den Clients einsammelt oder schieben diese ihre Daten selbst - ja wohin eigentlich, auf das spätere Truenas? Halten die Clients die Daten selbst vor oder gibt es bereits ein Datengrab (NAS oder SAN oder was auch immer)? Sind die zu sichernden Daten reine Nutzdaten oder handelte es sich um kpl. VMs? Und wie sieht es mit Datenbanken und anderen Anwendungen aus, welche ihre Daten offen halten, sind da auch welche zu sichern?

Ohne dass Du einmal die Struktur Deines Vorhaben näher beschreibts, wird Dir kaum jemand vernünftige Ratschläge erteilen können und so, wie ich dies im Moment sehe, wird die Leistungsfähigkeit Deines etwaigen Truenas das geringste Problem sein

Ach so, noch eine Frage, Du schreibst ja außerdem "Bei dem Backup handelt es sich ca. um 12 TByte gesamt Volumen, taeglicher bedarf ca. 5 - 7 TByte". Was machst Du (Ihr) da? Cloudprovider, Videoproduktion oder doch Großkonzern?

Nein, es muss kein Voll-Backup erstellt werden, es gibt dazu keine Auflage.

Ein Inkrementelles- bzw. Differentielles-Backup haben klar Vorteile bzgl. Zeitfenster fuer die Dauer eines Backups, birgt aber auch einige Tuecken.
Wenn z.B. bei einem Projekt ein bestimmtes File nur einmal abgeaendert wird, wird es am Tag der Aenderung gesichert, d.h. es existiert nur ein einziges mal. Ist der Datentraeger auf dem dieses File gesichert wurde korrupt bzw. das File selbst, ist eine Wiederherstellung nicht mehr so ohne weiteres moeglich, da ja beide Varianten auf einen Intervall von Vollbackup und n-GeaenderteFiles-Backups, bis zum naechsten Vollbackup basieren.

Nein, Du irrst. Ein File existiert immer 1+n mal, wobei 1 das Vollbackup iund n die Anzahl der auf dem Vollbackup aufbauenden inkrementiellen, bzw. differentiellen Sicherung ist.

Der Unterschied der beiden Sicherungsarten besteht darin, dass bei der differentiellen Sicherung immer mit dem Vollbackup verglichen und die entsprechenden Änderungen gespeichert werden und bei der inkrementiellen Sicherung immer mit der vorhergehenden, ab der zweiten Mal eben auch einer inkrementiellen Sicherung verglichen wird.

Der Vorteil einer differentiellen Sicherung besteht dann darin, dass nach jeder Sicherung immer quasi ein geändertes Vollbackup vorliegt und daher die Wiederherstellung schnell und einfach geht. Bei der inkrementiellen Sicherung muss jedoch der "Endzustand" erst aus allen einzelnen Sicherungen "zusammengestellt" werden - dies kann dann ziemlich zeitraubend sein.

Den Wiederherstllungs-Vorteil der differentiellen Sicherung erkauft man sich jedoch durch eine, gegenüber der inkrementiellen Sicherung erheblich größeren, zu sichernde Datenmenge. Wohin dass dann bei Deiner täglich zu sichernden Datenmenge von ca. 5 - 7 TB nach einer Woche bei täglicher Sicherung führt, kannst Du Dir ja selbst ausrechnen.

Man sollte sich daher schon überlegen, was man da eigentlich will und was man kann - der Gedanke an ein 10 GBit Lan stellt sich da eher zuletzt

 

[Stupid01]

Zitat bic:

Gibt es einen (zentralen) Backupserver, welcher die Daten von den Clients einsammelt oder schieben diese ihre Daten selbst - ja wohin eigentlich, auf das spätere Truenas? Halten die Clients die Daten selbst vor oder gibt es bereits ein Datengrab (NAS oder SAN oder was auch immer)? Sind die zu sichernden Daten reine Nutzdaten oder handelte es sich um kpl. VMs? Und wie sieht es mit Datenbanken und anderen Anwendungen aus, welche ihre Daten offen halten, sind da auch welche zu sichern?

Von mir erstellter Post Nr.: 2 vom 23.Feb, Absatz 6

Es wurden weder Datenbanken noch VMs meinerseits angesprochen, Begruendung: Sich auf das noetigste und relevante Beschraenken um falsch Interpretationen zu vermeiden. Anscheinend nicht erfolgreich.

Zitat bic:

Ohne dass Du einmal die Struktur Deines Vorhaben näher beschreibts, wird Dir kaum jemand vernünftige Ratschläge erteilen können und so, wie ich dies im Moment sehe, wird die Leistungsfähigkeit Deines etwaigen Truenas das geringste Problem sein

Der IST und SOLL Zustand wurde auf einfache Art dargelegt, dazu ist es aber noetig die Texte des Verfassers zu lesen.

Nochmal in einfachen Worten:
IST-Zustand: Dezentralisiertes Backup -> SOLL-Zustand: Zentralisiertes Backup
Art: Vollbackup, das mit Hilfe einer Backupsoftware und Scripts ausgefuehrt wird.

Das die Leistungsfaehigkeit von Truenas das geringste Problem ist, sorry, ist gelinde gesagt ein dummer Spruch. Es ist ein unterschied ob ich z.B. eine Single-CPU-Kiste oder eine Multi-CPU-Kiste benoetige um Bandbreiten > 1 Gbit zu erreichen, da es auch von der Rechenintensivitaet des Filesystem abhaengt, da es bei ZFS z.B. keine zusaetzlich Unterstuetzung durch eine XOR Einheit gibt.
Diese Wissen kann man aber nur in Erfahrung bringen wenn man glaubwuerdige IO Auswertungen vorliegen hat, die man sich entweder selbst erarbeitet hat oder von dritten wie z.B. von Nutzer emk2203 Post Nr.: 5 erhaelt.
Es gibt genuegend Angebote auf dem Markt die viel versprechen, deren Hardware so unterdimensioniert ist, dass sie nicht einmal dazu in der Lage sind 1 Gbit auszulasten, wie z.B. viele der fertigen NAS-Buechsen und das betrifft nicht nur die billig SOHO-Kisten
Da mir persoenlich dafuer die Erfahrung bzgl. ZFS fehlt, habe ich mir erlaubt hier nachzufragen.

Zitat bic:

Ach so, noch eine Frage, Du schreibst ja außerdem "Bei dem Backup handelt es sich ca. um 12 TByte gesamt Volumen, taeglicher bedarf ca. 5 - 7 TByte". Was machst Du (Ihr) da? Cloudprovider, Videoproduktion oder doch Großkonzern?

Fragen nach privaten und beruflichen Umstaenden tragen in keinster Weise etwas zu diesem Thema bei und nutzen nur der persoenlichen Neugier des Fragestellers.
Die Menge der Daten und der daraus resultierenden Groesse ist gegeben.

Zitat bic:

Man sollte sich daher schon überlegen, was man da eigentlich will und was man kann - der Gedanke an ein 10 GBit Lan stellt sich da eher zuletzt

Bevor man anderen Unterstellt, sie haetten keine Ahnung bzw. sie wuessten nicht was sie wollen, sollte man vielleicht zuerst einmal am eigenen Textverstaendnis arbeiten. Eine herkoemmliche Seite Papier kann dazu sehr hilfreich sein um sich Notizen zu machen welche Angaben der Verfasser gemacht hat um dann daraus sinnvolle Fragen zu generieren.

Zur inkrementiellen Sicherung sei noch gesagt, dass Files nur gesichert werden wenn diese auch einer Aenderung unterliegen, sprich sie werden mit dem darauffolgenden Backup gesichert. Folgt keine weitere Aenderung bei den jeweiligen Files, werden diese auch nicht mehr bei nachfolgenden Backups gesichert. Dies ist auch der Grund weshalb man bei dieser Art von Backup, beim kompletten wiederherstellen der Daten einen groesseren Aufwand betreiben muss.
Was zeigt das 1 + n (Anzahl von Kopien der geanderten Files) nicht zutrifft, da dies immer in Abhaengigkeit zu der Anzahl der Aenderungen steht.

Wie wird Backup definiert:
Erstellung einer Kopie von Daten von A nach B.

In Abhaenigigkeit von einer 10 Gbit Anbindung und Nutzung von Hardware mit ZFS als Filesystem (als Backupempfaenger) in diesem expliziten Fall.

Snapshot, rsync, Back-Verfahren, Datenbanken, VMs etc etc ist erst einmal aussen vor.

 

[ChrisRJ]

Es ist immer wieder interessant mit welcher Anspruchshaltung hier Fragen gestellt werden. Wenn ich kostenlose Hilfe in Anspruch nehme, die mich sonst ein paar hundert Euro kosten wuerde, sollte sich das im Tonfall widerspiegeln.

 

[bic]

Nochmal in einfachen Worten:

Oha - ein Choleriker!

Aber wenn schon, dann bitte schön nicht in einfachen Worten, sondern in einfacher Sprache - ich verstehe sonst nichts.

An sonst - ich finde es hochgradig erstaunlich, wie jemand wie Du, welcher behaupteter Weise für ein tägliches Datenaufkommen von "ca. 5 - 7 TByt" verantwortlich zeichnet, hier überhaupt Fragen stellen muss. Das lässt mich vermuten, dass da jemand durch das Peter-Prinzip auf seine Position gelangt ist.

PS.
Die Strategie, Backups clientweise mittels jeweils 5 externer HDDs zu realisieren, halte ich übrigens für genial! Warum daran etwas ändern, das ist doch so schön irre!

 

[awasb]

Ach, was waren das noch für Zeiten, als nach Ausstellung einer Merkbefreiung mit deutlich hörbarem *plonk* der f'up nach de.alt.gruppenkasper gesetzt wurde.

 

[jgreco]

Grüße vom TrueNAS Community Moderation Team, via Google Translate, leider tut uns das leid.

Bitte beachten Sie, dass die Forenregeln, die bequem oben auf jeder Seite in Rot verlinkt sind, dazu dienen, eine freundliche Umgebung zu fördern, die auf die gemeinsame Lösung von Problemen abzielt.

Die Benutzer werden gebeten, respektvoll miteinander umzugehen. Missachtung ist unproduktiv und kann zu Korrekturmaßnahmen führen. Bitte stellen Sie sicher, dass ich nicht versuchen muss, den Tonfall, den Spott, die Beleidigungen usw. durch die Linse von Google Translate zu beurteilen. Das wird wahrscheinlich nicht gut gehen.

Poster, versuchen Sie bitte, vollständige und vollständige Antworten auf die gestellten Fragen zu geben. Community-Mitglieder stellen Fragen, um Ihre Anfrage zu beantworten. Die Befragten nehmen sich täglich Zeit, um sich mit Ihrer Frage zu befassen. Bitte gehen Sie davon aus, dass die gestellten Fragen im Sinne der Lösung Ihres Problems gestellt werden, und geben Sie ausreichend Details an, auch wenn Sie dies für unnötig halten. Ihr Problem scheint sehr offensichtlich zu sein, aber die Befragten haben möglicherweise einen völlig anderen Hintergrund. Sie müssen sicherstellen, dass Ihr Problem vollständig verstanden wird. Seien Sie außerdem freundlich und versuchen Sie zu verstehen, dass die Befragten beim Verfassen einer Antwort nicht immer jeden Thread vollständig lesen. Ich persönlich lese viele Dutzend Threads pro Tag und erinnere mich nicht immer an Details, die "oben gepostet" wurden. Bitte wiederholen Sie sich freundlicherweise, falls jemand etwas Wichtiges vergessen haben sollte. Es sollte nicht nötig sein, sich Notizen auf einem Blatt Papier zu machen. Das Beantworten von Fragen in einem Forum ist kein gut bezahlter Job.

Befragte, versuchen Sie bitte, relevante Fragen zu stellen. Es kann durchaus wichtig sein, die Branche zu verstehen, auf die eine Speicherlösung abzielt, aber es ist wahrscheinlich schlecht, Unternehmen, die in einem Freeware-Forum um Hilfe bitten, zu beurteilen. Entscheidet sich ein Unternehmen für den Einsatz von Open-Source-Freeware als Teil seiner I.T. Lösung ist dies ein Gewinn gegenüber Closed-Source-NAS-Optionen und möglicherweise ein Upselling für iXsystems TrueNAS Enterprise, das die Entwickler bezahlt. Wenn Sie sich von einem Unternehmen beleidigt fühlen, das Open-Source-Freeware einsetzt, haben Sie die Freiheit, sich von der Beantwortung ihrer Anfragen im Forum abzumelden. Bitte diskutieren Sie nicht mit ihrer Entscheidung, Open Source einzusetzen.

Wenn wir das alle freundlich und hilfsbereit halten können, klappt es für alle gut.

Danke!

J Greco – s/k/a The Grinch – im Namen des Moderationsteams der TrueNAS Community-Foren

------- original English pre-translation follows -------

Greetings from the TrueNAS Community Moderation Team, via Google Translate, unfortunately, sorry about that.

Please note that the Forum Rules, conveniently linked at the top of every page in red, are designed to encourage a friendly environment aimed at collaborative resolution of issues.

Users are asked to be respectful of each other. Disrespect is unproductive and may lead to corrective actions. Please ensure I do not need to try to judge tone, snark, insults, etc., through the lens of Google Translate. This is not likely to go well.

Posters, please try to provide full and complete answers to questions that are asked. Community members asking questions are doing so in order to help answer your inquiry. Respondents are taking time out of their day to pay attention to your question. Please assume that questions asked are asked in the spirit of solving your problem, and provide sufficient detail, even if you think it unnecessary. Your problem may seem like it is super-obvious, but respondents may be coming from entirely different backgrounds. You need to make sure that your problem is fully understood. Additionally, please be kind and try to understand that respondents do not always re-read each thread in its entirety when composing a response. I personally read many dozens of threads per day, and do not always recall details "posted above". Please repeat yourself, kindly, if someone may have missed an important bit. There should be no need for people to take notes on a sheet of paper. Answering questions on a forum is not a well-paid job.

Respondents, please try to ask relevant questions. It may well be relevant to understand the industry a storage solution is aimed at, but it is probably bad to be judgmental about companies asking for help in a freeware forum. If a company decides to employ open source freeware as part of their I.T. solution, this is a win over closed-source NAS options, and may eventually be an upsell to iXsystems TrueNAS Enterprise, which pays the developers. If you are offended by a company employing open source freeware, you have the freedom to opt out of responding to their requests on the forum. Please do not get into debate with their decision to employ open source.

If we can all keep this friendly and helpful, it works out well for everyone.

Thank you!

J Greco - s/k/a The Grinch - on behalf of the TrueNAS Community Forums Moderation Team