Warum "klaut" rsync mir 1 TB????

[Thomas_s-h]

Hallo,

ich habe rsync nun mal laufen lassen. Dabei ist der freie Plattenplatz geschrumpft ohne das neue Daten dazukamen. Außerdem sind nach einer Woche "syncen" immer noch nicht alle Daten überetragen, ca. 200 Gigabyte fehlen noch. Bitte mal das Bild ansehen: Warum sinkt die obere Grenze der grünen Linie? Das kann doch irgendwie nicht sein...

Thomas

 

[Ericloewe]

Snapshots?

 

[Thomas_s-h]

Sind auf dem Server (noch) nicht eingerichtet.

Thomas

 

[xaibex]

Vielleicht wegen der Log Dateien (rsync.log) die FreeNAS in das System Dataset schreibt?

 

[Thomas_s-h]

Ein TERABYTE in wenigen Tagen???

Wo genau soll diese logdatei denn liegen? Außerdem ist "System Dataset" - gerade nachgesehen - auf dem 3 . Laufwerk.

Thomas

 

[xaibex]

Wie sieht denn überhaupt dein zpool aus? Welche Datasets sind angelegt? was sagt df-h ?

 

[Thomas_s-h]

df -h ist die leichteste Antwort:

[root@Gen8] /# df -h

Filesystem Size Used Avail Capacity Mounted on
freenas-boot/ROOT/FreeNAS-9.3-STABLE-201506042008 57G 508M 56G 1% /
devfs 1.0k 1.0k 0B 100% /dev
tmpfs 32M 5.3M 26M 16% /etc
tmpfs 4.0M 8.0k 4M 0% /mnt
tmpfs 3.3G 18M 3.3G 1% /var
freenas-boot/grub 56G 6.8M 56G 0% /boot/grub
ada4_303 2T 1.7T 308G 85% /mnt/ada4_303
G8-eigeneada0 6.1T 6T 100G 98% /mnt/G8-eigeneada0
Fernsehen8TB 7.0T 6.7T 313G 96% /mnt/Fernsehen8TB
ada4_303/.system 308G 32M 308G 0% /var/db/system
ada4_303/.system/cores 308G 952k 308G 0% /var/db/system/cores
ada4_303/.system/samba4 308G 196k 308G 0% /var/db/system/samba4
ada4_303/.system/syslog-cd1fc29ce94d4a81a24df77359252261 308G 1.4M 308G 0% /var/db/system/syslog-cd1fc29ce94d4a81a24df77359252261
ada4_303/.system/rrd-cd1fc29ce94d4a81a24df77359252261 308G 3.6M 308G 0% /var/db/system/rrd-cd1fc29ce94d4a81a24df77359252261
ada4_303/.system/configs-cd1fc29ce94d4a81a24df77359252261 308G 144k 308G 0% /var/db/system/configs-cd1fc29ce94d4a81a24df77359252261

[root@Gen8] /#

Wie bekomme ich zpool raus? Mit List?

[root@Gen8] /# zpool list

NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
Fernsehen8TB 7.25T 6.72T 545G - 32% 92% 1.00x ONLINE /mnt
G8-eigeneada0 7.25T 6.93T 332G - 26% 95% 1.00x ONLINE /mnt
ada4_303 2.72T 2.33T 395G - 10% 85% 1.00x ONLINE /mnt
freenas-boot 59.5G 1.01G 58.5G - - 1% 1.00x ONLINE -

[root@Gen8] /#

Hilft das? Weil mir sagt das alles nicht viel.

Thomas

 

[xaibex]

Wie bekomme ich zpool raus? Mit List?

zpool status

 

[xaibex]

Also zunächst einmal sind deine zpools viel zu zu voll. Da brauchst du dich nicht über schlechte Performance wundern!

was sagt der befehl mount?

 

[xaibex]

welchen befehl genau führst du aus (rsync) ?

 

[Thomas_s-h]

[root@Gen8] /# zpool status
pool: Fernsehen8TB
state: ONLINE
scan: none requested
config:


NAME STATE READ WRITE CKSUM
Fernsehen8TB ONLINE 0 0 0
gptid/adf62874-137d-11e5-b6ac-a01d48c7ce10 ONLINE 0 0 0


errors: No known data errors


pool: G8-eigeneada0
state: ONLINE
scan: scrub repaired 0 in 109h48m with 0 errors on Wed Jun 17 08:27:03 2015
config:


NAME STATE READ WRITE CKSUM
G8-eigeneada0 ONLINE 0 0 0
gptid/d1ddcdb3-0c13-11e5-8935-a01d48c7ce10 ONLINE 0 0 0


errors: No known data errors



pool: ada4_303
state: ONLINE
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://illumos.org/msg/ZFS-8000-8A
scan: scrub repaired 1.63M in 9h38m with 8009 errors on Sun Jun 7 09:38:39 2015
config:


NAME STATE READ WRITE CKSUM
ada4_303 ONLINE 0 0 0
gptid/57f8a30c-0bb6-11e5-a1e5-a01d48c7ce10 ONLINE 0 0 0



errors: 8011 data errors, use '-v' for a list


pool: freenas-boot
state: ONLINE
scan: none requested
config:


NAME STATE READ WRITE CKSUM
freenas-boot ONLINE 0 0 0
gptid/fa79f46b-0bb9-11e5-a05f-a01d48c7ce10 ONLINE 0 0 0


errors: No known data errors

[root@Gen8] /#


das ada4_303 eine Macke hat ist bekannt und hier/im Moment uninteressant.

Thomas

 

[Thomas_s-h]

[root@Gen8] /# mount

freenas-boot/ROOT/FreeNAS-9.3-STABLE-201506042008 on / (zfs, local, noatime, nfsv4acls)

devfs on /dev (devfs, local, multilabel)

tmpfs on /etc (tmpfs, local)

tmpfs on /mnt (tmpfs, local)

tmpfs on /var (tmpfs, local)

freenas-boot/grub on /boot/grub (zfs, local, noatime, nfsv4acls)

ada4_303 on /mnt/ada4_303 (zfs, local, nfsv4acls)

G8-eigeneada0 on /mnt/G8-eigeneada0 (zfs, local, nfsv4acls)

Fernsehen8TB on /mnt/Fernsehen8TB (zfs, local, nfsv4acls)

ada4_303/.system on /var/db/system (zfs, local, nfsv4acls)

ada4_303/.system/cores on /var/db/system/cores (zfs, local, nfsv4acls)

ada4_303/.system/samba4 on /var/db/system/samba4 (zfs, local, nfsv4acls)

ada4_303/.system/syslog-cd1fc29ce94d4a81a24df77359252261 on /var/db/system/syslog-cd1fc29ce94d4a81a24df77359252261 (zfs, local, nfsv4acls)

ada4_303/.system/rrd-cd1fc29ce94d4a81a24df77359252261 on /var/db/system/rrd-cd1fc29ce94d4a81a24df77359252261 (zfs, local, nfsv4acls)

ada4_303/.system/configs-cd1fc29ce94d4a81a24df77359252261 on /var/db/system/configs-cd1fc29ce94d4a81a24df77359252261 (zfs, local, nfsv4acls)

[root@Gen8] /#

 

[Thomas_s-h]

welchen befehl genau führst du aus (rsync) ?

Das habe ich schon mal gezeigt (Bild weiter oben), ich klicke im Webinterface was zusammen und ca. 1/2 Stunde später läuft da was im Hintergrund.

Thomas

 

[Thomas_s-h]

Also zunächst einmal sind deine zpools viel zu zu voll. Da brauchst du dich nicht über schlechte Performance wundern!

Nein - ich verschenke doch nicht 1 TB weil irgendein Programmiere meint, 80% wäre voll genug. Das sind Datenplatten, da wird i.d.R. jede Datei einmal geschrieben und dann jahrelang nur sporadisch gelesen. Außerdem sind 6,3 TB auf einer 8TB HDD ja auch nur 78%, 7,5TB von 8 TB auch nur 93%. Das FreeNAS oder rsync auf einmal Terabyteweise Speicher klaut oder unterschlägt war ja der Ausgang meiner Frage.

Thomas

 

[xaibex]

ich klicke im Webinterface was zusammen

Was genau hast du denn da "zusammengeklickt"?

weil irgendein Programmiere meint, 80% wäre voll genug

Das ist nicht die "Meinung irgendeines Programmierers" sondern beruht auf tatsächliche Erfahrungswerte. Eine Festplatte sollte man prinzipiell niemals voller als 90% machen. Egal wie Groß.

Auf dem Bild sieht es für mich so aus als ob du einen bidirektionalen Sync zwischen dem zpool G8-eigeneada0 und eines im zpool enthaltenem Dataset machst. (erst werden Daten auf das Dataset kopiert wobei die Kapazität abnimmt, dann werden Daten aus einem Dataset direkt in den Pool geschrieben was ihn füllt.)

Achtung: Ein Dataset verhält sich beim kopieren/verschieben von Daten wie eine separate Festplatte

 

[Ericloewe]

"8TB" Platten haben keine 8TB, sondern 8*10^12 Byte (statt 2^43). Da sind schon 9% weg. Mit Metadata usw fehlt also schon ein TB. Davon sollten 20% frei sein (90% könnte auch funktionieren, bei 95% fängt ZFS damit an aggressiv freie Sektoren zu füllen, ansttat zu versuchen, die Fragmentierung zu vermeiden).

 

[Thomas_s-h]

Was genau hast du denn da "zusammengeklickt"?

Hier noch mal das Bild (jetzt vom 2. Pool, der Auftrag vom 1. Pool ist gelöscht weil da auf einmal 200GB zu viel Daten rüberkopiert wurden).

Das ist nicht die "Meinung irgendeines Programmierers" sondern beruht auf tatsächliche Erfahrungswerte. Eine Festplatte sollte man prinzipiell niemals voller als 90% machen. Egal wie Groß.

Die erste Meckermeldung kommt bei 80%.

Auf dem Bild sieht es für mich so aus als ob du einen bidirektionalen Sync zwischen dem zpool G8-eigeneada0 und eines im zpool enthaltenem Dataset machst. (erst werden Daten auf das Dataset kopiert wobei die Kapazität abnimmt, dann werden Daten aus einem Dataset direkt in den Pool geschrieben was ihn füllt.)

Achtung: Ein Dataset verhält sich beim kopieren/verschieben von Daten wie eine separate Festplatte

Das Dataset habe ich inzwischen wieder gelöscht. Das war nur ein Test, weil die Anleitung von Duplizierung zwingend von einen Dataset ausgeht.

Thomas

 

[Thomas_s-h]

"8TB" Platten haben keine 8TB, sondern 8*10^12 Byte (statt 2^43). Da sind schon 9% weg. Mit Metadata usw fehlt also schon ein TB. Davon sollten 20% frei sein (90% könnte auch funktionieren, bei 95% fängt ZFS damit an aggressiv freie Sektoren zu füllen, ansttat zu versuchen, die Fragmentierung zu vermeiden).

Es geht nicht um 8TB oder 8mal 10 hoch irgendwas (die Diskussion ist schon 1992 erfolgreich im Sand verlaufen), sonder das FreeNAS oder rsync mir (extra für dich umgerechnet) 1/8 der Plattenkapazität = 12,5% "klaut".

Thomas

 

[xaibex]

Die Option Delay Updates könnte dein Verhalten erklären.

when checked, the temporary file from each updated file is saved to a holding directory until the end of the transfer, when all transferred files are renamed into place

Das heist die Daten die schon vorhanden sind und nochmal kopiert werden, werden erstmal unter temporärem namen kopiert und erst nach dem transfer umbennant (so sind deine daten zeitweise doppelt)

Das funktioniert natürlich nicht wenn die Platte Randvoll ist ;-)

schau mal mit ls-la ob es ein .rsync verzeichnis o.ä. gibt in dem die temp daten noch rumliegen.

 

[Thomas_s-h]

Die Option Delay Updates könnte dein Verhalten erklären.

Das heist die Daten die schon vorhanden sind und nochmal kopiert werden, werden erstmal unter temporärem namen kopiert und erst nach dem transfer umbennant (so sind deine daten zeitweise doppelt)

Das funktioniert natürlich nicht wenn die Platte Randvoll ist ;-)

schau mal mit ls-la ob es ein .rsync verzeichnis o.ä. gibt in dem die temp daten noch rumliegen.

Scheinbar nicht - falls ich nicht gerade im falschem Verzeichnis bin:

[root@Gen8] /mnt# ls -al

total 99
drwxr-xr-x 5 root wheel 160 Jun 18 22:23 ./
drwxr-xr-x 19 root wheel 27 Jun 18 22:18 ../
drwxrwxrwx 11 root wheel 16 Jun 15 18:39 Fernsehen8TB/
drwxrwxrwx 19 th wheel 27 Jun 18 22:29 G8-eigeneada0/
drwxrwxrwx 17 webdav webdav 43 Jun 18 22:26 ada4_303/
-rw-r--r-- 1 root wheel 5 Jun 6 08:06 md_size

Thomas