Rsync, mais pas au complet

[Christian_128]

Bonjour



J’utilise freenas depuis un bon bout de temps, les disques sont en raid, et comme sauvegarde extra, j’ai monté un 2e serveur.



Pour m’assurer que les données soient transférer, j’utilise rsync, les clés pour le transfert en ssh sont parfaite, aucun problème de transfert entre les 2 serveurs.



Dernièrement j’ai eu un problème lors du transfert avec rsync, qui est directe entre les 2 serveurs en utilisant putty. L’erreur est que la connexion s’arrête, détectant du « garbadge ». (je travaille a temps perdu sur ce problème)



En attendant de trouver la solution définitive pour synchroniser les 2 serveurs avec Rsync, j’ai trouvé un utilitaire sous windows, qui est RichCopy. Je sélectionne la source et indique la destination et bingo le tout se synchronise. Je m’attendais à ne pas avoir un gros transfert, mais je découvre que des répertoires et sous répertoires qui n’ont pas été modifiés depuis 1 ans et synchronisé plusieurs fois par le passé entre les 2 serveurs avec rsync n’avaient pas été copiés complètements !



Ma question est comment ca se peut que rsync ne copie pas tout dans un répertoire (ou sous répertoire) donné?

est-ce qu'il existe une méthode pour valider si tout le dossier à été synchroniser avec Rsync

A+
Christian

 

[durdur]

Salut,

Étrange, c'est quoi ce problème de garbage précisément ? C'est rsync ou ssh qui génère l'erreur ??

Le problème est peut être de ce côté là, après l'erreur la sauvegarde s'arrête et les fichiers suivants sont manquant mais clairement ce sera mentionné.

Tu utilises rsync directement via la ligne de commande ou un outil tiers ? Peut être est ce aussi un souci d'include/exclude si tu utilises ces options parfois piègeuses ? Ou de droits d'accès selon l'utilisateur qui utilise rsync ?

Perso j'ai jamais eu de soucis de cette ampleur, c'est quand même extrêmement surprenant, il doit y avoir un souci ailleurs que dans rsync

 

[Christian_128]

Bonjour

le probleme récent avec Rsync pour le garbadge est récent (fin décembre 2014). Le but de mon "thread" dans le forum n'est pas pour réglé ce problème qui est survenue avec la nouvelle version 9.3 stable. le titre du post est :
Corrupted MAC on input / Disconnecting : Packet corrupt Lien

Mon questionnement est que Rsync n'a pas tout synchroniser certains répertoires qui existes depuis 2 ans sur le serveur principal et je veux savoir si certaines personnes ont rencontré ce problème de synchronisation partiel de certains dossier.
exemple : \montage\photos dans le dossier photos, il existe 2008, 2009, 2010, 2011, 2012, 2013, 2014 . Le dossier 2009 était synchroniser que partiellement.

Pour répondre a ta questions durdur, j'utilise rsync par une ligne de commande, via un interface putty, directement connecté sur le serveur principal. Le compte utilisé fait partie des groupes que je copie et à des droits de shell élevé. il a acces a tout.

 

[Bidule0hm]

Il me semble que rsync est interrompu si jamais le terminal l'ayant lancé est interrompu. Le problème est peut-être que tu as fermé la fenêtre Putty avant que rsync ait fini ou alors qu'il y a eu une déconnexion serveur/Putty ce qui a aussi interrompu rsync.

 

[Apollo]

J'ai tente d'expliquer le probleme lie a l'utilisation de RSYNC dans le forum:

https://forums.freenas.org/index.php?threads/message-erreur-cam-status-ata-status-error.27652/

Si tu veux simplement synchronizer un serveur Freenas vers un autre serveur Freenas, alors replication est la voie a suivre et laisser tomber RSYNC et Robocopy.

 

[durdur]

Alors non, je n'ai jamais vu de problème de synchronisation partielle avec rsync, en tout cas pas demandé. J'ai toujours vu rsync faire exactement ce que je lui demandais, donc parfois c'est là le problème :)

BiduleOhm a raison, si la commande est lancée du terminal sans précaution particulières et que celui ci est fermé, les processus lancées s'arrêtent.
Peut être un problème de nom de fichier avec des espaces ou des accents ? l'option -s permet de les protéger

La solution d'Apollo est très bonne également si les deux NAS sont sur le même réseau, la réplication est une fonctionnalité de ZFS très puissante. Mais attention de bien se docurmenter, comprendre et tester avant. Pas vraiment utilisable si le réseau entre les NAS est lent et potentiellement instable (Internet)

Pour valider une synchronisation tu peux faire un script qui liste su chaque machine les fichiers et dossiers et compare les deux, tout simplement. Un truc à base de "du" et de "diff" par exemple

 

[Christian_128]

J'avais peut-etre un probleme de droit d'acces, car ca fait un bout que j'ai monté les NAS. depuis il y a eu des mises a jour que j'ai fais et j'avais peut-etre mal configuré les droits d'acces des dossiers. Malheureusement les utilisateurs, ont ajouter des accents sur les mots des dossiers (malheur) donc on corrige le tout et on va suivre ca de proche.

Maintenant je voudrais combler une partie de mon ignorance, c'est a dire : quel est la différence entre la réplication et Rsync ?
Avec ce que je connais de rsync c'est un outil puissant qui a été utilie et puissant, je veux aussi bientot automatiser la synchro de Rsync dans les tasks incorporé dans l'interface graphique.

pour m'aider a comprendre, si c'est possible de m'indiquer un lien (francais ou anglais) je ferai la lecture et l'effort de comprendre. :)

merci, pour les bons conseils.

 

[Bidule0hm]

J'imagine que la doc de FreeNAS explique ce qu'est la réplication donc tu peux commencer par ça ;)

Mais en gros rsync est commun à plus ou moins tout les systèmes UNIX tandis que la réplication implique les snapshots d'une pool et donc ZFS. Rsync copie les données au niveau des fichiers (comme tu le ferais toi, c'est juste automatisé) tandis que la réplication copie des snapshots et agit donc au niveau des blocs de données d'une pool, et ça implique donc que le système sur lequel tu envoies les données ait aussi ZFS. C'est à peu près la liste de différences à laquelle je peux penser :)

 

[Christian_128]

J'y avait pensé a faire un snapshots du pool, sur un autre serveur, sauf que le but recherché est d'avoir un 2e serveur, qui sert de backup, mais aussi de pouvoir me servir des donnees, si le serveur 1 ou principal n'est pas disponbile pour quelques raisons que ce soit.
Si j'ai bien compris le snapshot, c'est comme une image prise, et dans le temps le tout se fait de gacon incrémental, donc les donnees ne sont pas disponibles instantanément sur le 2e serveur.
C'est pour ces raisons que j'utilise Rsync dans la duplication de données.

merci pour les infos
Christian

 

[Bidule0hm]

Elles ne sont pas dispo instantanément mais presque, renseigne-toi sur le clonage de snapshots et le roll back ;)

Après c'était juste un conseil, tu n'es pas obligé d'utiliser la réplication ;)

 

[Apollo]

J'y avait pensé a faire un snapshots du pool, sur un autre serveur, sauf que le but recherché est d'avoir un 2e serveur, qui sert de backup, mais aussi de pouvoir me servir des donnees, si le serveur 1 ou principal n'est pas disponbile pour quelques raisons que ce soit.
Si j'ai bien compris le snapshot, c'est comme une image prise, et dans le temps le tout se fait de gacon incrémental, donc les donnees ne sont pas disponibles instantanément sur le 2e serveur.
C'est pour ces raisons que j'utilise Rsync dans la duplication de données.

merci pour les infos
Christian

Si tu as configure la prise de snapshot automatiquement, et que la replication a ete configure, alors, des le moment ou le snapshot est pris, la replication va s'en suivre juste apres, ou des que la periode de replication est valide.
Si tu autorise la replication pour qu'elle soit toujours active, alors en principe, la replicqtion dopis ce produire dans les secondes voir la minute qui suit la prise de snapshot.
Par concequent, les donnees seront disponibles sur le serveur lorsque la replication sera termine.

 

[durdur]

La réplication est effectivement quelque chose d'assez puissant.
Le seul problème que j'avais rencontré en faisant des essais est que dans le cadre de snapshots et donc réplication automatiques, si un snapshot n'est pas répliqué pour une raison ou une autre (interruption du lien entre les machines par exemple), alors la réplication s'arrête et ne "rattrape pas son retard". Donc les snapshots suivant ne sont pas répliqués.
Il fait le faire à la main pour répliquer celui ou ceux manquant et relancer la réplication auto.

Bon maintenant c'était il y a 3-4 ans donc une version de ZFS plus ancienne, peut être que cela a changé avec les récentes.

 

[Apollo]

La réplication est effectivement quelque chose d'assez puissant.
Le seul problème que j'avais rencontré en faisant des essais est que dans le cadre de snapshots et donc réplication automatiques, si un snapshot n'est pas répliqué pour une raison ou une autre (interruption du lien entre les machines par exemple), alors la réplication s'arrête et ne "rattrape pas son retard". Donc les snapshots suivant ne sont pas répliqués.
Il fait le faire à la main pour répliquer celui ou ceux manquant et relancer la réplication auto.

Bon maintenant c'était il y a 3-4 ans donc une version de ZFS plus ancienne, peut être que cela a changé avec les récentes.

C'est vrai que la version automatique semble avoir quelques issue a ce niveau. Il me semble qu'il a eu un ticket issue a ce sujet, et peut etre une solution existe.
Cependant, si tu utilse RSYNC via la ligne de commende, rien ne t'empeche de faire la meme chose avec la replication. Avec le snapshot recursif, la commande est simple a mettre en oeuvre.