La tarea de sincronización con FTP Pull Copy esta limitada a 7998 archivos.

[Tirso Flores]

Estoy realizando BackUp del contenido desde un servidor en internet a mi TrueNAS mediante una tarea de Cloud Sync con credenciales FTP PULL COPY, y en realidad lo hace bien hasta llegar a un número determinado de archivos: 7998 e indica un 100% completado. El log que envía es el siguiente:


2021/03/15 14:44:32 INFO :
Transferred: 0 / 0 Bytes, -, 0 Bytes/s, ETA -
Elapsed time: 2.1s

2021/03/15 14:44:33 INFO :
Transferred: 0 / 0 Bytes, -, 0 Bytes/s, ETA -
Elapsed time: 3.1s

2021/03/15 14:44:33 INFO : There was nothing to transfer
2021/03/15 14:44:33 INFO :
Transferred: 0 / 0 Bytes, -, 0 Bytes/s, ETA -
Checks: 7998 / 7998, 100%
Elapsed time: 3.7s

El destino es un directorio compartido con AFP.

La realidad es que hay más de 38,000 archivos en el directorio, pero ya no hace más transferencias. Alguien sabe que debo cambiar para romper ese límite?
o hay algo que no estoy entendiendo bien?

Gracias.

 

[Tirso Flores]

Los errores siguen apareciendo en Cloud Sync. Configuré la copia de una cuenta de correo a mi NAS con FTP PULL Copy, pero ahora marca una falla devolviendo el siguiente log:

rclone failed with exit code 1
More info...
Error: Traceback (most recent call last):
File "/usr/local/lib/python3.8/site-packages/middlewared/job.py", line 367, in run
await self.future
File "/usr/local/lib/python3.8/site-packages/middlewared/job.py", line 403, in __run_body
rv = await self.method(*([self] + args))
File "/usr/local/lib/python3.8/site-packages/middlewared/schema.py", line 973, in nf
return await f(*args, **kwargs)
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 1058, in sync
await self._sync(cloud_sync, options, job)
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 1105, in _sync
await rclone(self.middleware, job, cloud_sync, options["dry_run"])
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 234, in rclone
raise ValueError(message)
ValueError: rclone failed with exit code 1

La idea es que copie todos los buzones y correos de la cuenta, sin embargo los directorios ocultos como .Sent, .Trash etc, no se copian y es posible que esa sea la causa del error, pero no tengo idea de como solucionar ese problema.

El número de archivos y directorios no supera los 3,000 por eso no aparece la limitante de Checks: 7998 / 7998, 100% y esperaba que en copias con un número de archivos menor a 7998 pudiera funcionar pero veo que no.

Cuando realice la prueba con DryRun todo salió bien, pero al ejecutar la tarea apareció el error.

Alguna idea.

Gracias.

 

[blaze0808]

Los errores siguen apareciendo en Cloud Sync. Configuré la copia de una cuenta de correo a mi NAS con FTP PULL Copy, pero ahora marca una falla devolviendo el siguiente log:

rclone failed with exit code 1
More info...
Error: Traceback (most recent call last):
File "/usr/local/lib/python3.8/site-packages/middlewared/job.py", line 367, in run
await self.future
File "/usr/local/lib/python3.8/site-packages/middlewared/job.py", line 403, in __run_body
rv = await self.method(*([self] + args))
File "/usr/local/lib/python3.8/site-packages/middlewared/schema.py", line 973, in nf
return await f(*args, **kwargs)
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 1058, in sync
await self._sync(cloud_sync, options, job)
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 1105, in _sync
await rclone(self.middleware, job, cloud_sync, options["dry_run"])
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 234, in rclone
raise ValueError(message)
ValueError: rclone failed with exit code 1

La idea es que copie todos los buzones y correos de la cuenta, sin embargo los directorios ocultos como .Sent, .Trash etc, no se copian y es posible que esa sea la causa del error, pero no tengo idea de como solucionar ese problema.

El número de archivos y directorios no supera los 3,000 por eso no aparece la limitante de Checks: 7998 / 7998, 100% y esperaba que en copias con un número de archivos menor a 7998 pudiera funcionar pero veo que no.

Cuando realice la prueba con DryRun todo salió bien, pero al ejecutar la tarea apareció el error.

Alguna idea.

Gracias.

Hola, buenos días.
Yo tengo el mismo problema a la hora de copiar el ultimo fichero.

Imaginemos que tenemos 3 ficheros
1 250mb
2 250mb
3 13gb
Empieza a copiar, los dos primeros bien, pero cuando termina el tercer fichero, vuelve a empezar a copiarlo y al final acaba dando FAILED.

Conseguiste resolver el problema?

Utilizo lo mismo que tu, FTP, PULL (he probado tanto con COPY como con SYNC y el mismo resultado)

Gracias y saludos