В ARC кэш отдано 250 Gb памяти.
После остановки scrub процесса вот что с латентностью:
И с нагрузкой на диски:
Сам не пойму откуда такая нагрузка.
На этих дисках стоит виртуалка с видео хостингом video.oum.ru. Все кстати на FreeBSD :)
Сама система на ZFS, но вот диски под видео создавались в UFS.
И пытаюсь понять почему процесс импорта видео при использовании хранилища FreeNAS длится крайне долго.
Настройки nginx, php-fpm, mysql брал идентичные с виртуалки которая использовала Local Storage т.е. диски стояли там же где и ESXi.
Пока ответа для себя не найду, запускаем импорт и он может висеть очень долго пока не появится тайм аут 504 от nginx.
С локальным хранилищем таких проблем нет, все очень быстро.