36x4Tb Сервер. Посоветуйте архитектуру zpool и бэкапов

[DeadPool]

Всем привет.
Подскажите, пожалуйста, по мыслям:
Собираю большой сервер в компании под хранение бэкапов, а так же под NextCloud.
Система:
OS: TrueNAS-13.0-U3.1
MB: Supermicro X9DRi-ln4f+
RAM: 128Gb ECC
CPU: 2670v2 x2
HBA: LSI9211-i8 IT-mode
System disk: PCI-e/Sata SSD 128Gb x2 в софтварном зеркале
POOLs HDD: 36 дисков по 4Тб.
Подскажите как лучше организовать архитектуру vDev/Zpool ? Запредельные скорости чтения/записи не нужны, все равно ограничение в максимум 4 Гигабитных порта, скорее всего будет подключено вообще 2мя. Да и диски обычные САТА 7200.

Mirror - думаю не вариант, так как если выходят из строя 2 диска одного массива - система вешается (проверил), вероятность выхода из строя обоих дисков одного зеркала, конечно, мала, однако, то, что вешается вся система - это плохо, хотелось бы побольше отказоустойчивости.

Склонился к 6 raidZ2 - нормальный вариант?

Теперь по резервированию всего этого:
Как реализовать?
В мыслях сделать 2 пула в одном 3 raidZ2 и в другом тоже самое и сливать с первого все данные на резервный, чтобы если что, быстро переключится на резервный пул.
Как лучше это делать? Пофайловый РСинк или снапшоты переливать?
Может какой-то лучше вариант кто подскажет?
Спасибо.

 

[mav@]

Было бы хорошо бакапить на другой физический сервер, чтобы отказ чего-то, например памяти, или сбой софта не запорол обе копии сразу. Зеркало для бакапов конечно смысла особого не имеет, больше подходит для хранения мелких объектов и случайного доступа. Я не большой фанат RAIDZ2, я бы использовал просто RAIDZ, особенно если будут еще копии, но если реально нужно выдерживать отказ двух дисков, то можно конечно. Реплицировать конечно лучше через снапшоты и send/receive.

 

[DeadPool]

Ясно. Спасибо.
А чем плох RAIDz2? Тем что отжирает 2 диска или есть еще что-то? На сколько я знаю, это тот же 5й, просто с отказоустойчивостью в 2 диска. Но может в ZFS есть еще какие-то нюансы?

 

[mav@]

Не то чтобы он чем-то плох, есть и RAIDZ3 для настоящих маньяков, но в ZFS помимо просто дополнительных дисков под четность есть еще и выравнивание на N+1 блок, таким образом RAIDZ2 всегда аллоцирует место кратно 12KB (против 8KB RAIDZ), что дополнительно снижает эффективность на мелких блоках. Мое основное сомнение в том, что вероятность отказа двух дисков одновременно по моему субъективному мнению не столь высока, как какие-то другие проблемы (особенно на неизвестного качества железе) от которых число дисков четности не поможет. По той-же причине бакап внутри одного сервера я не считаю лучшим вариантом, хотя понятно что в управлении это проще. Хотя если время восстановления из бакапа неприемлемо, а храниться будут крупные объекты, то RAIDZ2 может иметь смысл.

 

[DeadPool]

Ну на моей памяти был выход из строя одновременно 2х жестких дисков... И 5й рэйд развалился одновременно двумя дисками... Было очень не приятно....
Бэкап внутри одного сервера - согласен, не лучший вариант, но другого пока нету. Файлы на этой хранилке в основном будут большие + скорость не особо важна.