Деградация iscsi при репликации

[jidckii]

Всем привет.

И так использую сторадж iscsi для VM hyper-v.
3 ноды hyper-v примерно 10 VM.
Сторадж на freenas 9.10
Конфиг:
CPU: Xeon 5620 (8 ядер)
RAM: 32Gb (ECC)
raidz1 из 9 hdd WD 4000 GB + 128 GB L2ARC

есть ZVOL на 4 Тб стобственно его анонсирую iscsi target
zvol создан с стандартными параметрами:

и iscsi target :

Данный сторадж смотрит смотрит на гипервизоры через lagg1(LACP 2Gb)
+ напрямую к нему (стораджу) через lagg0 (LACP 2Gb) подключен backup-server

В общем все работает, виртуалки шустрые, мигрируют быстр.
Но если я начинаю репликацию данной точки монтирования на backup (отмечу, что через вырожденную сеть)
то все виртуалки просто зависают, репликацция проходит на скорости примерно 700Mbp, скорость по iscsi деградирует почти до 0 изредка подпрыгивая до 100Mbps.

Как только репликация заканчивается обращения по iscsi приходит в норму и снова вырастает до 1G

При этом если в этот же момент копировать файл с сервера не по iscsi а по cifs (еслтвенно другая точка монтирования) то проблем не возникает и утилизация до 1G

С чем такое поведение может быть связано ?

 

[mav@]

Сложно сказать что является узким местом этой системы не видя статистики, полагаю что IOPS пула. RAIDZ заточен на большие последовательные однопоточные операции. Для RAIDZ увеличение числа потоков не повышает скорость как для RAID10, а напротив может только понизить из-за большего числа перемещений головок дисков. Репликация активно использует упреждающее чтение, что делает ее менее зависимой от задержек пула, но может быть причиной почему она выдавливает VM, I/O которых более случайно и не так хорошо предсказывается.

 

[madforic]

для начала LACP разобрать, для балансировки нагрузки iSCSI использовать MPIO
также на инициаторах настроить round-robin балансировку по разным путям
проблема c LACP в том, что утилизировать больше одного канала при передачи данных между двумя хостами невозможно, loadbalance в LACP per flow, а не per packet
начни с этого, дальше видно будет

 

[shubert]

насколько я помню MPIO в теперешней реализации недоступно, либо я что то не до понимаю.
а вот RaidZ однозначно будет узким место. да и если репликация с сжатием, то ещё и в проц может уперется.
у меня такое было на двухголовом серваке, скази притормаживал, при том, что raid10

 

[mav@]

насколько я помню MPIO в теперешней реализации недоступно, либо я что то не до понимаю.

MPIO в теперешней реализации вполне работает, надо лишь его правильно готовить.

 

[madforic]

MPIO в теперешней реализации вполне работает, надо лишь его правильно готовить.

Все верно, работает вполне себе.