Скорость, проблемы со скоростью -(((

[sashawad2]

Железо такое - 2 x xeon 5365 / 32Gb FB-dimm
#1 lsi sas hba / 8x SATA 7200rpm 640Gb
#2 lsi sas hba / 8x SATA 5200rpm 1tb

По FC HBA подключен ESXI qle24xx

При работе на esxi из виртуалок - на #1 массив пишет нормально, а вот во второй максимум 10мб.сек.

локально с помощью dd все нормально...

в чем может быть трабл ?

 

[mav@]

Мало данных: Как собраны пулы из этих дисков? Какого типа используются екстенты (file/zvol)? Какие размеры блоков на экстентах? Какие гости работают на vmware и с какими файловыми системами и с каким размером блоков? Выровнены ли на виртуальных дисках гостей разделы на блок file/zvol?

 

[sashawad2]

Мало данных: Как собраны пулы из этих дисков? Какого типа используются екстенты (file/zvol)? Какие размеры блоков на экстентах? Какие гости работают на vmware и с какими файловыми системами и с каким размером блоков? Выровнены ли на виртуальных дисках гостей разделы на блок file/zvol?

Пулы собраны в RAIDZ2 32k блоки (предложено freenas), exten zvol(file пробовал, но производительность в среднем меньше), размер блока на exten 512 иначе ругается в консоль на overflow, Гости win2008 NTFS, блоки 4096 (дефолтные, кажется 4096). Ну получается не выровнены - в пуле 32к, на экстен 512 (другие значения не работают пишет что оверфлов, фс гостя блоки 4096(я подозреваю) ).

Диски второго пула (с которым траблы) - ADF 4k, возможно тут трабл. Если по фтп закачивать на эти диски файлики на 10Гб, то в районе 7Гб скорось постепенно падает до нуля, а потом фтп клиент пишет что его разъединило или не дало закать (не помню точно). На первый массив закачиваю все ок.

У меня используется также L2Cache и сейчас ругается в консоль что Unable to extract pool GUID from vdev label data
Вот нашел такого же товарища с таким же багом https://bugs.freenas.org/issues/8533 но ему ещё ничего не ответили.

Сейчас буду пробовать - ребут в старую версию и собрать в новой 2ой пул без L2ARC

 

[mav@]

Пулы собраны в RAIDZ2 32k блоки (предложено freenas)

RAIDZ2 -- это смерть для блочного хранилища (хоть iSCSI, хоть FC), если не добиться от инициатора записи крупными выровненными блоками. Предложенный FreeNAS блок 32K -- это попытка добиться вменяемого оверхида от избыточности RAIDZ2, иначе в RAIDZ2 смысла вообще нет и проще сразу собрать RAID10. Но у больших блоков и неизбежные недостатки есть -- большое пенальти от read-modify-write.

Гости win2008 NTFS, блоки 4096 (дефолтные, кажется 4096). Ну получается не выровнены - в пуле 32к, на экстен 512 (другие значения не работают пишет что оверфлов, фс гостя блоки 4096(я подозреваю) ).

Диски второго пула (с которым траблы) - ADF 4k, возможно тут трабл. Если по фтп закачивать на эти диски файлики на 10Гб, то в районе 7Гб скорось постепенно падает до нуля, а потом фтп клиент пишет что его разъединило или не дало закать (не помню точно). На первый массив закачиваю все ок.

Мелкие блоки гостя это конечно предпосылка к проблемам с выравниванием I/O, но не единственная. Проверь какие таблицы разделов используются на виртуальных дисках и по каким смещениям начинаются разделы. Если таблица MBR, то раздел может начинаться с сектора 63, что убьет производительность даже при большом размере блока FS. С GPT проблемы тоже не до конца исключены.

 

[sashawad2]

RAIDZ2 -- это смерть для блочного хранилища (хоть iSCSI, хоть FC), если не добиться от инициатора записи крупными выровненными блоками. Предложенный FreeNAS блок 32K -- это попытка добиться вменяемого оверхида от избыточности RAIDZ2, иначе в RAIDZ2 смысла вообще нет и проще сразу собрать RAID10. Но у больших блоков и неизбежные недостатки есть -- большое пенальти от read-modify-write.

Мелкие блоки гостя это конечно предпосылка к проблемам с выравниванием I/O, но не единственная. Проверь какие таблицы разделов используются на виртуальных дисках и по каким смещениям начинаются разделы. Если таблица MBR, то раздел может начинаться с сектора 63, что убьет производительность даже при большом размере блока FS. С GPT проблемы тоже не до конца исключены.

Большие мелкие блоки и выравнивание это понятно. Вечная дилема и поиск точки баланса.
Пробовал и мбр и гпт ... и чего тока не пробовал.

Но в моем случае проблема похоже в другом - если через фтп лить скорость падает до нуля... через примерно 7гб (забивается в кеш чтоли ?)
ещё подозрения падают на недостаток питания - две корзины по 4ре диска (диски 2.5) подключены последовательно одним проводом от бп... возможно падение напряжения при нагрузке, хотя может я перегибаю. БП 1000ватт.

Для продолжения тюнинга нужно решить сперва вопрос локально на freenas а потом уже буду тюнить...

 

[sashawad2]

Вот пара скриншотов для сравнения производительности

 

[sashawad2]

Проблема явно какая то простая, но никак не пойму в чем именно -(((

DD на этот самый проблемный пул выдает 800мб.с.
[root@freenas ~]# dd if=/dev/zero of=/mnt/archive/testfile.dat bs=10M count=4000

4000+0 records in
4000+0 records out
41943040000 bytes transferred in 47.248175 secs (887717676 bytes/sec)

 

[mav@]

А что с компрессией на zvol? При lz4 включенном во FreeNAS по умолчанию приведенный тест с dd это тест в первую очередь процессора, а не дисков. Какие данные (нули или какой-то шаблон) пишет HD Tune тоже вопрос интересный. Потому на всемя тестов я бы сжатие на zvol выключил.

Кстати два скриншота похоже одинаковые.

 

[sashawad2]

А что с компрессией на zvol? При lz4 включенном во FreeNAS по умолчанию приведенный тест с dd это тест в первую очередь процессора, а не дисков. Какие данные (нули или какой-то шаблон) пишет HD Tune тоже вопрос интересный. Потому на всемя тестов я бы сжатие на zvol выключил.

Кстати два скриншота похоже одинаковые.

компрессия lz4, ну не может она влиять, если на первый пул не влияет, то чего на второй то влиять - с процами там все ок.
dd нули шлепает, HD Tune хз но похоже некий патерн, crystaldiskmark картина такая же как и HD Tune.

Скрины и правда почему то оказались одинаковы... глюк -) но оба от пула с которым трабл с записью - из графика видно что до 10мб.сек

Локально трабл также повторяется - копирую файлики с одного пула на другой, после 5-7Гб скорость падает практически дол нуля...
почитал про 4к диски - советуют делать ashift 12 (4096 блоки), проверил пул - оно само сообразило что нужно ashift=12

что то я упускаю...

 

[mav@]

компрессия lz4, ну не может она влиять, если на первый пул не влияет, то чего на второй то влиять - с процами там все ок.

Компрессия всего-лишь делает тестик с dd абсолютно бесполезным.

 

[sashawad2]

Компрессия всего-лишь делает тестик с dd абсолютно бесполезным.

Сделал dataset без компрессии.

[root@freenas ~]# dd if=/dev/zero of=/mnt/archive/test0/testfile.dat bs=10M coun
t=1000
1000+0 records in
1000+0 records out
10485760000 bytes transferred in 144.775324 secs (72427812 bytes/sec)

10Гб записал со скоростью 70Мб.с. получается. Что то маловато как то -(((

Но даже такого результат добится по фтп или через стекло не получается

 

[mav@]

Я бы сказал что это совсем мало для пула из 8 дисков. Я бы ожидал на порядок больше. Или у тебя какая-то аппаратная проблема, или что-то очень странное с настройками (вроде выключенного кеша на винтах), или сильно переполненный и/или сильно фрагментированный пул.

Пронаблюдай что происходит с загрузкой процессора (top -SHIz) и дисков (gstat -I 1s -op) во время этого теста.

 

[sashawad2]

Проверил

ОЧень высокая загрузка дисков (см. фотки)

Пока не понятно с чем это связанно, подозреваю контроллер.

Контроллер sas3080x-hp с чипом lsi1068 Revision A0, подозрительная ревизия! прошивки с сайта lsi вообще не знают такой ревизии, даже архивные, а посему я его не перепрошивал как получил с ebay. Номер ревизии посмотрел на на самом чипе, может есть другие способы ?

В любом случае какая то мистика -(

P.S. Есть еще подозрения на кабели между контроллером и дисками. В моем случае их длина должна быть около метра, а разъем котролера sff-8787, провода заказывал китайские и есть подозрение в их качестве (может ошибок полно при передаче).

Заказан другой контролер 3Ware 9550sxu-12 + качественные кабели (хотя тоже китайские)

 

[shubert]

знакомая ситуация.
во первых у этого контроллера по умолчанию выключено кеширование.
недавно с его собратом воевал. только под виндой было 40 мегабайт на зпись в raid10 =)
вот этой софтиной MegaRAIDsoragemanager запускаешь настройки политики кеширования меняешь. ( только так )
кстати вопрос, а ты jbod прокидывал?
в целом остальном, я почти на всех freenas получал такие скорости на raidZ и аналогах
в итоге raid10 и поверх zfs выдали 350 мегабайт в секунду.
сейчас собираюсь делать большую хранилку под облако и чувствую, тоже будут грабли.

а связано это с тем, что в виду структуры raidZ любого типа, операции записи будут происходить на скорости 1 диска из пула.
как вариант, попробуй создать raidz из 4ёх и добавить к нему ещё один raidz из 4ёх дисков получится raid50 из двух 5ок.
поидее запись будет на уровне ух дисков. но объём потеряешь на избыточности.
а скорость кстати на сата дисках изза множественных записей вообще в попе становится.
мы когда на 10ку l2 поставили, легче дышать стало, а щас уже о ZIL думаем. основной пул существо оочень медленное если в него пулять очередь одновременных записей, эту очередь кстати надо сильно ограничивать. sas то поддерживает до 62 паралельных очередей на запись. а вот sata с тремя кое как справляется. поэтому Нужен ZIL