FreeNAS 9.1.1 и тормоза при совместном доступе к дискам

[shubert]

Однако вернёмся к проблеме с высока.
сеть у этой сборки однозначно тугая.
с чем это связано мне не понять.
использовал и iscsi и smb и внутри тесты гонял.
херь какая то получается
имеем.
сервер 2х Xeon 5535 6 core 2.18GHz 15M cache 64GB ram DDR3 ECC
raid sas dell H700 12HDD sata baracuda 1TB 7200
2 ssd 120GB R380Mb\s W160Mb\s
1ssd 120GB (проще небыло ) под систему
ssd воткнуты в материнку с контроллером IHR10

я не смог выдавить скорость выше 700 мегабит в секунду, не зависимо от протокола передачи.
особенно это выглядит глупо при условии того, что я использовал агрегацию двух igb
на коммутатор не грешу, он соответствующего уровня.
буду скоро буду проводить тесты на 10Gb sfp+
там станет ясно, кто и где накакал.

выводы не утешительные. утилизация канала в режимо одного подключения редко уходит за 300-400 мегабит.
dd показывает чтение 900 мегабайт\с и запись 600 мегабайт в сек
пара тройка потоков на запись файликов размером по 80 гигов и скорость записи ровно делится между всеми =) при этом чтение выше одного мегабайта в секунду не поднимается.
создается мнение, то не такой уж он и хороший, этот фри нас.

 

[iff]

Создаётся мнение что вы не понимаете зачем вам Фринас )
У вас ZFS поверх железного RAID ( hardware raid) ? Вам фринас/зфс не нужен.

Читаем вдумчиво > http://nex7.blogspot.com/2013/03/readme1st.html

p.s. в 2-3 словах :

1) ZFS не ставиться поверх аппаратного РАИД ( в этом нет никакого смысла )
2) ZFS не самая быстрая ФС
3) iSCSI таргет в фринас ( istgt ) не самый лучший iSCSI таргет

 

[shubert]

блин. и начал бы я городить этот огород если бы мне не нужны были плюшки zfs
естественно я скормил все винты в одинокую прямиком zfs
дабы иметь возможности:
-горячей замены диска с более приятным ребилдом массива
- уведомлением об этом
- кэш на запись и чтение ( вменяемых больших масштабов)
и тд.
понятие быстроты фс относительно. я видел что может oracle хранилка и как с ней по FC работают блэйд сервера.так, что она может быть немного медленнее своих собратьев ( но не на 500%) иначе бы её не пользовали

вот к istgt другой вопрос, похоже, что загвоздка всё таки именно в нём. буду разбиратся
уже все тэсты на это указывают.
когда у тебя 12 дисков системе, ты даже в досе получишь потоковую в пол гига в секунду без кэшей
я уже просто ради эксперимента собирал все в raid0 было забавно

 

[iff]

Ну ок опишите вашу конфигурацию и тесты. Вы даже не пишите какой у вас раидз и как у вас диски проброшены. Также вы не пишите какая сетевая карта

DD - это не тест. Вот как надо тестировать - http://habrahabr.ru/post/154235/
На сколько я знаю Делл H700 ето тотже LSI 9260, почитайте про прошивки и т.д. ( после всех тестов )
Прогоняете "fio" rand-read/write локально а потом такой же тест по сети по iSCSI разделу

 

[iff]

Когда я писал про istgt я не имел ввиду производительность - с ней всё ок. Я подразумевал что он например не все команды iSCSI умеет ( например scsi unmap не умела ещё год назад )

И потом, как вы к H700 подключили 12! дисков ? Видимо через какойто экспандер. А обычные SATA диски через SAS экпсандеры это вообще никуда не годится.
Из того что вы пишите - оно у вас вообще нормально работать не должно ( как минимум могут происходить timeout и disconnect дисков )
Не будем гадать - давайте результаты тестов и полный конфиг сервера

п.с. если не хотите мараться - поднимайте раид5 на вашем h700 и ставте линукс
п.п.с хотите нормальной скорости - вынимаете H700 нафиг, покупаете 2 карты IBM M1015 ( LSI 9220-8i ) либо 2 карты LSI 9211-8i - что в принципе одно и тоже. ( 2x100$ )
Перешиваете контроллеры на IT прошивку и все ваши диски цепляете к этим 2ум картам.
Далее из 12 дисков поднимаете пул из 6х мирроров " "
Такая конфигурация обеспечивает максимальную производительность

 

[shubert]

Вся штука в том, что у с2100 используется эспандер для доступа по 8 линиям к 12 дискам. Тоесть по факту у меня 2 дырки сас.
Я уже пробовал НР Р800 подрубить, он не видит дисков потому как с эспандером работать не умеет.
Со скоростью все ништяк, потому как на отдельный диск пишет быстрее 50-60мб/с, чем когда он же трудится в составе массива, пул ясен пень собирал из 4ех групп по 3 диска
Я пробовал и 3 диска и 6 и 7 и все в страйп пихал.
Скорость не меняется
Кстати пробовал на ml150 ом с вшитим рэйдом, та же херня
В понедельник воткну винду и проверю скорость :)

Сеть интеловская конкретный ипсет не подскажу, дрова igb встают

 

[iff]

Со скоростью все ништяк, потому как на отдельный диск пишет быстрее 50-60мб/с

Ты не читаешь что я пишу.
САТА диски НЕ работают через САС експандер.
ДД это НЕ тест скорости ( эти диски на рандомной записи/чтении не дадут больше 1-3MB/сек )
И я уже писал выход из ситуации

 

[shubert]

Вот тут ты не прав, если у эспандера нет спецификации на сата то тогда он вообще с оным не работает. Если спецификация есть, то все работает.
Дд я не делаю эталоном производительности. Где вы увидели рандом?
Сплошное линейное буферизированное чтение и запись.
Особенно если у меня в тесте 6 дисков raid 0.
В опреоре быстрее, только звезды.
Это вы не вникаете в то, что я написал.
На двух разных железках не может быть одна и та же херня.
И если писать потоки iscsi с каждого сервера по выделенной сетевухе на отдельно выделенные винты ( при этом скорость отличная), то ситуация повторяется.
Отюда вывод, железо не причем.
Чуть позже я сюда картинку приложу, почему проблема в самой фринас. Заодно винду протестю , что бы точно убрать подозрения на то, что железо не причем.

 

[iff]

Меня устраивает вариант что FreeNAS не катит :))
Вы отказываетесь следовать "best practice" и говорите что железо не причем.
Я не вижу смысла далее рассуждать

Вот статься : http://nex7.blogspot.com/2013/03/readme1st.html
И на этом форуме в разделе "performance" прикреплены 2-3 статьи
И вот блог в котором автор обсуждает SATA over SAS expander и про зфс упоминает http://garrett.damore.org/2010/08/why-sas-sata-is-not-such-great-idea.html
На моей практике подключая САТА через экпсандер я несколько раз в день получал дисконекты от SATA дисков.

Но у вас то всё ок ) Openfiler вам в помощь

 

[shubert]

Практика практикой, а есть техническая составляющая и желание экспериментировать.
Покупать конкретное железо в уже стоящие сервера нет резона.
Спасибо за ссылочки почитаю.
Что из всего этого вышло и чем закончилось напишу :)

 

[shubert]

Вообщем добавил MPIO и о чудо скорость увеличилась вдвое. 0о
диски тащат, причём даже то, что закэшировано всё равно упирается в потолок 700 килограмм.
mtu 9000 выставлено, свич держит.
отсюда вывод, какая то хрень с сеткой. переход на 10g покажет кто где насрал.
может всё таки у iscsi нужно, что то подкрутить или сеть поковырять.
если, что то не работает, как должно, значит либо руки из жопы, либо место проклятое =)

 

[iff]

MPIO в каком виде ? диски в полке или внутри сервера ?

 

[shubert]

мультипач до хранилки с балансировкой по очереди диска. тоесть я начал использовать 2 сетевухи и у фринас и у 2008р2
2008р2 кстати на 10 рэйде, так, что эти скорости он пережевывает.

 

[shubert]

диски в полке я тоже завтра проверю, может они реально мультипач какой нить используют. но с другой стороны, я из всех дисков только 5 для тестов использую. пропускной должно хватать.
но как показал тэст, кэшированные данные тоже упираются в узкую сеть. тоесть я сейчас вижу нагрузку на сетевых 50%

 

[shubert]

при смене mtu скорость на интерфейсе падает в двое, едва ли доходит до 300 мегабит.
сетевухи набортные intel 82576
на хранилке точно не знаю, но на инициаторе точно имеют аппаратную iscsi разгрузку и сами могут быть инициатором.
попробовал выключить сжатие совсем.
на дисках увеличилась скорость записи ( судя по всему сжимало поток на 10-30%)
кстати вопрос. загрузка системы в районе 1-2 скачет, что это означает? вообще впринципе. что это за условные еденицы такие, может поскажешь?

провёл тюнинг системы.
выключил HT
теперь сеть грузится на 60%, но всё равно выше не хочет.
такое ощущение, что там всё в один поток лезет, и частоты проца не хватает

 

[shubert]

винда тоже показала не очень хорошие результаты. однако после тюнинга биоса и перехода проца в режим обслуживани io по приоритету, только с raid0 на 6 дисках получилось выжать 350мегабайт на чтение и 280 на запись.
буду еще гонять мегатонные данные через эту фигульку. ибо у меня на рядом стоящем сервере с такими же диска на raid 10 показывает результат на 50 мегабайт в сек меньше.

 

[shubert]

в продолжение темы.
освежим память
контроллер H700, 2sas разъёма, 2 сас провода, хотрожопая полка с 12 дисками и 2мя дырками сас.
резюмирую результаты тестов.
если поднять raid50 с RA и WB, при этом параметры страйпа у массива 64К.
создать фс с размером кластера 64К, то всё таки под виндой приходит в норму. и пишет быстро и читает быстро.
но всё меняется, когда пытаешься сделать размер кластера или страйпа иным. скорость падает в попу и мы дружно курим шишки.
вот тут и возникает вопрос. если зфс пишется на 4к, отсюда и мизерная производительность.

-есть ли возможность увеличить размер кластера? и поможет ли?