FreeNAS 9.1.1 и тормоза при совместном доступе к дискам

[-wall-]

Дано: FreeNAS 9.1.1, CPU Intel Pentium G2020, RAM 8 ГБ, HDD 3 х 3 TB, gigabit ethernet.
Давно заметил, что если один пользователь использует ресурс (читает/записывает данные), то у второго пользователя существенно тормозит даже навигация по папкам - при заходе в папку информация обновляется секунд 5.
Неужели так и должно быть с фринасом? Файловый сервер на любой из MS Windows Server так себя не ведёт при гораздо бОльшем количестве активных пользователей.
Если не должно так быть, то подскажите, где подкрутить.

 

[newby]

у меня дано: freenas 9.1.1; cpu amd a10 5700, 3700 Mhz (частоту уменьшил до 1400 Mhz, чтобы не сильно грелся); RAM 2*8Gb DDR3 DIMM 1600Mhz; 2*HDD (1Tb + 2Tb); блок питания на 530Вт.
плагины: transmission, ownclowd, plex.

freenas
/
/(1Gb ethernet)
/
карта сети (то на чем тестировал): роутер ----wd tv live (1Gb ethernet)
\
\ (wi-fi)
\
2 ноута (win и mac) + моноблок (mac) + айфон

вчера тестировал (всё одновременно):

1. торрент качал какие то сериалы;
2. с айфона (по wifi) через owncloud закачивал > 2Gb фоток;
3. через wd tv live запустил mkv на 24Gb;
4. на моноблоке через plex/web смотрел avi размером 750Mb;
5. на двух ноутах лазил по папкам сервака и скачивал файлы небольшие на ноуты.

никаких тормозов я не наблюдал, шара только cifs.
единственное, кулеры закрутились сильнее, cpu нагрелся свыше 55 градусов, что меня расстроило(

 

[-wall-]

Установлены плагины transmission (загруженность низкая), mini-DLNA (TV подключен по ethernet и использует DLNA, с mini-DLNA тяжёлые фильмы меньше тормозят, чем с plex), plex (для удобного просмотра видео через мобильные устройства).
Когда деактивирую и обратно активирую mini-DLNA, плагин начинает делать сканирование библоитеки видео. В течение этого сканирования картина идентична - работа с файлами у пользователей архитормозная.
Если сервер простаивает, то линейная скорость чтения-записи примерно 60-70 МБ/сек, если запустить копирование-чтение и в фоне продолжить просмотр папок и файлов в проводнике (не важно, с этого ПК или с соседнего), то просмотр превращается в мучение.

 

[pintapiva]

Тормоза могут наблюдаться из-за нехватки памяти в вашей конкретной конфигурации. В вашем случае два варианта действий, нет, даже три:

1 - покупка еще 8Gb оперативной памяти
2- покупка SSD диска для организации кэша (например гиг на 40) и организации работы с ZIL (прядка 6Gb, с запасом будет)
3- покупка и памяти и SSD =)

обратите внимание на конфиг коллеги newby, он намекает и приводит свою конфигурацию:

- у него в два раза больше памяти, чем у вас
- у него в три раза меньше дисковый массив, чем у вас (а чем больше массив - тем больше надо памяти: примерно 1Gb оперативы на 1TB данных)

 

[newby]

хочу добавить, в субботу (30 декабря) докупил hdd.
в итоге имею 2*4 Tb для помойки и 5*2 Tb raidz2 (знаю что не оптимально - но пока проблем не наблюдал)
По прежнему - тормозов не наблюдаю.
Получается у меня 16 Gb RAM и 18 Tb дискового пространства.

 

[-wall-]

Тормоза могут наблюдаться из-за нехватки памяти в вашей конкретной конфигурации. В вашем случае два варианта действий, нет, даже три:
1 - покупка еще 8Gb оперативной памяти
2- покупка SSD диска для организации кэша (например гиг на 40) и организации работы с ZIL (прядка 6Gb, с запасом будет)
3- покупка и памяти и SSD =)
обратите внимание на конфиг коллеги newby, он намекает и приводит свою конфигурацию:
- у него в два раза больше памяти, чем у вас
- у него в три раза меньше дисковый массив, чем у вас (а чем больше массив - тем больше надо памяти: примерно 1Gb оперативы на 1TB данных)

Спасибо за ответ. Попробую поставить ещё 8 ГБ.
Однако, мне не понятно, неужели не хватает текущих восьми?
3 диска распределены так:
2 х 3 ТБ в RAID1 для важных данных,
1 x 3 ТБ отдельно для файлопомойки.
На всех дисках ZFS, дедупликацию и компрессию не использую.

PS: Появились мысли перейти на Win 2012 Server c ReFS. Тогда получится и NAS в качестве медиаплеера использовать с подключением к TV по HDMI, и AD поднять можно будет, и энергопотребление в простое уменьшится.

 

[-wall-]

Тормоза могут наблюдаться из-за нехватки памяти в вашей конкретной конфигурации. В вашем случае два варианта действий, нет, даже три:
1 - покупка еще 8Gb оперативной памяти

Поставил 16 ГБ оперативной памяти вместо 8, ничего не изменилось.
Про "5 секунд" торможения - это я говорил примерно, так как находился далеко от сервера с FreeNAS, на самом деле всё гораздо хуже.
Запустил сервер с 16 ГБ (при этом больше физически я туда поставить уже не смогу - плата mini-ITX, 2 слота памяти), через минут 10 проверил время захода в каталоги в файловом менеджере, перезапустив плагин miniDLNA (он начинает 2-3 минуты сканировать видеотеку). Начал заходить в разные каталоги, каталоги находятся физически на том же диске, где и видеотека.
Время захода в каталог получалось разным: 2 сек, 7 сек, 15 сек, 29 сек и даже 62 сек (!) было один раз. Как только сканирование закончилось, просмотр сетевого ресурса перестал тормозить.

 

[vgo]

Для начала: а что показывает график System Load?

У меня система помощнее, но и нагрузка на нее серьезная: несколько активно работающих серверов держат там свои рабочие диски, тормозов не заметно. Но вот если я на самом FreeNAS, к примеру, запускаю в консоли мощное копирование большого массива данных, то да, всем может стать кисло, и весьма. Упомянутый график при этом показывал значения до 7-8, что, конечно, ужасно.

 

[-wall-]

Для начала: а что показывает график System Load?
У меня система помощнее, но и нагрузка на нее серьезная: несколько активно работающих серверов держат там свои рабочие диски, тормозов не заметно. Но вот если я на самом FreeNAS, к примеру, запускаю в консоли мощное копирование большого массива данных, то да, всем может стать кисло, и весьма. Упомянутый график при этом показывал значения до 7-8, что, конечно, ужасно.

В том-то и дело, что не должно. Решил, что кто-то с этим же уже сталкивался и подскажет, где я накосячил.
Вечером кину график загрузки системы во время разных операций. Но вроде бы загрузки особой не было.

 

[vgo]

В том-то и дело, что не должно. Решил, что кто-то с этим же уже сталкивался и подскажет, где я накосячил.
Вечером кину график загрузки системы во время разных операций. Но вроде бы загрузки особой не было.

Да не надо график, надо примерные значения и пики, когда тормозит и когда - не очень.

 

[-wall-]

Да не надо график, надо примерные значения и пики, когда тормозит и когда - не очень.

Мне проще запостить картинку :)
Смотрел видео (небольшое по размеру, файл порядка 1.5 ГБ) на TV по сети через miniDLNA в течение часа-полутора:

Разница в трафике скорее всего из-за раздачи торрентов. Скорость сетевого интерфейса - 1000 Мбит.
Затем, в 23:05 запустил рескан miniDLNA, который длился примерно 6 минут. Во время рескана просмотр содержимого папок сильно тормозил (опять до минуты, также по пол минуты и по 20 секунд часто). И чем больше внутри конкретной папки подпапок и файлов, тем дольше папка открывается. Повторное открытие этого же каталога уже происходит быстро, т.е. происходит кэширование.
Когда рескан закончился, тормоза ушли и папки стали открываться в течение секунды, редко в течение 5 секунд.
Графики, снятые в 23:13:

Я не заметил в графиках ничего криминального.

Торренты раздаются с того же диска, на котором сканировалось видео miniDLNA и на котором я замерял время открытия папок в файловом менеджере.
Поэтому решил продолжить и в 23:30 остановил раздачу торрентов в transmission.
В 23:40 снял графики:

 

[-wall-]

В 23:43 перезапустил miniDLNA, рескан длился 3 минуты до 23:46, при этом время открытия папок на этом же ресурсе не превышало 15 секунд, а на другом ресурсе не превышало 5 секунд.
Графики снял в 23:48:

В итоге, очевидно, что раздача торрентов серьёзно влияет на комфорт при работе с файловой системой.
Также даже при отсутствии раздач, но при сканировании видеотеки плагином miniDLNA, время ожидания открытия некоторых папок в файловом менеджере было достаточно большим (хоть и гораздо меньшим, чем с торрентами). По графикам криминала не видно.
Есть соображения? :)

 

[vgo]

Странно, я вроде писал ответ и даже как бы видел его ))
В общем, мне кажется, что дело в сети. Если сеть работает на 100 МБит, то указанные значения - как раз те, которые ее должны уже сильно напрячь. Отсюда вопрос: на какой скорости реально работает сеть (смотрится через ifconfig, например)

 

[-wall-]

Странно, я вроде писал ответ и даже как бы видел его ))

Переиначивая известную фразу из ДМБ: "Ты видишь ответ? - Нет. - А он есть!" :)

В общем, мне кажется, что дело в сети. Если сеть работает на 100 МБит, то указанные значения - как раз те, которые ее должны уже сильно напрячь. Отсюда вопрос: на какой скорости реально работает сеть (смотрится через ifconfig, например)

Гигабит эзернет.

gigabit ethernet

Если сервер простаивает, то линейная скорость чтения-записи примерно 60-70 МБ/сек

Скорость сетевого интерфейса - 1000 Мбит

Наврядли дело в сети. Тем более, когда плагин miniDLNA обновляет каталог видео, сеть простаивает, но тормоза появляются.

 

[Alexey]

Подтверждаю тормоза.
Сеть 1Гбит. Память 10Гб. При копировании файла туда или обратно - невозможно ни смотреть видео, ни бродить по каталогам.
Возможно так и должно быть. Я не знаю. Это мой первый опыт nas. Торренты пока не мешают ни одному процессу. Да у меня их пока и мало - около 10 штук на раздаче.
Пока что нашел узкое место в системе винт на 5200 оборотов благодаря этой ссылке:
http://creasysee.com/355/freenas-анализ-быстродействия-часть-первая
У меня пока скорость винта на Nas ниже скорости сети

 

[vgo]

Переиначивая известную фразу из ДМБ: "Ты видишь ответ? - Нет. - А он есть!" :)
Гигабит эзернет.
Наврядли дело в сети. Тем более, когда плагин miniDLNA обновляет каталог видео, сеть простаивает, но тормоза появляются.

Мало наличия гигабитного железа, надо еще чтобы оно включилось в соответствующий режим. Поэтому вопрос "что показывает ifconfig" остается в силе.

Проверить быстродействие диска можно как указано в статье, но надо иметь в виду, что если с диска читается два или более файла одновременно, то суммарная скорость может оказаться в разы и на порядки ниже того, что намеряет этот способ.

Ждать, что оно будет показывать HD одновременно с копированием другого файла - это чересчур. Но чтобы скорость падала настолько, что папака 5 секунд открывается - это уже ни в какие рамки. Кстати, велика ли папка? Если там сто тысяч файлов, то может и 5 минут открываться.

Оценивая скорость сети, надо не верить цифиркам. (( WiHi в лучшем случае имеет пропускную способность в половину заявленной - в силу организации протокола. Ethernet начинает сильно тормозить, когда загрузка сети приближается к половине.

Кроме того, именно при перегрузке диска возрастает параметр System Load до заметных величин. У меня при серьезных нагрузках на диск (когда я в консоли запускаю копирование большими блоками) он поднимался до 6-7. как я уже говорил.

 

[Alexey]

При тестировании в вакууме, как в статье, скорость по сети у меня 750Мбит/с = 93,75Мбайт/с
Скорость винта выходит от 60 до 90 Мбайт/с. На неделе подойдет винт на 7200 об. и с кешем побольше. Отпишусь о результатах.
При выполнении двух операций копирование и просмотр видео я ожидал что нагрузка на винт будет распределена равномерно. Видео совсем не HD.
Получается, что видео считывается плеером кусками по заполнению собственного буфера/кеша. И возможно после считывания очередной порции копирование файла занимает винт полностью и когда плеер снова обращается к винту получаем тормоза.

 

[pintapiva]

Спасибо за ответ. Попробую поставить ещё 8 ГБ.
Однако, мне не понятно, неужели не хватает текущих восьми?
3 диска распределены так:
2 х 3 ТБ в RAID1 для важных данных,
1 x 3 ТБ отдельно для файлопомойки.
На всех дисках ZFS, дедупликацию и компрессию не использую.

PS: Появились мысли перейти на Win 2012 Server c ReFS. Тогда получится и NAS в качестве медиаплеера использовать с подключением к TV по HDMI, и AD поднять можно будет, и энергопотребление в простое уменьшится.

Поставил 16 ГБ оперативной памяти вместо 8, ничего не изменилось.
Про "5 секунд" торможения - это я говорил примерно, так как находился далеко от сервера с FreeNAS, на самом деле всё гораздо хуже.
Запустил сервер с 16 ГБ (при этом больше физически я туда поставить уже не смогу - плата mini-ITX, 2 слота памяти), через минут 10 проверил время захода в каталоги в файловом менеджере, перезапустив плагин miniDLNA (он начинает 2-3 минуты сканировать видеотеку). Начал заходить в разные каталоги, каталоги находятся физически на том же диске, где и видеотека.
Время захода в каталог получалось разным: 2 сек, 7 сек, 15 сек, 29 сек и даже 62 сек (!) было один раз. Как только сканирование закончилось, просмотр сетевого ресурса перестал тормозить.

а можно поподробнее: где, что лежит?
Где расположены каталоги, к которым такое время доступа, где живет джейл для плагина miniDLNA (рекомендую использовать Plex, решение на порядок лучше)?

 

[shubert]

я вам вот, что скажу.
и это везде и всюду написано:
1) правило памяти для ZFS 5GB просто системе и 1GB за каждый 1TB RAW дисковой ёмкости.
(то есть объём сырых дисков) в вашем случае 16 ГБ это почти минимум.
ввиду того, что ZFS предназначена больше для хранения важных данных и поддержки целостности оных, ооочень требовательна к ресурсам.
на томах по 15-45TB сервера имеют по 50-150GB RAM и SSD для кэшей далеко не домашнего класса.
2) любые супер ультра современные ДОМАШНИЕ sata диски имеют примерно 200 IOPS и глубину очереди для ISCSI команд 2-3.
отсюда вывод, при множественном обращении, перестают выстраивать выстраивать очередь линейного чтения и головы дисков превращаются в шинковку для овощей. доступ к каждому сектору в таком варианте занимает секунды и вашему диску совсем не сладко.
поставьте себе SAS или хотябы Enterprise SATA диски и наслаждайтесь быстродействием. ( только потому они и стоят в 3-10 раз дороже)
3) для снижения нагрузки на диски используются ZIL, L2ARC и собственно кэш в RAM
4) КАК ОТЧЕ НАШ. нельзя допускать заполнения ZFS пула более 70-75% (начинаются тормоза и возможно падение пула), в случае достижения порога, необходимо увеличить ёмкость пула путём установки дисков.
5) не включайте дедупликацию данных, если у вас нет 100 гигов RAM и SSD для кэширования. чревато потерей всего пула без возможности его восстановления.

ещё одна ложка дёгтя в домашнем на коленке из того, что было.
возможности северного и южного мостов, а так же контроллера жестких дисков встроенного в последний далеко не безграничны и тоже имеют пределы. а пределы эти, особенно у дешевых материнок далеки от идеала.

ИТОГ
конфиг: Зеркало и Еденичный диск, будет для вас самым оптимальным.
НАСТОЯТЕЛЬНО РЕКОМЕНДУЮ диск под торенты отформатировать не ZFS, а родной юниксовой ФС, которая так и называется UFS. (такое решение снимет накладные расходы файловой системы).

в качестве бонуса, включите рекомендуемое сжатие, проца схавает чуть чуть. а пользы принесёт много.
Удачи.

 

[-wall-]

1) правило памяти для ZFS 5GB просто системе и 1GB за каждый 1TB RAW дисковой ёмкости.
(то есть объём сырых дисков) в вашем случае 16 ГБ это почти минимум.

16 ГБ ситуацию не спасли.

2) любые супер ультра современные ДОМАШНИЕ sata диски имеют примерно 200 IOPS и глубину очереди для ISCSI команд 2-3.
отсюда вывод, при множественном обращении, перестают выстраивать выстраивать очередь линейного чтения и головы дисков превращаются в шинковку для овощей. доступ к каждому сектору в таком варианте занимает секунды и вашему диску совсем не сладко.
поставьте себе SAS или хотябы Enterprise SATA диски и наслаждайтесь быстродействием. ( только потому они и стоят в 3-10 раз дороже)

В моей файлопомойке мне главное - объёмы хранения. Да и нет у меня в сети из 2-х домашних ПК и 1 файлового сервера задач, требующих SAS-диски.
Ситуация, когда одни компьютер копирует с сервера файлы (в 1 поток, это может быть и много мелких файлов и 1 большой - результат один), а другой компьютер не может комфортно просматривать каталоги, анекдотична.

4) КАК ОТЧЕ НАШ. нельзя допускать заполнения ZFS пула более 70-75% (начинаются тормоза и возможно падение пула), в случае достижения порога, необходимо увеличить ёмкость пула путём установки дисков.
5) не включайте дедупликацию данных, если у вас нет 100 гигов RAM и SSD для кэширования. чревато потерей всего пула без возможности его восстановления.

С этим был порядок: свободного места было ещё очень много, а дедупликацию после изучения вопроса решил не включать (да и смысла в ней у меня большого нет).

ещё одна ложка дёгтя в домашнем на коленке из того, что было.
возможности северного и южного мостов, а так же контроллера жестких дисков встроенного в последний далеко не безграничны и тоже имеют пределы. а пределы эти, особенно у дешевых материнок далеки от идеала.

Железо было специально куплено для NAS - мать ASUS P8H77-I.

ИТОГ
конфиг: Зеркало и Еденичный диск, будет для вас самым оптимальным.
НАСТОЯТЕЛЬНО РЕКОМЕНДУЮ диск под торенты отформатировать не ZFS, а родной юниксовой ФС, которая так и называется UFS. (такое решение снимет накладные расходы файловой системы).
в качестве бонуса, включите рекомендуемое сжатие, проца схавает чуть чуть. а пользы принесёт много.
Удачи.

Спасибо за разумные замечания. Однако, у меня примерно так и было - одно зеркало из 2 х 3 ТБ и один HDD 3 ТБ под торренты (правда, он тоже в ZFS был отформатирован).
Однако, я уже удалил FreeNAS и установил на пробу Windows Server 2012 R2.
Создал тома на ReFS: первый такой же - зеркало 2 х 3 ТБ, а второй - RAID 0 для файлопомойки 2 х 3 ТБ.
Теперь проблем с производительностью дисковой подсистемы нет, попутно поднял ряд сервисов (AD и прочие), установил XBMC и подключил TV по HDMI, получив ещё и медиаплеер.