Помогите найти узкое место в системе

[Kite]

Приветствую!

Собрал домашний сервер из того, что было, и того что досталось на халяву. А именно:
масть MSI MS7267 LGA775, проц Celeron E430, 2x1GB 667Mhz RAM, 2x1Tb WD Green, 1x1Tb WD RED.
Подключен по 1Gb Ethernet.

Скорость скачивания по cifs максимум 60мб/с (480мбит/с) которую мне удавалось увидеть, но обычно это 35-40мб/с. Причем по FTP такая же ситуация 35-40мб/с. Нагрузка процессора в отчёта выше 80% не поднимается даже если одновременно скачивать несколькими копьютерами в сети (скорость та же делится на всех примерно поровну) + transmission занимается скачиванием.
Сжатие выключил. Не пойму в чем проблема, может памяти слишком мало?

FreeNas 9.10

 

[mav@]

У этой системы все места узкие: и памяти мало (при менее чем 4ГБ ZFS отключает упреждающее чтение, что влияет на скорость), и процессор слабый, и сетевуха Realtek (не все что называется 1Gbit/s реально это может).

 

[Kite]

У этой системы все места узкие: и памяти мало (при менее чем 4ГБ ZFS отключает упреждающее чтение, что влияет на скорость), и процессор слабый, и сетевуха Realtek (не все что называется 1Gbit/s реально это может).

Ради интереса попробовал с raid-1 скопировать файл на отдельный диск внутри самой системы. на графике скорость записи показало 50мб/сек и два диска в зеркале показали по 25мб/сек. Процессор нагружен был не более 40%. Если поставить гигабитную сетевуху от Asus проблема со скоростью сети решится?

 

[mav@]

Если поставить гигабитную сетевуху от Asus проблема со скоростью сети решится?

ASUS не производит чипы сетевых карт, потому с большой вероятностью там обнаружится чип того-же Realtek. Если уж менять сетевую, то на Intel -- их адаптеры (даже десктопные за $25) заявленный гигабит вполне выдают (только не надо ставить их в древний 33MHz PCI слот -- его не хватит, минимум PCIe 1x).

Но если даже локальное копирование внутри системы не дает больше 50МБ/с, то врядли замена сетевой карты что-то радикально изменит. Эту систему надо менять целиком или смириться.

 

[Kite]

ASUS не производит чипы сетевых карт, потому с большой вероятностью там обнаружится чип того-же Realtek. Если уж менять сетевую, то на Intel -- их адаптеры (даже десктопные за $25) заявленный гигабит вполне выдают (только не надо ставить их в древний 33MHz PCI слот -- его не хватит, минимум PCIe 1x).

Но если даже локальное копирование внутри системы не дает больше 50МБ/с, то врядли замена сетевой карты что-то радикально изменит. Эту систему надо менять целиком или смириться.

сейчас провел тесты с копированием в /dev/null с одиночного диска и с зеркала. с одиночного диска скорость 100Мб/сек, с зеркала всего лишь по 30мб/сек с каждого из дисков
А насчёт сетевой карты походу это проблема всех интегрированных в десктопных материнках. Раньше у меня был комп гораздо мощнее этого 4 ядра, 8Гб памяти, сеть 1гбит, но с него тоже больше 200-300мбит по сети никогда не удавалось качать...

 

[mav@]

сейчас провел тесты с копированием в /dev/null с одиночного диска и с зеркала. с одиночного диска скорость 100Мб/сек, с зеркала всего лишь по 30мб/сек с каждого из дисков

При чтении с зеркала в один поток по определению достаточно сложно получить скорость больше скорости одиночного диска. Для этого надо задействовать глубокое упреждающее чтение (минимум на несколько мегабайт вперед). Но при 2ГБ памяти в системе упреждающее чтение ZFS не использует вообще.

 

[geomflash]

Недавно настраивал самбу на подобной машине. Удалось добиться полной утилизации 1Gb сети (100 с хвостиком мегабайт в секунду при передаче). Правда дело было на FreeBSD 10.1 (samba 3.6) и клиентами были машины с Windows 7, но думаю принцип настройки будет понятен и одинаков.
Для samba важно:
- max protocol = SMB2 (или выше, если samba4).
Для zfs:
- primarycache=metadata (запрошенные данные всегда кешируются на клиенте windows, к тому же, так как памяти мало, то лучше, если кешироваться будет больше метаданных);
- recordsize=32k (для работы без кеширования данных в zfs важно согласовать размер блока файловой системы с запрашиваемыми размерами данных по SMB2, если блок будет 128k, то читаться без включённого кеширования данных будет в 4 раза больше информации с диска, чем отдаваться);
- vfs.zfs.prefetch_disable=1 (причина та же, хотя выше было сказано, что при таком объёме памяти упреждающее чтение должно быть отключено).
Также стоит обратить внимание на параметры logbias, sync, redundant_metadata. Они влияют на скорость записи, но также влияют на отказоустойчивость.

 

[Kite]

вообщем сделал небольшой апгрейд.
Память поставил 2x2Gb но материнка хоть и видит все 4гб, доступно показывает только 3192мб как и ОС. хотя на сайте производителя заявлена поддержка 4Гб памяти, возможно надо биос обновлять... Память никак на скорости не сказывается.
Проц поставил E6550 2.33ГГц, и о чудо скорость по FTP выросла до 75мб/сек с отдельного диска, по smb ничего не изменилось... также ничего не изменилось для зеркала.
Вообщем хочу поставить сетевуху Intel по рекомендации mav@ такая - http://voronezh.just.ru/goods/169182/adapter_intel_expi9301ct/ подойдёт?

 

[mav@]

Вообщем хочу поставить сетевуху Intel по рекомендации mav@ такая - http://voronezh.just.ru/goods/115732/adapter_intel_intel_pro_1000_gt/ подойдёт?

Я сразу сказал что карты под PCI слот не пойдут. У PCI максимальная теоретическая скорость 133МБ/c, а практически сетевуха даст где-то 500-600Мбит/с. Ищи карты под PCI-Express слот, на матери PCIe у тебя вроде есть.

 

[Kite]

Я сразу сказал что карты под PCI слот не пойдут. У PCI максимальная теоретическая скорость 133МБ/c, а практически сетевуха даст где-то 500-600Мбит/с. Ищи карты под PCI-Express слот, на матери PCIe у тебя вроде есть.

да, я уже ссылку подправил на pci-e x1 версию =))

 

[mav@]

да, я уже ссылку подправил на pci-e x1 версию =))

Эта должна быть хорошо.

 

[Kite]

я так понял теперь упёрлось все в процессор, причем в его частоту. встроенная сетевуха грузит процессор, и походу не более одного ядра может задействовать, т.к прирост составил не более 40% что соответствует приросту частоты с 1.8ГГц до 2.33ГГц

 

[mav@]

Samba вообще славится своей однопоточностью на одного пользователя, потому ей частота полезнее числа ядер.

 

[mav@]

Попробуй принудительно включить упреждающее чтение в ZFS установив vfs.zfs.prefetch_disable в 0. Это не рекомендуется для систем с менее 4ГБ памяти, но кто знает, для линейного чтения может и помочь.

 

[Kite]

Попробуй принудительно включить упреждающее чтение в ZFS установив vfs.zfs.prefetch_disable в 0. Это не рекомендуется для систем с менее 4ГБ памяти, но кто знает, для линейного чтения может и помочь.

помогло, но только для одиночного диска и только для FTP, скорость выросла до 80мб/сек. во всех остальных случаях по smb и с зеркала непробиваемый барьер 50мб/сек

 

[Kite]

помогло, но только для одиночного диска и только для FTP, скорость выросла до 80-85мб/сек. во всех остальных случаях по smb и с зеркала непробиваемый барьер 50мб/сек

 

[Kite]

ну что, пришла мне интеловская сетевая карта PCI-E. поставил, все заработало сразу. разницы никакой в скорости не произошло. может драйвера какие-то отдельные надо ставить на неё?
P.S тем временем обновил биос, поставил Core2Duo E7400 который у меня валялся без дела, с новым биосом даже разгон стал работать, разогнал с 2.8ГГц до 3,46ГГц. Поставил диски в raidz1 3шт, скорость такая же как была в зеркале - не более 50мб/сек. вообщем ничего не помогло: ни процессор, ни сетевая карта, ни массив с чередованием.

 

[Kite]

проблема решилась заменой материнской платы на Asus P5Q. скорость 100-105мб/сек теперь.