Использование QLE8152 карт

[Maksim Shulga]

Я на форуме вроде уже все перечитал...
У кого-нибудь есть в использовании эти сетевухи ?

Не получается выдавить нормально из них скорость по сети. Замеры делаются iPerf между 2-мя FreeNAS системами.

По-дефолту из коробки FreeNAS'ы iPerf в 1 поток дают скорость 2 Гбит, я так понимаю при MTU 1500, если поставить MTU 9000 ничего не работает, если поставить 9014 скорость подымается до 3,5-4 Гбит в 1 поток. Во всех случаях если поставить в несколько потоков, например 5 (-P5) то выхожу на 9,5-9,7 Гбит.

Подозреваю что нужно где-то что-то докрутить опциями Tunable, может кто помочь ?
Использование планируется с iSCSI, потому важно скорость на 1 поток оптимизировать.

 

[Maksim Shulga]

да, кабель Twinax UniFi или Mikrotik, порт 1 на 1 соединяю между сетевыми напрямую

подключал все в коммутатор 10GbE MikroTik - получил те же 2 Гбит

 

[mav@]

Ничего не могу сказать про сами конкретные сетевухи. Мы используем Intel и Chelsio, которые активно поддерживают драйвера для FreeBSD. Судя по тому что большее число потоков увеличивает скорость могу предположить что эти карты как-то странно дропают пакеты. Как workaround я бы попробовал сменить congestion control в TCP с newreno на cubic. Последний лучше относится к потерям пакетов. Мы у себя похожий эффект наблюдали когда 100Gbit коммутатор еще не был настроен на уменьшение потерь, и cubic в том случае работал лучше.

 

[Maksim Shulga]

а это где ? во FreeNAS делается ?

 

[mav@]

`man mod_cc`, `man cc_cubic`. Да, "cc_cubic" поставляется как модуль ядра, который можно загрузить установив loader tunable cc_cubic_load="YES", а затем выбрать.

 

[Maksim Shulga]

if_qlxgb_load = yes

а вот это не нужно ? тут на форуме наковырял, что это нужно для семейства QLogic 8100
я как добавил, пока вообще ничего не могу ниоткуда получить :)

 

[mav@]

if_qlxgb включен в ядро статически. Не будь его там, без упомянутой опции вообще бы сети не было.

 

[Maksim Shulga]

root@freenas[~]# iperf -c 192.168.100.100
------------------------------------------------------------
Client connecting to 192.168.100.100, TCP port 5001
TCP Windows Size: 1.00 MByte
------------------------------------------------------------
[ 3] local 192.168.100.120 port 19723 connected with 192.168.100.100 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 2.23 GBytes 1.91 Gbits/sec

cc_cubic_load="YES"

вставил и перезагрузил обе системы

`man mod_cc`, `man cc_cubic`

не совсем понял

 

[Maksim Shulga]

но переключил

[root@freenas] ~# sysctl net.inet.tcp.cc.algorithm
net.inet.tcp.cc.algorithm: cubic

скорость вроде немного увеличилась
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 1.00 MByte (default)
------------------------------------------------------------
[ 4] local 192.168.100.120 port 5001 connected with 192.168.100.100 port 53605
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.1 sec 3.09 GBytes 2.64 Gbits/sec
[ 5] local 192.168.100.120 port 5001 connected with 192.168.100.100 port 60831
[ 5] 0.0-10.0 sec 3.34 GBytes 2.86 Gbits/sec
[ 4] local 192.168.100.120 port 5001 connected with 192.168.100.100 port 44333
[ 4] 0.0-10.1 sec 3.12 GBytes 2.67 Gbits/sec

Эт всё что можно выдавить с 10ГбЕ плат ?

 

[Maksim Shulga]

Обнаружено что в разные направления скорость разная :)

Доп. информация:
10.99.100.100 - Dell R420 2x E5-2430v2 48Gb RDIMM PCIe x16 (3.0 или 2.0, в данном случае наверное не важно) QLE8152-CU-E + FreeNAS 11.3-U4.1
10.99.100.120 - X9DRT-F 2x E5-2650v2 256Gb LRDIMM PCI-E 3.0 x16 -QLE8152-CU-E + FreeNAS 11.3-U4.1

что-то в данном случае может быть узким местом ? дисковый массив вообще не рассматривается, iPerf вроде его не юзает

Show : с сервера X9DRT-F

Client connecting to 192.168.100.100, TCP port 5001
TCP window size: 759 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.100.120 port 63692 connected with 192.168.100.100 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 3.82 GBytes 3.29 Gbits/sec

Тут раза в 1,5 ускорили передачу.
А вот обратно все на месте.

Show : с сервера Dell R420

root@AGS-F01-SQL[~]# iperf -c 192.168.100.120
------------------------------------------------------------
Client connecting to 192.168.100.120, TCP port 5001
TCP window size: 599 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.100.100 port 55402 connected with 192.168.100.120 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.1 sec 2.36 GBytes 2.01 Gbits/sec
root@AGS-F01-SQL[~]# iperf -c 192.168.100.120
------------------------------------------------------------
Client connecting to 192.168.100.120, TCP port 5001
TCP window size: 599 KByte (default)
[ 3] 0.0-10.0 sec 2.62 GBytes 2.25 Gbits/sec

ну вот как-то так, какие еще мысли ?

 

[mav@]

Как я и сказал проблема должна быть в сети. Пляски с congestion control -- это попытка ее отчасти обойти. 10GbE должен выдавать 10Gbit/s, потому он так и называется.

 

[Maksim Shulga]

в несколько потоков iPerf с ключем -P я получаю 10 Гбит
я ж почему обозначил модель QLE8152 - может кто сталкивался ? может эти карты только в многопоточке могут 10 Гбит...

какая может быть проблема в сети, если вся сеть это 2 сетевые и 1 DAC кабель связывающий 2 порта (по 1 от каждой сетевой)

 

[mav@]

А чем сетевые карты не сеть?

 

[Maksim Shulga]

ладно :) пойдем другим путем
сетевых этих есть 5 шт., DAC-кабелей Mikrotik, UniFi и еще каких-то много, вариант проблемы с кабелем или с сетевой исключается (менялось, пробовалось)
может есть какой-то вариант проверки сетевых адаптеров, про который я не знаю

 

[Maksim Shulga]

что я могу сказать, проблема с FreeNAS - или настройками, или драйверами, я не могу понять
я убил столько времени пытаясь выжать скорость между 2-мя системами FreeNAS

и тут на вторую ноду 10.99.100.110 - X9DRT-F 2x E5-2650v2 256Gb LRDIMM PCI-E 3.0 x16 -QLE8152-CU-E поставил WinSrv2012 R2, поставил MTU9014 и получил такой реузльтат:

Show : Результат iPerf Win -> FreeNAS

C:\>iperf -c 192.168.100.100
------------------------------------------------------------
Client connecting to 192.168.100.100, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[212] local 192.168.100.110 port 64223 connected with 192.168.100.100 port 5001
[ ID] Interval Transfer Bandwidth
[212] 0.0-10.0 sec 9.87 GBytes 8.46 Gbits/sec

обратно с FreeNAS на WinSrv получил 5.5 Gbits/sec, но это уже очень хорошо, не 2 ж...

две FreeNAS системы с идентичными установками системы, tunable, сетевыми картами ... да конфиги полные выше
проблемы с сетью как я понимаю исключены

 

[Maksim Shulga]

подключил 2 одинаковые ноды X9DRT-F 2x E5-2650v2 256Gb LRDIMM PCI-E 3.0 x16 -QLE8152-CU-E между собой, на 1 FreeNAS, на другой WinSrv, платы и кабеля для чистоты эксперимента те же, результаты получил как в предыдущем случае - 8,5 на FreeNAS, 5,5 с FreeNAS

вывод: конфигурация серверов (камни, память) в данном случае даже не играют роли, а связка FreeNAS-FreeNAS - просто страшный сон, допускаю что может быть плохо реализована на FreeNAS поддержка плат QLogic, и никаких проблем с сетью нет

завтра у меня этот стенд еще будет в распоряжении... ничего больше не нужно протестировать ? (это к поддержке)

 

[mav@]

Железо без драйвера -- ничто, а FreeBSD драйвер для QLogic 8100 qlxge(4) к сожалению серьезно не обновлялся с 2013.
Потрать $100 на б/у Chelsio T4/T5 и спи спокойно. Ну или на что-то от вендоров которые свои FreeBSD драйвера поддерживают: Intel, Mellanox и т.п.