Fiber Channel или Infiniband или 10Gbe Ethernet

[sashawad2]

Встал вопрос -) 1Gb мало, 2 или 4 LACP тоже маловато да и реализовать сложнее, к тому же рекомендуют использовать Multi-Path а не LACP (курить форум английский).

FreeNAS используется в домашних условиях для внутренней файловой помойке и как target для proxmos сервака с виртуалками.

Нужно придумать дешевый и быстрый интерфейс для NAS с серверами (iSCSI).

10Gbe Ethernet - не рассматриваю в виду очень большой стоимости коммутаторов и карт, при текущем курсе вообще так заоблачной -(((

Infiniband -
Из плюсов -
цена - 20-30$ на ebay за двух портовые карты
скорость - 10Gbe
Поддержка - поиски инфы по поддержки так ни к чему и не привели, реального опыта эксплуатации с frenas я так и не нашел.

Fiber Channel -

цена - пару карт можно приобрести за 100$
скорость - 2 или 4 гбит
поддержка - не очень большое кол-во карт поддерживается.

Вопрос - у кого какой опыт есть - давайте обсудим

 

[mav@]

Б/у 10GbE карты можно найти на eBay по $100 или даже меньше (Chelsio T310/T320). Если клиентов единицы, то direct-wire может обойтись дешевле свича, а скорость зашкалит.

Fibre Channel от Qlogic -- тоже возможный вариант, если железо вдруг откуда-то приблудилось. Но скорость с ними ниже чем с 10GigE, так что плюсы не очевидны. У меня в лаборатории есть пара 8Gbps FC карт (Qlogic ISP 2532) и работают вроде ничего, но я больше доверяю езернету и iSCSI, которые легче контролировать, чем закрытую фирмварь от Qlogic без документации.

Infiniband я в глаза не видел -- вывод очевиден.

 

[sashawad2]

И так....

Б/у 10GbE - найти Chelsio T310/T320 так и не получилось -((( может не продают теперь на ebay может раскупили, а может называются по другому -(
Цена.... цена даже в 100$ теперь выглядит не очень привлекательной -((( (курс и все такое ). Но очень интересно конечно, да и согласен что с ethernet как то оно проще и контролируется лучше.

Fibre Channel - Плотно я с ним не работал, может от того и хочется попробовать. Потом цена, 50$ за 4 х 2Гбит, т.е. могу пару машин цепануть с multi-path. Хотя смущают эти самые 2gbit, они действительно там есть в каждую сторону синхронно или маркетинговая уловка ?.

Infiniband - пока вывод не очень очевиден -)) при цене 20$ за 10гбит очень даже интересен.

 

[mav@]

Хотя смущают эти самые 2gbit, они действительно там есть в каждую сторону синхронно или маркетинговая уловка ?

Не скажу про 2Gbit/s, у меня таких нет, но 8Gbit/s у меня получаются не очень. Из 2x8Gbps FC у меня получается выжать 1.4GB/s в одну сторону и 160K IOPS. Уж не знаю проблема ли это протокола или конкретных адаптеров, думаю второе. В то-же время из 4x10Gbps Ethernet я выжимаю 4.7GB/s в одну сторону и 1.2M IOPS.

 

[mav@]

Б/у 10GbE - найти Chelsio T310/T320 так и не получилось -((( может не продают теперь на ebay может раскупили, а может называются по другому

Там несколько разных модификаций, ищи просто по "Chelsio 310" и "Chelsio 320". Вот таких у меня пара работает исправно:
Chelsio N310E SFP+ 10Gb Network Adapter PCI-e
www.ebay.com/itm/Chelsio-N310E-SFP-10Gb-Network-Adapter-PCI-e-10Gbe-iSCSI-SAN-Storage-N310-/261683360536?pt=LH_DefaultDomain_0&hash=item3ced8b3318

 

[sashawad2]

Не скажу про 2Gbit/s, у меня таких нет, но 8Gbit/s у меня получаются не очень. Из 2x8Gbps FC у меня получается выжать 1.4GB/s в одну сторону и 160K IOPS. Уж не знаю проблема ли это протокола или конкретных адаптеров, думаю второе. В то-же время из 4x10Gbps Ethernet я выжимаю 4.7GB/s в одну сторону и 1.2M IOPS.

Какие карты конкретно используете?
Еще более интересно как настраивали, пока не нашел мануала - но попробовать оч. Хочется.
P.s. На английской части форума встречал рекомендацию не использовать FC и объяснения, правда речь шла про скорости 40гбит.
За мануальчик заранее спасибо.

 

[sashawad2]

Там несколько разных модификаций, ищи просто по "Chelsio 310" и "Chelsio 320". Вот таких у меня пара работает исправно:
Chelsio N310E SFP+ 10Gb Network Adapter PCI-e
www.ebay.com/itm/Chelsio-N310E-SFP-10Gb-Network-Adapter-PCI-e-10Gbe-iSCSI-SAN-Storage-N310-/261683360536?pt=LH_DefaultDomain_0&hash=item3ced8b3318

Спасибки.
У меня в nas свободны тока pci-x -(
Да и они походу американские, ну или тока там их продают, а доставка оттуда еще 50 вечно убиенных енотов.
А жаль

 

[mav@]

Какие карты конкретно используете?
Еще более интересно как настраивали, пока не нашел мануала - но попробовать оч. Хочется.
P.s. На английской части форума встречал рекомендацию не использовать FC и объяснения, правда речь шла про скорости 40гбит.

Карты использую Qlogic QLE2562. Настраивал без особых заклинаний: загрузил модуль ispfw с фирмварью, добавил пару tunables hint.isp.X.role=0 чтобы порты не работали как инициаторы (вообще не работали до поры), настроил LUNы как для iSCSI и сказал `ctladm port -o on -t fc` чтобы включить FC target на портах.

Но если честно, простой и открытый 10GigE iSCSI мне нравится больше чем сложный и недокументированный FC от Qlogic firmware. И работает быстрее.

 

[sashawad2]

Карты использую Qlogic QLE2562. Настраивал без особых заклинаний: загрузил модуль ispfw с фирмварью, добавил пару tunables hint.isp.X.role=0 чтобы порты не работали как инициаторы (вообще не работали до поры), настроил LUNы как для iSCSI и сказал `ctladm port -o on -t fc` чтобы включить FC target на портах.

Но если честно, простой и открытый 10GigE iSCSI мне нравится больше чем сложный и недокументированный FC от Qlogic firmware. И работает быстрее.

Тут абсолютно согласен, может нам кто ещё расскажет про свой опыт с FC??? и тогда будет видно.
а я думаю ограничусь 4 х 1Гбит + Multi-path

 

[sashawad2]

но поиграться пару карт закажу

 

[Neand]

С середины прошлого года тоже озадачился создание стораджа с подключением по FC (про Infiniband тогда не знал). В итоге натрахался с этим делом по полной, хотя не жалею: много узнал, многое понял.
Скажу сразу: если вы планируете использовать карты QLogic с интерфейсом PCI-X - забудьте про это. У меня было десятка 1,5 карт QLA2340, с которых я начал. Мучился долго и в FreeNAS (изначально) и во всех NAS-дистрибутивах, потом в CeontOS/Scientific Linux и FreeBSD - нигде эти карты не завелись в target mode. Если я правильно понял, то проблема в блобе isp - нет там поддержки PCI-X карт. Точнее есть, но только initiator mode. Что не делал по куче всяких инструкций и хаутушек - бестолку.
Но т.к. я планировал дома сделать, а в HP MicroServer N36L нет PCI-X, то на ebay заказал четыре карты QLE2460 (обошлись с доставкой в ~1300 руб). И как только заменил QLA2340 на QLE2460 - всё сразу заработало. Причём и в Linux (тут тонкость: в дистрибутивах, основанных на RHEL (я пробовал вышеупомянутые CentOS/SL, а потом нашёл информацию по этому в Сети), модуль ядра qla2xxx.ko не поддерживает target mode (зачем-то вырезали этот функционал, хотя этот модуль есть в сорцах на сайте QLogic) и у меня самодельное СХД сейчас работает на Fedora Linux) и в FreeBSD.
Теперь планирую всё перевести на FreeNAS: всё таки удобство обслуживания и всё такое. :)
С Exmulex FC HBA не советую связываться вообще: в FreeBSD (и, соответственно, FreeNAS) вообще нет поддержки этих карт, в Linux - только initiator mode. Полноценная поддержка есть только в Solaris.

P.S. Теперь хочу разобраться с Infiniband. Недавно получил две карты Mellanox Infinihost III LX MHGS18-XTC и одну QLogic QLE7240, а так же медный (CX4) кабель и оптический кабеля SFF-8470. Теперь потихоньку буду разбираться в этим интерфейсом и в Linux и в FreeBSD и в FreeNAS, если получится.

P.P.S. Кстати, у меня подключена СХД с QLogic QLE2460 (4 ГБит) под Fedora Linux к серверу с Emulex LPE12000 (8 ГБит) под Windows 2008, но профита полной скорости я не заметил: в системе 2 винта WD Red 3Tb в зеркале и устоявшаяся скорость записи ~96 МБайт/сек. Ровно тоже самое на аналогичной машине (аля СХД) с QLE2460 под FreeBSD (ZFS mirror), подключенной к моей рабочей машине с QLA2430 под Fedora Linux: ~96 МБайт/сек "и ни пенсом больше". Как я понимаю, тут всё упирается в дисковую подсистему, так что профит от 10 ГБит/сек - тот ещё вопрос. ;)

 

[sashawad2]

С середины прошлого года тоже озадачился создание стораджа с подключением по FC (про Infiniband тогда не знал). В итоге натрахался с этим делом по полной, хотя не жалею: много узнал, многое понял.
Скажу сразу: если вы планируете использовать карты QLogic с интерфейсом PCI-X - забудьте про это. У меня было десятка 1,5 карт QLA2340, с которых я начал. Мучился долго и в FreeNAS (изначально) и во всех NAS-дистрибутивах, потом в CeontOS/Scientific Linux и FreeBSD - нигде эти карты не завелись в target mode. Если я правильно понял, то проблема в блобе isp - нет там поддержки PCI-X карт. Точнее есть, но только initiator mode. Что не делал по куче всяких инструкций и хаутушек - бестолку.
Но т.к. я планировал дома сделать, а в HP MicroServer N36L нет PCI-X, то на ebay заказал четыре карты QLE2460 (обошлись с доставкой в ~1300 руб). И как только заменил QLA2340 на QLE2460 - всё сразу заработало. Причём и в Linux (тут тонкость: в дистрибутивах, основанных на RHEL (я пробовал вышеупомянутые CentOS/SL, а потом нашёл информацию по этому в Сети), модуль ядра qla2xxx.ko не поддерживает target mode (зачем-то вырезали этот функционал, хотя этот модуль есть в сорцах на сайте QLogic) и у меня самодельное СХД сейчас работает на Fedora Linux) и в FreeBSD.
Теперь планирую всё перевести на FreeNAS: всё таки удобство обслуживания и всё такое. :)
С Exmulex FC HBA не советую связываться вообще: в FreeBSD (и, соответственно, FreeNAS) вообще нет поддержки этих карт, в Linux - только initiator mode. Полноценная поддержка есть только в Solaris.

P.S. Теперь хочу разобраться с Infiniband. Недавно получил две карты Mellanox Infinihost III LX MHGS18-XTC и одну QLogic QLE7240, а так же медный кабель (CX4) и оптический кабель SDR/DDR SFF-8470. Теперь потихоньку буду разбираться в этим интерфейсом и в Linux и в FreeBSD и в FreeNAS, если получится.

P.P.S. Кстати, у меня подключена СХД с QLogic QLE2460 (4 ГБит) под Fedora Linux к серверу с Emulex LPE12000 (8 ГБит) под Windows 2008, но профита полной скорости я не заметил: в системе 2 винта WD Red 3Tb в зеркале и устоявшаяся скорость записи ~96 МБайт/сек. Ровно тоже самое на аналогичной машине (аля СХД) с QLE2460 под FreeBSD (ZFS mirror), подключенной к моей рабочей машине с QLA2430 под Fedora Linux: ~96 МБайт/сек "и ни пенсом больше". Как я понимаю, тут всё упирается в дисковую подсистему, так что профит от 10 ГБит/сек - тот ещё вопрос. ;)

И Вам доброго -)

Очень полезный опыт по картам QLE - мне сегодня как раз пришла вторая 2462, до этого как раз были PCI-X на более старых чипах и проблема у меня была - не поднимается линк между серверами, карты разношорстные на разных чипах. Теперь у меня есть две PCI-E QLE2462 пойду пробовать.

Не очень понял про отсутствующий код в модуле.... Что именно вы имели ввиду?

По производительности - да действительно вы уперлись в дисковую систему, буду тестировать у себя, позже поделюсь если получится.

InfiniBand - уперся именно в проблемы совместимости и отсутствия информации, пока забросил идею.

 

[sashawad2]

Установил вторую QLE2432 и все заработало -) До этого пытался QLE2432 соединить с QLE2312 но не получилось даже линк завести -(((

Теперь по системе

FreeNas 2 x Xeon 5420 / 32 FB-Dimm / RAIDZ2 8x SATA 640Gb 7200RPM + 60Gb L2ARC / FC QLE2432
ESXi 2 x Xeon 5365 / 32 FB-Dimm / FC QLE2432

по скорости пока ничего сказать не могу (см. картинку и пишем коментарии)

 

[Neand]

Очень полезный опыт по картам QLE - мне сегодня как раз пришла вторая 2462, до этого как раз были PCI-X на более старых чипах и проблема у меня была - не поднимается линк между серверами, карты разношорстные на разных чипах. Теперь у меня есть две PCI-E QLE2462 пойду пробовать.

У меня - разношёрстные - всё работает.

Не очень понял про отсутствующий код в модуле.... Что именно вы имели ввиду?

Код, позволяющий использовать карты в target mode: разрабы дистрибутивов это или "выкусывают", либо как-то блокируют для использования. Как я понимаю, по причине неуверенности, что данный функционал можно использовать в продакшене.

По производительности - да действительно вы уперлись в дисковую систему, буду тестировать у себя, позже поделюсь если получится.

Да мне, собственно, этой скорости более чем хватает: этой СХД для архивной информации, а не для виртуалок и прочего, что требует большИх скоростей.

InfiniBand - уперся именно в проблемы совместимости и отсутствия информации, пока забросил идею.

Я продолжу. Если что-то накопаю (точнее: уже накопал, но пока это куча разрозненной информации в голове :) ) - могу отписать сюда.