Ippon Back Basic 850 и TrueNAS Core

[kranidze]

Всем привет!
Я уже не знаю что делать. Собрал пару лет назад сервер на Intel(R) Xeon(R) CPU E5-2620 v3 и 32Gb ECC RAM
До кучи валялся ИБП Ippon Back Basic 850 Euro. Я его подключил, включил в сервисах UPS и все было хорошо, при отключении электричества - он посылал сигнал - сервер выключался, все работало.
Недавно решил обслужить сервер, заодно залез посмотреть логи, а там... не известно с какого момента, но постоянно висят ошибки:

Aug 13 17:08:46 truenas 1 2023-08-13T17:08:46.379650+05:00 truenas.local blazer_usb 2962 - - Permissions problem: Input/output error
Aug 13 17:08:46 truenas 1 2023-08-13T17:08:46.382700+05:00 truenas.local upsd 2964 - - Can't connect to UPS [ups] (blazer_usb-ups): No such file or directory
Aug 13 17:08:48 truenas 1 2023-08-13T17:08:48.973414+05:00 truenas.local collectd 3169 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected
Aug 13 17:09:08 truenas 1 2023-08-13T17:09:08.973541+05:00 truenas.local collectd 3169 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected
Aug 13 17:09:48 truenas 1 2023-08-13T17:09:48.973568+05:00 truenas.local collectd 3169 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected

Проверил, действительно, при отключении электричества ИБП и сервак не общаюстся. При том в Web GUI при попытке включить UPS в Services выскакивает "UPS service failed to start." И настройки UPS не работают - ничего не изменить, кнопка Save - не активна.
И дальше что только не делал: все передподключал, перепроверял, провода менял.
Самое интересное - что если поставить систему с нуля, и включить в сервисах UPS - все работает, драйвер выбирается и так далее, но при подгрузке конфига - все ломается.
Кто нибудь сталкивался? Может подскажите что делать?! Только прошу писать чуть подробнее что делать, я не сильно опытный юзер freebsd систем.

 

[LevSHa]

Всем привет!
Я уже не знаю что делать. Собрал пару лет назад сервер на Intel(R) Xeon(R) CPU E5-2620 v3 и 32Gb ECC RAM
До кучи валялся ИБП Ippon Back Basic 850 Euro. Я его подключил, включил в сервисах UPS и все было хорошо, при отключении электричества - он посылал сигнал - сервер выключался, все работало.
Недавно решил обслужить сервер, заодно залез посмотреть логи, а там... не известно с какого момента, но постоянно висят ошибки:


Проверил, действительно, при отключении электричества ИБП и сервак не общаюстся. При том в Web GUI при попытке включить UPS в Services выскакивает "UPS service failed to start." И настройки UPS не работают - ничего не изменить, кнопка Save - не активна.
И дальше что только не делал: все передподключал, перепроверял, провода менял.
Самое интересное - что если поставить систему с нуля, и включить в сервисах UPS - все работает, драйвер выбирается и так далее, но при подгрузке конфига - все ломается.
Кто нибудь сталкивался? Может подскажите что делать?! Только прошу писать чуть подробнее что делать, я не сильно опытный юзер freebsd систем.

Прошу извинить, вопрос не по теме, но на базе какой матерински собрали сервер?

 

[kranidze]

Прошу извинить, вопрос не по теме, но на базе какой матерински собрали сервер?

Китайская мать, с алиэкспресса. Atermiter, с кастомной прошивкой, чтобы заработала линия ECC. В комерческий продукт бы не поставил, но для дома - must have.

 

[LevSHa]

Китайская мать, с алиэкспресса. Atermiter, с кастомной прошивкой, чтобы заработала линия ECC. В комерческий продукт бы не поставил, но для дома - must have.

Вот мне для дома и надо, тоже уже вторую неделю присматриваюсь к алиэкспрес, а именно к хуананджи или машинист и что бы была двухпроцессорная, но всё терзают сомнения касательно качества

 

[kranidze]

Вот мне для дома и надо, тоже уже вторую неделю присматриваюсь к алиэкспрес, а именно к хуананджи или машинист и что бы была двухпроцессорная, но всё терзают сомнения касательно качества

Вам зачем для plex и qbittorrent 2 процессора? Вам 6 ядер 12 потоков думаете мало будет? Сколько потребителей контента одновременно будет? У меня при 3 воспроизведениях, с перекодированием видео в меньший размер процессор на процентов 60 загружен...

 

[kranidze]

Вот мне для дома и надо, тоже уже вторую неделю присматриваюсь к алиэкспрес, а именно к хуананджи или машинист и что бы была двухпроцессорная, но всё терзают сомнения касательно качества

А качество бывает страдает, тут ничего не скажу. Мне повезло - она работает, но чтобы ECC запустить - пришлось заморочиться. Рекомендовать могу только те которые знаю, а знаю только одну.

 

[LevSHa]

А качество бывает страдает, тут ничего не скажу. Мне повезло - она работает, но чтобы ECC запустить - пришлось заморочиться. Рекомендовать могу только те которые знаю, а знаю только одну.

Можете дать ссылку где покупали?

 

[kranidze]

Можете дать ссылку где покупали?

Брал на али, ссылку не дам, продавец оказался плохой - не положил оперативку в комплект.

 

[kranidze]

Видимо данная проблема пока не решаема. Нашел пару похожих случаев, ни у кого решения пока нет.

 

[chs]

Видимо данная проблема пока не решаема. Нашел пару похожих случаев, ни у кого решения пока нет.

Не скажу точно, но глядя в стеклянный шар, предположу, что сменился номер устройства под input/output
Так это или нет, можно посмотреть в /var/log/dmesg в FreeBSD. В Linux, наверное, тоже где-то в /var/log.

 

[kranidze]

Не скажу точно, но глядя в стеклянный шар, предположу, что сменился номер устройства под input/output
Так это или нет, можно посмотреть в /var/log/dmesg в FreeBSD. В Linux, наверное, тоже где-то в /var/log.

специально его сейчас переподключил, в dmesg появилась запись:

ugen0.2: <INNO TECH USB to Serial> at usbus0
Aug 28 12:30:01 truenas 1 2023-08-28T12:30:01.295146+05:00 truenas.local blazer_usb 14924 - - Permissions problem: Input/output error
Aug 28 12:30:01 truenas 1 2023-08-28T12:30:01.298508+05:00 truenas.local upsd 14926 - - Can't connect to UPS [ups] (blazer_usb-ups): No such file or directory

при этом повторюсь - при попытке включить в Services, службу "UPS", выскакивает ошибка (при подключенном упсе, при неподключенном, только перезагрузившись, всегда):

При этом пробовал поставить систему с нуля - спокойно все работает, пока не подгрузишь конфиг файл (оно и работало до этого пару лет), то есть проблема конкретно с моей системой...

 

[chs]

ugen0.2: <INNO TECH USB to Serial> at usbus0

Есть подозрение, что ищет устройство на ugen0.1

Можно попробовать в консоли

Code:

# usbconfig

И потом посмотреть, что в файле /usr/local/etc/nut/ups.conf

Ну и отредактировать правильно сервис UPS

 

[kranidze]

Есть подозрение, что ищет устройство на ugen0.1

Можно попробовать в консоли

Code:

# usbconfig

И потом посмотреть, что в файле /usr/local/etc/nut/ups.conf

Ну и отредактировать правильно сервис UPS

View attachment 69809

Спасибо что помогаете!
по usbconfig выдал:

root@truenas[/]# usbconfig
ugen2.1: <Intel EHCI root HUB> at usbus2, cfg=0 md=HOST spd=HIGH (480Mbps) pwr=SAVE (0mA)
ugen1.1: <Intel EHCI root HUB> at usbus1, cfg=0 md=HOST spd=HIGH (480Mbps) pwr=SAVE (0mA)
ugen0.1: <Intel XHCI root HUB> at usbus0, cfg=0 md=HOST spd=SUPER (5.0Gbps) pwr=SAVE (0mA)
ugen0.2: <INNO TECH USB to Serial> at usbus0, cfg=0 md=HOST spd=LOW (1.5Mbps) pwr=ON (100mA)
ugen2.2: <vendor 0x8087 product 0x8002> at usbus2, cfg=0 md=HOST spd=HIGH (480Mbps) pwr=SAVE (0mA)
ugen1.2: <vendor 0x8087 product 0x800a> at usbus1, cfg=0 md=HOST spd=HIGH (480Mbps) pwr=SAVE (0mA)

в файле /usr/local/etc/nut/ups.conf

[ups]
driver = blazer_usb
port = auto
desc =

при попытке поменять в Web интерфейсе - неактивна кнопка Save:

файл ups.conf при этом несколько раз пытался изменить вручную, прописывал "/dev/ugen0.2", ничего не помогает...


добавлю: сейчас после очередной перезагрузки обратил внимание что он начал видеть и считывать данные с ups'а, в файле /var/log/nut/ups.log появились записи:

20230830 124638 NA NA NA [NA] NA NA
20230830 125019 NA NA NA [NA] NA NA
20230830 130236 NA NA NA [WAIT] NA NA
20230830 130735 100 232.0 14 [OL] 25.0 50.3
20230830 131236 92 4.0 22 [OB] 25.0 50.1

но при этом, при аварийном отключении - ups не отправил сигнал (а раньше так делал) к безопасному выключению.

upd2:

ан нет, все так же отвалился:

Aug 30 13:25:38 truenas 1 2023-08-30T13:25:38.293238+05:00 truenas.local blazer_usb 2962 - - Permissions problem: Input/output error
Aug 30 13:25:38 truenas 1 2023-08-30T13:25:38.296137+05:00 truenas.local upsd 2964 - - Can't connect to UPS [ups] (blazer_usb-ups): No such file or directory
Aug 30 13:25:47 truenas 1 2023-08-30T13:25:47.799352+05:00 truenas.local collectd 3169 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected
Aug 30 13:26:07 truenas 1 2023-08-30T13:26:07.800029+05:00 truenas.local collectd 3169 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected
Aug 30 13:26:47 truenas 1 2023-08-30T13:26:47.800065+05:00 truenas.local collectd 3169 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected
Aug 30 13:28:07 truenas 1 2023-08-30T13:28:07.799997+05:00 truenas.local collectd 3169 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected
Aug 30 13:30:39 truenas 1 2023-08-30T13:30:39.738282+05:00 truenas.local upsd 2964 - - Can't connect to UPS [ups] (blazer_usb-ups): No such file or directory
Aug 30 13:30:47 truenas 1 2023-08-30T13:30:47.799984+05:00 truenas.local collectd 3169 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected

 

[chs]

при попытке поменять в Web интерфейсе - неактивна кнопка Save:

Надо заполнить все поля

файл ups.conf при этом несколько раз пытался изменить вручную, прописывал "/dev/ugen0.2", ничего не помогает...

Для этого ещё надо перезапустить сервис nut

 

[kranidze]

Надо заполнить все поля
View attachment 69852


Для этого ещё надо перезапустить сервис nut

Обратил внимание, что не заполнен пароль на monitor, заполнил и все заработало!!!
Ура, спасибо большое!
P.S. Чувствую себя ламером...

 

[kranidze]

Ииии... проблемы продолжились.

Сервер работает минут 10 (после перезагрузки службы или перезагрузки сервера) и вываливается в бесконечную ошибку:

Aug 30 21:44:48 truenas 1 2023-08-30T21:44:48.546351+05:00 truenas.local blazer_usb 2988 - - Permissions problem: Input/output error
Aug 30 21:44:48 truenas 1 2023-08-30T21:44:48.549774+05:00 truenas.local upsd 2990 - - Can't connect to UPS [ups] (blazer_usb-ups): No such file or directory
Aug 30 21:44:51 truenas 1 2023-08-30T21:44:51.259391+05:00 truenas.local upsmon 3000 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:44:51 truenas 1 2023-08-30T21:44:51.259437+05:00 truenas.local upsmon 3000 - - Communications with UPS ups@localhost:3493 lost
Aug 30 21:44:53 truenas 1 2023-08-30T21:44:53.108393+05:00 truenas.local collectd 3193 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected
Aug 30 21:44:56 truenas 1 2023-08-30T21:44:56.273793+05:00 truenas.local upsmon 3000 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:45:01 truenas 1 2023-08-30T21:45:01.296462+05:00 truenas.local upsmon 3000 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:45:06 truenas 1 2023-08-30T21:45:06.303901+05:00 truenas.local upsmon 3000 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:45:11 truenas 1 2023-08-30T21:45:11.328101+05:00 truenas.local upsmon 3000 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:45:13 truenas 1 2023-08-30T21:45:13.108560+05:00 truenas.local collectd 3193 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected
Aug 30 21:45:16 truenas 1 2023-08-30T21:45:16.329733+05:00 truenas.local upsmon 3000 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:45:21 truenas 1 2023-08-30T21:45:21.336792+05:00 truenas.local upsmon 3000 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:45:26 truenas 1 2023-08-30T21:45:26.400735+05:00 truenas.local upsmon 3000 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:45:31 truenas 1 2023-08-30T21:45:31.522569+05:00 truenas.local upsmon 3000 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:45:36 truenas 1 2023-08-30T21:45:36.617568+05:00 truenas.local upsmon 3000 - - Poll UPS [ups@localhost:3493] failed - Driver not connected

Естественно, ups перестает отвечать, так как драйвер не подключен.

Попробовал поменять порт, провод - опять все тоже самое минут через 10.

попробовал переподлючать службу ups, вываливаются интересные ошибки:

Aug 30 21:46:40 truenas 1 2023-08-30T21:46:40.309230+05:00 truenas.local upsmon 2998 - - upsmon parent: read
Aug 30 21:46:40 truenas 1 2023-08-30T21:46:40.350918+05:00 truenas.local upsd 2990 - - mainloop: Interrupted system call
Aug 30 21:46:40 truenas 1 2023-08-30T21:46:40.778142+05:00 truenas.local collectd 5079 - - nut plugin: nut_connect: upscli_connect (localhost, 3493) failed: Connection failure: Connection refused
Aug 30 21:47:33 truenas 1 2023-08-30T21:47:33.211351+05:00 truenas.local blazer_usb 5093 - - Permissions problem: Input/output error
Aug 30 21:47:33 truenas 1 2023-08-30T21:47:33.214517+05:00 truenas.local upsd 5095 - - Can't connect to UPS [ups] (blazer_usb-ups): No such file or directory
Aug 30 21:47:33 truenas 1 2023-08-30T21:47:33.887595+05:00 truenas.local collectd 5143 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected
Aug 30 21:47:34 truenas 1 2023-08-30T21:47:34.042746+05:00 truenas.local upsmon 5104 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:47:34 truenas 1 2023-08-30T21:47:34.042764+05:00 truenas.local upsmon 5104 - - Communications with UPS ups@localhost:3493 lost
Aug 30 21:47:39 truenas 1 2023-08-30T21:47:39.049746+05:00 truenas.local upsmon 5104 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:47:44 truenas 1 2023-08-30T21:47:44.345212+05:00 truenas.local upsmon 5104 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:47:49 truenas 1 2023-08-30T21:47:49.429245+05:00 truenas.local upsmon 5104 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:47:53 truenas 1 2023-08-30T21:47:53.862499+05:00 truenas.local collectd 5143 - - nut plugin: nut_read: upscli_list_start (ups) failed: Driver not connected
Aug 30 21:47:54 truenas 1 2023-08-30T21:47:54.545568+05:00 truenas.local upsmon 5104 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:47:59 truenas 1 2023-08-30T21:47:59.621801+05:00 truenas.local upsmon 5104 - - Poll UPS [ups@localhost:3493] failed - Driver not connected
Aug 30 21:48:04 truenas 1 2023-08-30T21:48:04.635994+05:00 truenas.local upsmon 5104 - - Poll UPS [ups@localhost:3493] failed - Driver not connected

склоняюсь настроить сервер с нуля...

 

[chs]

Ну а usbconfig, что показывает при проблемах ?

 

[kranidze]

Ну а usbconfig, что показывает при проблемах ?

Все так же, он работает:

root@truenas[/]# usbconfig
ugen2.1: <Intel EHCI root HUB> at usbus2, cfg=0 md=HOST spd=HIGH (480Mbps) pwr=SAVE (0mA)
ugen0.1: <Intel XHCI root HUB> at usbus0, cfg=0 md=HOST spd=SUPER (5.0Gbps) pwr=SAVE (0mA)
ugen1.1: <Intel EHCI root HUB> at usbus1, cfg=0 md=HOST spd=HIGH (480Mbps) pwr=SAVE (0mA)
ugen0.2: <INNO TECH USB to Serial> at usbus0, cfg=0 md=HOST spd=LOW (1.5Mbps) pwr=ON (100mA)
ugen2.2: <vendor 0x8087 product 0x8002> at usbus2, cfg=0 md=HOST spd=HIGH (480Mbps) pwr=SAVE (0mA)
ugen1.2: <vendor 0x8087 product 0x800a> at usbus1, cfg=0 md=HOST spd=HIGH (480Mbps) pwr=SAVE (0mA)

Я же говорю, оно работало, но в какой то момент сломалось, пытаюсь понять почему...
Чисто в теории, можно попробовать подключить фронтальные usb, посмотреть что будет на них, они вроде от другого чипа работают, может проблема все-таки железная...

 

[chs]

Чисто в теории, можно попробовать подключить фронтальные usb, посмотреть что будет на них, они вроде от другого чипа работают, может проблема все-таки железная...

Ну или кабель поменять.

 

[kranidze]

В общем и целом проблема решилась. Немного предыстории.
Сервер был собран, как я и говорил на китайской материнской плате. В тот момент (2020 год, если не ошибаюсь) - это было лучшее бюджетное решение. Но, как выяснилось потом (через год увидел на youtube, у кого то из блогеров) - мать не работает с коррекцией ошибок (ecc). То есть весь функционал работает, но только не ECC, хоть оперативка и была серверной. Меня это не устроило, а искать настоящую серверную мать по X99 или С612 чипсет было накладно по деньгам, в общем - я полез бороздить просторы интернета в поисках решения проблемы. И таки я ее нашел. Где то на просторах - один из блогеров сказал, что мол теоретически - можно найти и прошить биос, где поддержка включится, но так как построена материнская плата на непойми чем - вряд ли кто то этим будет заниматься. Ииии... Он был не прав - я нашел, что наши русскоязычные товарищи переписали кучу биосов, для разных китайских мат. плат, в т.ч. и для моей. И среди десятков, если не сотен версий биосов и двух суток попыток - я нашел тот, на котором завелась ECC.
Далее, судя по всему, начиная с этого момента - периодически отваливался USB. При том, непонятного рода отвалы - флешки, usb диски, все что угодно - работало стабильно (либо эти отвалы не замечал FreeBSD), но вот именно с контроллером моего UPS - уже дружить система не захотела. Далее читай начало темы, я уже обратился сюда за помощью.

Решение проблемы все таки встало в замене железа. Случайно на одной площадке объявлений увидел, что один товарищ продает комплект мат плату + процессор + охлад для него в виде Supermicro H11SSL-i + AMD EPYC 7551P (32/64) за очень вкусную цену (дешевле чем профессиональные "перепродажники"). Поторговавшись с ним, оценив возможности мат платы, я принял решение приобщиться к настоящему серверному железу в домашнем использовании. Спустя две недели могу сказать - что решение получилось крутое, даже после всех танцев с бубном вокруг Fan control и так далее - сейчас все работает тихо, стабильно и самое смешное, что в данной конфигурации - энергопотребление упало с 130 Вт на старой связке мат. платы и проц-а, до 80 Вт на новых. Так же оценил все прелести IPMI, watchdog'ов и др. Осталась маленькая проблемка с одним Noctua вентилятором, который раз в три часа на 5 секунд привод мат плату в ужас - ошибкой о том, что он сломался и встал, вследствие чего мат. плата начинает истерику и врубает весь доступный охлад на максимум (на 5 сек), после чего видит, что вентилятор работает и возвращается в стандартный режим работы. Но это уже мелочь, потому что в чем проблема я догадываюсь (кулеру >10 лет и он просто падает ниже неких пороговых значений по оборотам, из-за чего мат плата сходит с ума, хотя рядом работает абсолютно такой же кулер, который на 5 лет моложе и первый раз включился именно в этом сервере - и с ним все хорошо).

P.S. USB тут работают отлично, поэтому тема более не актуальна, всем большое спасибо за помощь.