Aide installation serveur DELL PowerEdge T320 avec TrueNAS Core

[JAFFRE]

Bonjour à tous, je viens de faire l’acquisition d’un serveur DELL PoweEdge T320 et j’ai des questions avec TrueNAS.

La première concerne un SSD de marque PNY qui fonctionne, mais, le serveur ne semble pas l’accepter plus que ça vu qu’il donne une erreur sur celui-ci et clignote orange (sur le serveur pas dans TrueNAS). J’ai lu qu’il faudrait privilégier les disques dur Intel, pourriez-vous me confirmer.

La seconde, le système SMART refuse de démarrer (S.M.A.R.T. service failed to start.) dans TrueNAS, j’ai essayé de le faire disque après disque sans succès. Une idée ?

Un bonus pour moi, auriez vous une astuce pour baisser la vitesse du ventilateur, pratiquement 2000 tr à rien faire s’est abusé.

Merci à vous.

 

[Pitfrr]

Bonjour,

Je ne connais pas ce modèle de serveur particulièrement mais voici mes commentaires:

- SSD: Bah non niveau SSD, y'a pas de préconisation particulière. Eventuellement, certains modèles spécifiques Intel si on veut mettre un cache mais pour le périphérique de démarrage, non.
Par contre, je ne sais pas comment c'est avec le T320 mais souvent une carte contrôleur (RAID de type PERC) est intégrée ou embarquée dans ce type de serveur. Si le disque dur est branché sur cette carte alors faut bien le configurer.
De manière générale: éviter d'utiliser ce type de carte avec TrueNAS, il faut des carte HBA et non RAID (certaines cartes RAID peuvent se reflasher en HBA mais ça dépend du modèle.

vu qu’il donne une erreur sur celui-ci

Quel type d'erreur est donné?

- SMART: Là il faudrait plus de précision. Comment sont connectés les disques? Si c'est comme mentionné précédemment, à travers une carte RAID alors il est possible que le service SMART refuse de se lancer si il n'a pas accès direct aux disques (encore que ça m'étonnerait qu'il se lance pas).
Comment vois-tu qu'il ne se lance pas? Y'a-t-il un message dans la console ou dans les logs relatif au service SMART?
D'ailleurs tu parles de "système SMART" mais cela concerne bien le service SMART dans TrueNAS?

- Ventilo: Peut-être que cela peut se régler dans le BIOS du serveur? Parfois ils sont en automatique et du coup... on peut pas les régler!! Souvent pour un serveur c'est le cas: en effet ils se concentrent sur le refroidissement plutôt que le bruit généré! Comme ils sont sensés être dans une salle serveur, le bruit n'est pas une priorité.
Il faut alors passer par une bidouille extérieur (hardware) pour réduire la vitesse du ventilo. Selon le modèle de ventilo (2, 3 ou 4 fils) c'est plus ou moins facile...

 

[JAFFRE]

Merci pour ton retour Pitfrr.

pour le SSD voici le message :

Voici le résultat du code

S'il parle du bios du serveur, tout est à jour. La personne qui me l'a vendu a fait toutes les mises a jour avant la vente. Apres vérification s'est ok.

Pour le contrôleur des disques dur il s'agit d'un "PERC H310 Adaptateur Contrôleur RAID". Sinon j'ai essayé de branché le SSD le connecteur SATA directement sur la carte mère, à coté du connecteur SATA DVD et j'ai pas d'erreur qui remonte sur le serveur. Bon s'est une solution, mais la solution m'intéresse quand même.

Pour le ventilo, dans le bios il y a bien un réglage et même sur la carte IDRAC mais s'est pas top et le mieux s'est 2000 tr en gros et ça cause un peu quand même. J'ai lu aussi qu'il n'était pas possible de tricher sur le voltage du ventilo afin de baisser la vitesse vu que le système se baserais sur "la vitesse" comme contrôle.

 

[Pitfrr]

Alors attends... je suis pas sûr de tout suivre...

• Tu as un serveur T320
  • Il y a une carte contrôleur RAID PERC H310 intégrée et des connecteurs SATA sur la carte mère
• Qu'est-ce que tu utilises comme périphérique de démarrage pour TrueNAS? Je pensais que c'était justement le SSD. Ou alors cherches-tu à utiliser le SSD comme volume dans TrueNAS?
• L'erreur 2000-0251: quand apparait-elle? Car elle ne semble pas liée au SSD... Elle est liée au journal d'événements. Après faut voir ce qu'il y a dans le journal d'événements et effacer/corriger les éventuelles erreurs présentes.

Concernant le contrôleur de disque, il faut être sûr que ce dernier soit flashé en mode IT (apparemment il est possible de le flasher) car s'il est en mode RAID, cela ne sera pas bon pour TrueNAS.
L'idéal étant d'utiliser le port SATA sur la carte mère pour mettre le périphérique de démarrage pour TrueNAS (je pensais que c'était le SSD) et sur le contrôleur de disque (flashé en mode IT), connecter les disques pour le volume de données pour TrueNAS.

Pour les ventilo, il ne va pas y avoir beaucoup de solution. Il faudrait éventuellement rajouter un montage entre le ventilo la prise pour réduire la vitesse tout en faisant croire au serveur que tout va bien, mais c'est pas simple quoi...

 

[JAFFRE]

TrueNas est sur une clé USB, car j'ai compris qu'une fois chargé, la clé ne servait pratiquement plus. Le SSD est la uniquement en disque dur de données.
Pour le message d'erreur, je ne l'ai que quand je branche le disque SSD dans un des 8 rack en façade. Coïncidence ? sinon dans le bios j'ai réglé au niveau du contrôleur, les disques dur en non RAID.
Pour le ventilo, j'ai essayé un Zalman FANMATE2 entre la carte mère et un ventilateur en 3 pins.

A l'allumage du serveur j'ai pas d'erreur, j'ai le retour de rotation, je tente de le baisser et ça a l'air de passer, du moment que le ventilo tourne (sinon défaut sur le serveur). Je vais essayer de pofiner tout ça.

 

[Pitfrr]

Pour le message, y'a-t-il une entrée spécifique dans le journal d'événements relatif au SSD? Car sinon, je ne comprends pas pourquoi cette erreur arrive lorsque le disque est inséré dans un des racks?!? Tu peux essayer avec un autre disque?
Faut aussi vérifier si le rack est bien compatible avec le disque (le rack peut être pour les disques SAS et le disque en SATA).

Après, ce n'est toujours pas obligatoirement suffisant de régler le contrôleur en mode non RAID dans le BIOS..... mais ça faudra ensuite vérifier avec TrueNAS si il arrive bien à voir les disques en direct et à récupérer les infos SMART des disques.

Pour le ventilo, je n'ai aucune expérience avec ce genre de matériel, alors je dirai.... faut tester et si ça marche, super!

 

[JAFFRE]

A la place du SSD je peux mettre un disque classique sans soucis.

Dans TrueNAS j'ai accès aux disques, mais les infos SMART non, et de plus le service n'arrive pas a se lancer.

J'ai commandé un Noctua NA-FC1 pour la vitesse du ventilo, je croise les doigts pour que cela fonctionne.

 

[Pitfrr]

Si dans un terminal tu lances un smartctl -a /dev/da0 (avec /de/da0 en fonction de ton SSD, ça peut être /ada0 ou un autre chiffre), ça donne quoi?

Car en effet, si tu n'as pas les infos SMART alors probablement que ta carte contrôleur "filtre" même en mode non-RAID et ça c'est pas bon. Et dans ce cas, il se peut que la carte controlleur ne reconnaisse pas le SSD (et ça semble confirmer puisque, si je comprends bien, si tu mets le SSD sur un connecteur SATA de la carte mère, pas de soucis).

 

[JAFFRE]

Salut, j'avais arrêté le serveur cette nuit. Cette après midi je l'ai rallumé, il a fait tout son ptit truc de démarrage et une fois TrueNAS de démarré, le ventilo est inaudible. Bref j'ai pourtant rien fait, de plus le système SMART a démarré dans TrueNAS.

Sur les disks branchés sur la carte RAID j'ai testé le SMART, j'ai ça comme résultat :

Par contre pour les disks qui sont branchés sur les connecteurs SATA de la carte mère, j'ai tout une tartine ...

"Warning: settings changed through the CLI are not written to
the configuration database and will be reset on reboot.

root@TrueNAS-DELL[~]# smartctl -a /dev/ada0
smartctl 7.2 2020-12-30 r5155 [FreeBSD 12.2-RELEASE-p6 amd64] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family: Phison Driven SSDs
Device Model: PNY CS900 240GB SSD
Serial Number: PNY07200002690605561
LU WWN Device Id: 5 f8db4c 072005561
Firmware Version: CS900J13
User Capacity: 240,057,409,536 bytes [240 GB]
Sector Size: 512 bytes logical/physical
Rotation Rate: Solid State Device
Form Factor: 2.5 inches
TRIM Command: Available
Device is: In smartctl database [for details use: -P show]
ATA Version is: ACS-4 (minor revision not indicated)
SATA Version is: SATA 3.2, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is: Mon Apr 26 08:10:48 2021 PDT
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (65535) seconds.
Offline data collection
capabilities: (0x79) SMART execute Offline immediate.
No Auto Offline data collection support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 30) minutes.
Conveyance self-test routine
recommended polling time: ( 6) minutes.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000b 100 100 050 Pre-fail Always - 0
9 Power_On_Hours 0x0012 100 100 000 Old_age Always - 6
12 Power_Cycle_Count 0x0012 100 100 000 Old_age Always - 16
168 SATA_Phy_Error_Count 0x0012 100 100 000 Old_age Always - 0
170 Bad_Blk_Ct_Erl/Lat 0x0003 085 085 010 Pre-fail Always - 0/99
173 MaxAvgErase_Ct 0x0012 100 100 000 Old_age Always - 1
192 Unsafe_Shutdown_Count 0x0012 100 100 000 Old_age Always - 8
194 Temperature_Celsius 0x0023 067 067 000 Pre-fail Always - 33 (Min/Max 33/33)
218 CRC_Error_Count 0x000b 100 100 050 Pre-fail Always - 0
231 SSD_Life_Left 0x0013 100 100 000 Pre-fail Always - 100
241 Lifetime_Writes_GiB 0x0012 100 100 000 Old_age Always - 13

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Short offline Completed without error 00% 2 -
# 2 Short offline Completed without error 00% 2 -

SMART Selective self-test log data structure revision number 0
Note: revision number not 1 implies that no selective self-test has ever been run
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0"

En gros, cela ne semble pas fonctionner pour les disques sur la carte RAID.

 

[jgreco]

https://www.truenas.com/community/t...s-and-why-cant-i-use-a-raid-controller.81931/

 

[Pitfrr]

Oui la "tartine" c'est ce que tu veux avoir.
Donc cela confirme bien que la carte contrôleur ne donne pas accès direct aux disques. Et ça c'est pas bon...

Tu peux aller lire le lien proposé par @jgreco (thanks @jgreco for the link) qui te donnera plus de détails sur les cartes contrôleur et les différences.

La solution:
- soit flasher le contrôleur pour le passer en mode IT (j'ai cru lire que c'était possible avec le H310)
- soit acheter une carte déjà flashée (de type LSI 9211)
Cela dépend un peu de comment tu le sens, le flashage est peut-être un peu compliqué... (j'ai pas regardé comment c'était pour le H310)
Mais ça vaut peut-être le coup de tenter de le flasher et au pire si ça marche pas alors l'achat peut être envisagé.

 

[JAFFRE]

J'ai déjà flashé des cartes dans ma vie, mais la le truc de zinzin ... j'ai une tonne de chose a faire sur un tuto en Anglais ...
Quand j'aurais trouvé un tuto en Français, bien expliqué, pourquoi pas.

 

[Pitfrr]

Ah oui... Un tuto en anglais n'est pas compliqué à trouver mais en français c'est autre chose...
Et puis faut en trouver un qui soit aussi un peu à jour... Bon courage! :-O

 

[JAFFRE]

The question !

Est ce la même manipe sur une carte PERC H200 et ma PERC H310 ?

Car si oui, j'ai trouvé ça : DELL PERC H200, PASSAGE EN MODE IT

 

[viph]

Bonjour à vous,

Amusant, j'ai justement récupéré ce type de serveur.
C'est avec lui que j'ai ce bug d'affichage sur le dashboard (https://www.truenas.com/community/threads/affichage-dashboard.92726/#post-642123)

j'y ai placé une carte flashée.
Avant, oui, ce fut compliqué car ça plantait, j'ai essayé avec un T110 (dell) et sur 3 cartes H310/m1015, deux se sont foirées!!
Avec le T320, les flashage est passé sans souci et comme le tuto que tu décris.
Mêmes les cartes récalcitrantes sont revenue à la vie !
Point complémentaire: si tu es sûr de ne pas revenir en arrière et de rester en IT pour toujours... l'adresse de la carte est sans intérêt. D'ailleurs cette dernière est flashable, il suffit qu'elle commence par 500 (de mémoire).
Oui, la manip est commune à toutes ces cartes (toutes sur le meme chipset broadcom).

le boot est super long : c'est normal.

la ventilo fait un bruit d'avion : c'est normal.

le mien a 32 Go et j'ai voulu ajouter 2*8 (ECC) mais ça bug, alors je suis sur la caractérisation du souci.

ce qui est marrant : j'avais déjà tout installé et commençait à ajouter les services quand -ayant garder le moniteur branché- j'ai vu les messages d'erreurs, rien n'étaient reporté par Truenas, ou alors je ne l'ai pas vu.
Bref, depuis deux jours, je fais chauffer une clef avec Memtest.

j'ai suivi les reco : systeme sur ssd... j'ai mis 2 ssd de 120 Go (29e pièce) en raid1.
les ssd sont branchés sur les 2 seuls ports sata de la carte mère.

les 8 disques de stockages sont eux branchés sur la carte controleur (en fait là une m1015).

le boitier est tellement grand qu'il y aurait de la place pour ajouter 4 autres disques (dans un sous boitier à ajouter), à brancher sur la SAS de la carte mère.

 

[JAFFRE]

Mais en gros s'est quoi ce mode IT (mode informatique) par rapport à l'original ? ça va changer quoi ?

Dans mon cas, les disques seront correctement reconnus sur TrueNAS, mais demain si je met un autre OS il va se passer quoi après se flashage.

 

[Pitfrr]

Le mode IT n'a rien à voir avec "l'IT" de l'informatique, c'est le IT de "Initiator Target".

Le mode IT c'est en fait une manière de gérer les disques on va dire.
En gros, et en simplifiant hein, pour une carte contrôleur on va avoir deux modes possibles:

• Mode HW RAID
  • La carte offre une gestion RAID matérielle et prend donc en charge directement les disques, les "isolants" du système d'exploitation.
  • Dans ce mode, tu peux avoir désactivé la fonction RAID (comme c'est ton cas) et la carte "passe" les disques au système d'exploitation mais pas complètement... (comme c'est le cas puisque tu ne peux pas avoir accès aux données SMART).
  • Certaines cartes proposent aussi un mode HBA (ou JBOD, "Just a Bunch Of Disks") mais là aussi, ce n'est pas un mode complètement transparent d'un point de vue du système d'exploitation.
• Mode IT ou HBA (Host Bus Adapter)
  • La carte ne s'occupe pas de la gestion des disques et sert juste de contrôleur pour "passer" les disques un à un au système d'exploitation.
  • On peut rencontrer aussi le mode IR qui est parait-il un peu plus lent... on préférera donc le mode IT.

demain si je met un autre OS il va se passer quoi

Bonne question!! J'ai pas de réponse pratique à donner car je n'ai encore jamais essayé avec un autre OS (et je prévois pas de changer à plus ou moins long terme) mais je suppose que le système d'exploitation verra des disques indépendant tout simplement.
Si on reste dans les NAS et qu'on parle des OS NAS (de type OMV ou Unraid ou XigmaNAS) alors il y a de fortes que chances pour que ce dernier préfère également un contrôleur en mode IT que un en mode RAID matériel... mais ce n'est que théorique car je n'en ai pas fait l'expérience.

 

[viph]

mode IR : la carte gère le raid par elle même.
selon la littérature freenas/truenas, lorsque la carte meurt, et avant, elle corrompt les données.
en cas de souci(s), la récupération serait difficile voir impossible.

Mode IT : la carte ne fait rien, tout est géré par Truenas, et forcément car sinon on ne serait pas là... c'est vraiment mieux !

toujours selon la littérature, freenas/truenas aurait même tendance à mal utiliser le mode IR essayant d'adresser les disques en direct, ce qui se traduirait par une baisse des performances.
Je n'ai pas essayé mais je pense que lorsque deux systèmes essayent de faire une même chose... ça se passe mal ! donc je ne suis pas choqué par la littérature
autre signe : personne ne vend rien... sauf sur ebay où une carte pré-flashée IT est vendu 80$ alors que la même n'en vaut que 18 à 25 en mode IR !!!

les cartes flashée IT sont réputées plus rapide pour un usage avec Truenas (débits purs par disque, files d'attentes mieux gérées...)

une fois flashée en IT, la carte perd la capacité à gérer le RAID en hardware, par son propre chipset.
nota : le retour en arrière est possible, parfois -suivant le firmware que l'on replace- la carte peut etre vue comme une simple "générique" avec le driver source...
Broadcom/avago : "générique"
Dell : "non générique" apparait comme une carte dell mais n'a pas plus (ni moins) de fonctionnalité par rapport au précédentes
Supermicro : cas particulier, aussi particulier que les cartes sont chères (quand on les trouvent)... les modes IT et IR seraient quasi aussi performants, car ils prennent la peine de ré-écrire les drivers et pas juste "rebadger" les sources (dell, hp...)

perso, en IT, sur mes 2 machines (8*3 To et 8*8 To) , je suis limité par mon réseau en Gbits. celle avec Intel G4560 (2/4) (machine DIY) monte au max à 40% (10-25 sur des simples copies de fichiers) et le xeon 2407 (T320) est encore moins sollicité (les deux avec 32 Go de ram).
serait-ce mieux en IR ? ou beaucoup moins bien ? je ne saurais le quantifier.

 

[JAFFRE]

Bon, j'ai suivi se TUTO, car avec l'autre la première commande fonctionnait pas. Maintenant que s'est fait, ben pour la suite d'un éventuel retour...

Un truc que j'ai remarqué, au démarrage du serveur, plus de contrôle des disques. Du coup le voyant vert de droite dans chaque racks, qui donne l'état du disque est il toujours fonctionnel ? pour le moment ils sont toujours vert.

Dans TrueNAS, le SMART fonctionne sur les disques qui sont sur la carte PERC H310. Exemple le disque dur mfisyspd0 et devenu da0.

Pour le ventilo, le fait d'avoir redémarré, ben lui il s'est remit à causé plus fort. Quand j'aurais reçu le Noctua NA-FC1, je vais le faire taire.

 

[viph]

avec la carte dans son état naturel, c'est via son propre bios que l'on contrôle les disques au démarrage.
en IT, la carte est grandement simplifiée

oui, tous mes disques sont nommés da xx