Bien démarrer avec TrueNAS

[benj29]

Du coup, la batterie sera retirable :). Cool un truc de moins en panne lol.
Pour TrueNAS Core, il y a une application non officielle. Pour Scale, rien du tout. Dommage.
Pour les SMAART à ce jour, j'utilise le smart_daemon :
https://wiki.archlinux.org/title/S.M.A.R.T._(Français)

/dev/sda -a -o on -S on -s (S/../.././02|L/../../6/03) -m XXXX -W 4,35,40

- a surveille
-o on active la surveillance hors ligne
-S sauve les attributs
-s programme les tests SHORT (S) et LONG (L)
-W les températures à surveiler
-m le mail à envoyer
etc

 

[benj29]

Bon, moi j'attends toujours ma carte contrôleur... je commence un peu à perdre patience.
Mais bon, je ne veux me lancer dans rien surtout sans avoir validé SMAART avec la carte contrôleur pour être sûr que les disques soient bien monitorés...

 

[Pitfrr]

j'attends toujours ma carte contrôleur...

ah mince...

 

[benj29]

Hello,

Me revoilà... après quelques jours de vacances, j'ai installé la carte IT (elle est allumée/clignotante verte) mais j'ai visiblement un souci car seulement le SSD 800 Go est reconnu par le bios dans la partie Intelligent Provisionning (et encore !).

J'avais TrueNAS installé sur le SSD. J'ai donc échangé les cartes, rebranché (port1 et 2) à l'identique les 2 nappes et espérez que le serveur démarre sur le TrueNAS déjà installé... bah non !

J'ai retiré la carte d'origine HP P440ar pour mettre la carte DELL H310, flashé IT.

A la différence de l'ancienne carte contrôleur HP, elle n'est pas visible. C'est peut-être logique, car elle n'est pas connue par le bios d'HP.

Quand je démarre l'Intelligent Provisionning, j'arrive à voir 1 SSD mais surtout je ne vois aucun HDD 1To (7 normalement) comme s'était le cas sur le précédent contrôleur.

Je me dis que potentiellement c'est vraiment le BIOS et l'écosystem HP qui me bloque. Du coup, j'ai tenté de réinstaller TrueNAS sur le SSD en question (qui l'avait déjà) depuis la clé USB d'installation. Là, je me dis cool... je vois 6 disques (normalement y en a 7 !) et le SSD. Déjà plus encourageant...

Je refais donc l'installation de TrueNAS... mais là encore, ça ne démarre pas.
Je tente dans le BIOS de modifier le boot order et de demander le lancement sur le disque où est installé TrueNAS, il le voit mais démarre pas. Si j'appuie sur entrée, le serveur reboote.

Bref, je sèche :
- j'ai l'impression que le nouveau contrôleur fonctionne, même s'il est totalement invisible côté BIOS (peut être est ce normal)
- j'ai un souci de disque absent mais peut-être un souci de contact, pour simplifier, j'ai retiré les 7 disques HDD pour ne garder que le SAS
- je n'arrive pas à dire au bios de démarrer sur le disque SSD où est installé TrueNAS.

Je vais tenter quand j'aurai un peu de temps d'installer Proxmox sur le SSD et de voir comment ça se comporte.

 

[Pitfrr]

Je viens de lire un thread (et y'a une ressource liée) qui pourrait être en rapport avec ta carte.
J'espère que ce n'est pas le cas.... :-(

Bon sinon, qu'entends-tu par "le contrôleur est invisible côté BIOS"?
Il n'apparait pas dans le BIOS, ça c'est normal par contre que tu ne vois pas les disques là, ça l'est peut-être moins. Le problème c'est que je ne me souviens plus comment c'était pour moi à ce niveau là.
En gros voici les points à vérifier:

• Lorsque le serveur démarre, il doit y avoir un écran pour le contrôleur qui s'afficher (après l'écran du BIOS) et tu dois avoir un "F2" ou je-ne-sais-quelle-touche pour accéder au firmware éventuellement.
  • Je n'ai plus souvenir si les disques branchés alors sont listés.... (et pour être honnête, je vais pas regarder sur mon système car je veux pas le redémarrer... )
• Ensuite tu démarres TrueNAS
  • J'installerai TrueNAS sur un disque qui n'est pas sur la carte contrôleur (histoire de pas trop compliquer les choses car en effet dans le BIOS pas sûr que tu puisses sélectionner un de ces disques pour le démarrage).
  • Tu peux éventuellement vérifier dans une console de TrueNAS que le contrôleur est bien détecté (dans dmesg par exemple avec un grep -i lsi (si c'est une carte LSI).
  • Et tu vérifies que tes disques sont bien visibles dans TrueNAS

Ta capture d'écran avec "Smart Storage" ça c'est le contrôleur intégré donc tu verras rien ici, pour sûr.

Une question, dans la capture d'écran:

C'est bien l'écran d'installation de TrueNAS, on est d'accord?
Si je comprends bien, tu as branché sur la carte contrôleur 6 disques de 1To (ok, tu as dis 7 donc il en manque 1) mais aussi un SSD de 1To.
C'est sur ce SSD que tu essaies d'installer TrueNAS?
Parce que d'après cet écran, je dirai que ta carte fonctionne bien, est détectée par TrueNAS, donc ça semble bon. Pourquoi le 7e disque n'est pas vu, ça y'a p'tet une autre raison (connectique foireuse, problème du disque...).
Et je maintiens alors que si tu essayes d'installer TrueNAS sur le SSD, je le mettrai pas sur la carte contrôleur car c'est pas sûr que tu puisses démarrer dessus.
Tu peux mettre le disque SSD sur le contrôleur intégré, créer un volume simple et utiliser ce volume comme démarrage. Je ferai même mieux: tu crées un volume de aller, 128Go pour installer TrueNAS, tu crées un deuxième volume avec le reste de l'espace et tu pourras utiliser ce volume dans TrueNAS (alors attention, sans redondance alors mais ça peut être utile pour stocker des données "pas importantes" et ne pas perdre l'espace du disque de démarrage).

 

[benj29]

Oui, effectivement :

Me fait dire que la carte fait le boulot.
Mais alors booter dessus... pas réussi.

Je vais peut-être me résoudre à mettre le SSD SAS sur le contrôleur interne, c'est effectivement ce à quoi je pensais hier lors de mes essais.
Il me reste à voir effectivement derrière si l'installation de TrueNAS et l'utilisation du contrôleur en IT fait le taf en contrôleur.

Effectivement, sur la base de nos discussions précédentes, je ne suis pas près à sacrifier un disque 1 To SSD SAS pour TrueNAS.
Il faut donc partitionner le disque. L'installation ne le permet pas si j'ai bonne mémoire.
Il faut créer une partition zfs avec un soft en amont.

Si je démarre avec une clé bootable linux, sais-tu me dire ce que je dois faire ?
Sur mon disque SDH, je dois créer une zpool simple de 128 Go puis ensuite je lance l'installation et je le laisse faire sa tambouille dessus ?
Ou il faut créer des partitions dans le zpool ?

Sinon j'avais trouvé ça comme astuce et je mettrai 128G.

Derrière, j'utiliserai TrueNAS via le contrôleur et ZFS pour un raidz2. Par contre, comment m'assurer que la carte remplit bien sa fonction de contrôleur matériel de type raid (en gros que ce n'est pas fait logiciellement) ?

 

[Pitfrr]

Il faut donc partitionner le disque. L'installation ne le permet pas si j'ai bonne mémoire.
Il faut créer une partition zfs avec un soft en amont.

Non alors si tu veux faire ça dans TrueNAS, c'est assez compliqué et pas supporté (dès la prochaine mise à jour, ça va tout chambouler).
La façon que j'ai proposé est une alternative que je jugerai pas trop mauvaise (en tout cas pour une utilisation domestique).

Il y a en gros deux scénarios possible selon ton utilisation:

1. Avec hyperviseur (Proxmox ou VMware)
2. Sans hyperviseur, seulement TrueNAS

Dans les deux cas, l'approche est similaire et varie juste un peu.

Cas 1:

• Prérequis: je te conseille dans ce cas d'avoir deux ou plus SSD, partons avec 2 ou 3 SSD (mais un est possible aussi (sauf si le BIOS de la carte contrôleur ne le gère pas...))
• Prérequis: je vais supposer le HP DL360 G9 a un lecteur SD intégré et que l'hyperviseur démarre sur une carte SD
• Les SSD sont branchés sur la carte contrôleur RAID intégrée
• Tu crées un volume dans le BIOS de la carte contrôleur (selon le nombre de disque en miroir ou RAID5)
• Ce volume est utilisé comme stockage pour les VM de l'hyperviseur (je l'appellerai "volume VM" par la suite)
• Dans l'hyperviseur, tu crées une nouvelle VM pour TrueNAS
• Tu lui passes (en passthrough (je connais pas le terme en français!)) le contrôleur supplémentaire (flashé en IT)
• Tu lui réserves la mémoire en dédié (au moins 16Go)
• Tu crées un stockage (genre 64 ou 128Go) dans le volume VM qui servira pour l'OS TrueNAS comme démarrage
• Tu configures le démarrage pour démarrer sur l'ISO de TrueNAS pour l'installation
• Tu bootes la VM et installes TrueNAS sur le disque virtuel du volume VM
• Puis tu ajoutes les disques du contrôleur supplémentaire pour faire un stockage de données pour TrueNAS (en RAIDz2)

Cas 2:

• Note: C'est un peu similaire sauf que là tu vas juste te reposer sur le BIOS du contrôleur intégré
• Prérequis: je te ici aussi d'avoir deux ou plus SSD, partons avec 2 SSD (mais un est possible aussi normalement (sauf si le BIOS de la carte contrôleur ne le gère pas...))
• Les SSD sont branchés sur la carte contrôleur RAID intégrée
• Tu crées un volume dans le BIOS de la carte contrôleur (selon le nombre de disque en miroir ou RAID5)
• Sur ce volume tu crées 2 partitions
  • Une de 64 ou 128Go pour installer TrueNAS
  • Une avec le reste
• Tu bootes avec une clé USB (ou je-ne-sais-quel-autre-moyen-tu-as-choisi) TrueNAS
• Tu l'installes sur la partition de 64 (ou 128)Go
• Et ensuite tu ajoutes les disques du contrôleur supplémentaire pour faire un stockage de données pour TrueNAS (en RAIDz2)
• La deuxième partition du volume peut être utilisé (je crois, à confirmer si un disque seul peut être utilisé) dans TrueNAS pour stocker des fichiers pas très important (car sans redondance) mais au moins comme ça tu perds pas tout le reste de l'espace.

J'espère que c'est un peu plus clair.
Par contre, faut bien avoir conscience que le volume RAID créé avec le contrôleur RAID intégré n'offre pas le même type de redondance que TrueNAS avec ZFS!! Donc faudra faire gaffe aux données stockées dessus. Pour TrueNAS, il suffit de sauvegarde le fichier de config et c'est bon. Quant au reste, ce sera à toi de voir.

Sinon j'avais trouvé ça comme astuce et je mettrai 128G.

J'ai pas tout regardé en détail mais je te déconseille de bidouiller trop à ce niveau là, sauf si tu sais ce que tu fais.
Car, comme je le disais, si tu joues avec les partitions, à la prochaine mise à jour, ça risque de voler en éclat.

Par contre, comment m'assurer que la carte remplit bien sa fonction de contrôleur matériel de type raid (en gros que ce n'est pas fait logiciellement) ?

Déjà si tu vois tes disques (/dev/sda jusqu'à /dev/sdg par exemple), c'est déjà bon signe.
Ensuite tu peux vérifier que tu lis bien les données SMART et que les informations sont cohérentes (avec smartctl -a /dev/sdb par exemple).
Et puis après tu peux récupérer les infos de la carte, soit en regardant avec dmesg ce qui a été détecté ou en utilisant sas2flash -list pour afficher les informations.

Après y'a encore d'autres commandes comme:
sas2ircu list qui affiche la liste des contrôleurs
ou
sas2ircu 0 display qui affiche les détails des disques connectés sur le contrôleur 0

 

[benj29]

Bon, j'ai plusieurs choses qui me chagrine.

Je ne vois pas de BIOS dédié au contrôleur DELL... je verrai demain, mais les seules touches proposées par le serveur sont les classiques : bios HP, intelligent provisionning, boot order de mémoire. En regardant un peu sur le net, je vois un CTRL+R ou N ou un F2. A réessayer.

How to set up Dell PowerEdge RAID Controller H310 cards on a Precision workstation | Dell US

A ce jour, je ne souhaite pas ajouter de couche supplémentaire et l'objectif est d'avoir un seul OS, soit TrueNAS pour l'ensemble. Donc ça sera la seconde option.

Par contre, niveau disque, j'étais parti sur la même approche que j'avais actuellement. Sur un serveur, j'aurai :
- un SSD pour stocker le système, les VM
- des disques physiques pour les données, backup etc (en raidz2).

Je n'ai pas prévu de doubler le SSD par un raid ou autre protocole de duplication. J'ai toujours vécu comme cela côté Proxmox et j'ai eu une seule panne majeure (et c'était la CM) en 8 ans. La réinstallation de Proxmox n'était pas le plus long. Mes VM étant backups sur la partie storage de mon QNAP NAS dans l'architecture actuelle. La difficulté ici sera de garantir l'accès aux datas (ZFS RAIDz2 donc) avec TrueNAS sur un remontage.
Je ne sais pas si je suis clair ?

Par contre, ce que j'ai prévu est de faire la même installation sur un second serveur qui pourra prendre le relais en échangeant les disques et en updatant le fichier de configuration (j'ai vu l'option et ça c'est une force par rapport à Proxmox). C'est ce point là qui est aussi très intéressant sur QNAP pour reconfigurer un système (utilisateur, groupe, montage etc).

Du coup, je me pose une question sur ta proposition :

Cas 2:

• Note: C'est un peu similaire sauf que là tu vas juste te reposer sur le BIOS du contrôleur intégré
• Prérequis: je te ici aussi d'avoir deux ou plus SSD, partons avec 2 SSD (mais un est possible aussi normalement (sauf si le BIOS de la carte contrôleur ne le gère pas...))
• Les SSD sont branchés sur la carte contrôleur RAID intégrée
• Tu crées un volume dans le BIOS de la carte contrôleur (selon le nombre de disque en miroir ou RAID5)
• Sur ce volume tu crées 2 partitions
  • Une de 64 ou 128Go pour installer TrueNAS
  • Une avec le reste
• Tu bootes avec une clé USB (ou je-ne-sais-quel-autre-moyen-tu-as-choisi) TrueNAS
• Tu l'installes sur la partition de 64 (ou 128)Go
• Et ensuite tu ajoutes les disques du contrôleur supplémentaire pour faire un stockage de données pour TrueNAS (en RAIDz2)
• La deuxième partition du volume peut être utilisé (je crois, à confirmer si un disque seul peut être utilisé) dans TrueNAS pour stocker des fichiers pas très important (car sans redondance) mais au moins comme ça tu perds pas tout le reste de l'espace.

Avoir 2 SSD, pourquoi ? Car tu visais à avoir une redondance dans ta proposition ?
Plus haut, tu me proposais de mettre le SSD sur le contrôleur interne du serveur et non sur la dell.

Je me pose la question car je suis un peu perdu entre raidz, pas de raidz etc.
* Si j'arrive à accéder au BIOS du contrôleur, que le SSD est sur la carte (avec les autres disques) :
- je créé un RAIDz0 ou RAID0 (pas de redondance) pour le SSD 1 To. Avec une partition de 128 Go pour TrueNAS, l'autre partie sera pour les VM.
- j'installe TrueNAS dessus
- je créée un RAIDz2 dans TrueNAS (et non pas dans le contrôleur) avec mes disques HDD SAS 1To (soit 5 To puisque 7 To au total).

* Si je n'arrive pas à accéder au BIOS du contrôleur, je bascule le SSD sur le contrôleur interne (je garde les autres disques sur le contrôleur)
- d'une manière ou d'une autre, je tente par une clé USB live ou autre, je créé un RAIDz0 ou RAID0 (pas de redondance) pour le SSD 1 To. Avec une partition de 128 Go pour TrueNAS, l'autre partie sera pour les VM.
- j'installe TrueNAS dessus
- je créée un RAIDz2 dans TrueNAS (et non pas dans le contrôleur) avec mes disques HDD SAS 1To (soit 5 To puisque 7 To au total).

Du coup... à quoi sert le contrôleur si je créé sous TrueNAS le RAIDz2 (logiciel ?) ? je n'utilise aucun aspect matériel du contrôleur ?

Merci pour ton temps passé, en tout cas.

 

[benj29]

Bon, j'ai cherché à démarrer sur le BIOS du contrôleur, rien à faire. F2 fait voir les erreurs de démarrage, CTRL+N ou R etc ne marche pas.

La bonne nouvelle c'est qu'il voit le contrôleur, mais à aucun moment je ne peux démarrer dessus. Là encore, je peux démarrer en Legacy, mais cela ne marche qu'une fois, après le bios rebascule en UEFI. Bref, ça commence à me saouler un peu.

J'ai installé TrueNAS en démarrant en Legacy et je reboote et que je reforce un legacy, il démarre bien. Mais au boot d'après, il repart en UEFI, il voit bien le disque bootable TrueNAS mais refuse de démarrer. Il faut que je repasse à la main en Legacy...

J'ai ouvert le capot, et si je veux basculer le SSD sur le contrôleur interne de la CM, il n'y a aucun emplacement pour les disques. Les nappes slot1 et 2 ramènent en façade. Bref, pas top ça non plus. La solution serait donc de passer le SSD en SAS sur le contrôleur interne et de bricoler un support dans le rack pour que ça soit propre.

Je vais essayer de voir si déjà ça démarre sans forcer le boot en Legacy en mettant le SSD sur le contrôleur interne avec un câble SAS à la volante.

 

[Pitfrr]

Ok, tu est donc cans le cas 2, avec TrueNAS seul.

Avoir 2 SSD, pourquoi ? Car tu visais à avoir une redondance dans ta proposition ?

Oui tout à fait. Dans ce cas là je parlais bien d'un redondance réalisée avec le contrôleur RAID interne (B140i).
L'idée c'est d'avoir une forme de redondance (miroir avec 2 disque mais tu peux en mettre plus et faire du RAID5) même si elle n'est pas du niveau de ZFS, c'est toujours mieux.

Alors pour éviter les confusions, quand je parle du contrôleur intégré ou interne, je parle du contrôleur smart array B140i.
Et pour le contrôleur ajouté (flashé en mode IT), je vais parler du HBA, comme ça, ça évitera les confusions.

Du coup... à quoi sert le contrôleur si je créé sous TrueNAS le RAIDz2 (logiciel ?) ? je n'utilise aucun aspect matériel du contrôleur ?

On considère deux choses différentes là. Tu as le disque de démarrage et tu as le volume de données.
Généralement le disque de démarrage c'est un SSD sur lequel se trouve l'OS TrueNAS. Le volume de données on considère souvent plusieurs disques pour avoir une redondance (minium 2 pour un miroir) et profiter de ZFS.

Dans ton cas, ce que je conseille de faire c'est:

• Pour le disque de démarrage, le "transformer" en volume de démarrage en utilisant le contrôleur intégré B140i pour en faire un volume logique sur lequel tu vas créer une partition de 64 ou 128Go pour installer TrueNAS. Le reste de l'espace, tu pourras aussi le partitionner et l'utiliser dans TrueNAS (mais sans redondance).
• Pour le volume de données, là tu fais un volume ZFS avec tes disques, connectés sur le HBA et géré par TrueNAS.

Est-ce plus clair?
On est bien dans deux cas de figure différents et il faut avoir conscience que pour le volume créé avec le contrôleur intégré, tu n'auras pas la même redondance des données qu'avec le volume ZFS géré par TrueNAS.

Mais, cette solution te permettra peut-être de plus facilement configurer le disque de démarrage (si tu ne peux pas sur un disque qui est connecté au HBA) et te permet aussi de ne pas perdre l'espace du SSD où TrueNAS est installé.

* Si j'arrive à accéder au BIOS du contrôleur, que le SSD est sur la carte (avec les autres disques) :
- je créé un RAIDz0 ou RAID0 (pas de redondance) pour le SSD 1 To. Avec une partition de 128 Go pour TrueNAS, l'autre partie sera pour les VM.
- j'installe TrueNAS dessus
- je créée un RAIDz2 dans TrueNAS (et non pas dans le contrôleur) avec mes disques HDD SAS 1To (soit 5 To puisque 7 To au total).

Si ton SSD de 1To te sert de périphérique de démarrage, non tu ne peux pas faire ça. Car pour pouvoir faire un volume ZFS, il faut que TrueNAS soit d'abord installé quelque part...
Ton ordre est pas correct: tu installes TrueNAS d'abord et après tu crées les volumes (et donc sur le périphérique de démarrage tu pourras plus le faire).

* Si je n'arrive pas à accéder au BIOS du contrôleur, je bascule le SSD sur le contrôleur interne (je garde les autres disques sur le contrôleur)
- d'une manière ou d'une autre, je tente par une clé USB live ou autre, je créé un RAIDz0 ou RAID0 (pas de redondance) pour le SSD 1 To. Avec une partition de 128 Go pour TrueNAS, l'autre partie sera pour les VM.
- j'installe TrueNAS dessus
- je créée un RAIDz2 dans TrueNAS (et non pas dans le contrôleur) avec mes disques HDD SAS 1To (soit 5 To puisque 7 To au total).

Là aussi... "d'une manière ou d'une autre", justement non, si le SSD est connecté au contrôleur intégré B140i, la seule manière que tu as c'est de créer un volume depuis le contrôleur intégré donc pas de RAIDz mais du RAID0 à RAID5 (ou 6) selon les capacités du contrôleur. Et c'est ce que j'ai décris au début.

Note: j'ai l'impression que tu confonds le RAID matériel et le RAID logiciel. Le RAID matériel est géré par une carte (dans ton cas, le contrôleur intégré B140i). Le RAID logiciel est géré par... logiciel, dans ton cas c'est TrueNAS. Donc avant de pouvoir créer un volume ZFS, il faut que le logiciel (TrueNAS) soit installé. La carte HBA elle le fait pas de RAID... elle est "transparente" (c'est ce qu'on veut) et permet au système d'exploitation (dans ton cas TrueNAS) de voir directement les disques connectés dessus.


Pour tes problèmes de démarrage, UEFI ou legacy, je sais pas trop là. Faut peut-être chercher un peu sur internet si y'a une configuration spéciale.
Toutefois je reste convaincu (mais bon je voudrai pas avoir l'impression d'insister lourdement! c'est pas le but) que le plus simple pour toi serait de combiner l'utilisation du contrôleur intégré B140i pour le démarrage et du HBA pour les disque de données.
Après effectivement, tu auras peut-être une problématique de câblage (SAS vs SATA) à résoudre.
Pour ma part, sur mon HP DL380, j'ai enlevé la façade avant (avec un support pour 8 disques 2,5" SAS et un emplacement CD-ROM) et j'ai bricolé un support pour y mettre 6 disques 3,5" SATA (sur le HBA) et 3 disques 2,5" SATA sur le contrôleur intégré.

 

[benj29]

J'avais compris, mais merci beaucoup d'avoir pris le temps. Non, je ne confonds pas RAID logiciel et matériel. Ce que je ne comprends pas c'est le besoin de mettre une HBA transparente. Pourquoi ne pas utiliser le contrôleur interne de la CM dans ce cas ?

Autant, je peux "entendre" que la P440AR d'origine n'est pas "fiable" pour gérer les disques sous Linux, autant rajouter une carte transparente, le contrôleur interne de la CM est si pourri ?

Vu que je n'arrive pas à accéder au bios de la carte Dell, je ne peux rien faire avec les SSD branchés dessus.

Reste à :
- voir comment est organisé la carte arrière d'une baie (4 slots) pour diviser ça en deux,
- virer le DVD pour mettre les 2 SSD par exemple sur le contrôleur interne B140i,
- mettre les 2 HDD de la seconde partie sur le port 1 du HBA,
- mettre les 4 autres sur le port 0 du HBA (soit 6 sur le HBA, 2 sur l'interne).

Si tout ça OK (cas de redondance des SSD) :
- créer un volume redondant sur le contrôleur interne (donc RAID1),
- créer un volume de boot, un volume de data sur le premier disque (le RAID1 fera le boulot),
- installer TrueNAS sur le volume de boot,
- et démarrer le bouzin normalement du premier coup, puisque je passe par le contrôleur interne de la CM !
- créer un volume ZFS avec 6 HDD SAS 1 To (soit 4 To seulement de dispo).

Si pas OK (pas de redondance des SSD) :
- modifier le rack pour accéder à un SSD sur la carte contrôleur interne,
- créer un volume sur le SSD avec une partition limitée pour TrueNAS (je créerai la donnée ensuite sous TrueNAS),
- installer TrueNAS sur le volume de boot,
- mettre mes 7 disques restants via 2 ports SAS sur le HBA,
- créer le pool ZFS sur TrueNAS avec le HBA (donc 5 To dispo).

Bon je me suis pas trompé :) ?

 

[Pitfrr]

J'avais compris, mais merci beaucoup d'avoir pris le temps. Non, je ne confonds pas RAID logiciel et matériel.

Ok, désolé si j'ai paru un peu trop insistant... Ce n'était pas mon intention.

Autant, je peux "entendre" que la P440AR d'origine n'est pas "fiable" pour gérer les disques sous Linux, autant rajouter une carte transparente, le contrôleur interne de la CM est si pourri ?

Et maintenant c'est moi qui comprends pas! :-D
Mais peut-être que j'ai loupé une info et je suis parti sur une mauvaise base. Et je pense que je me suis aussi emmêlé les pinceaux.
Je sais pas pourquoi je suis parti sur un contrôleur intégré B140i... tu avais bien précisé P440AR. J'ai été induit en erreur avec le datasheet qui mentionne la B140i.

Et ce que je ne comprends pas bien à présent, quand tu parles du contrôleur interne de la CM, tu parles du quel?
Sur une carte mère conventionnelle (je parle pas là des cartes mères HP dans des serveurs du type que tu as), tu as souvent un contrôleur intégré à la carte avec 4 ou 6 (ou parfois plus) connecteur SATA.
C'est un peu plus rare, mais certaines cartes mères embarquent aussi un contrôleur SAS.
Sauf cas particulier (par exemple AsRock C2750) mais la plupart des contrôleurs ne posent pas de problème.

Mais alors tu as quoi exactement niveau contrôleur de disques dans le serveur (SATA et SAS)?
Tu as le B140i? Le P440AR? Tout ça c'est SAS.
Sur la carte mère tu as probablement des connecteurs SATA (au moins pour le CD-ROM)?

Si tout ça OK (cas de redondance des SSD) :
- créer un volume redondant sur le contrôleur interne (donc RAID1),
- créer un volume de boot, un volume de data sur le premier disque (le RAID1 fera le boulot),
- installer TrueNAS sur le volume de boot,
- et démarrer le bouzin normalement du premier coup, puisque je passe par le contrôleur interne de la CM !
- créer un volume ZFS avec 6 HDD SAS 1 To (soit 4 To seulement de dispo).

Oui, on est d'accord (c'est le cas 2 que j'ai décrit plus haut). Ce cas là devrait être possible dans ton cas.

- créer un volume ZFS avec 6 HDD SAS 1 To (soit 4 To seulement de dispo).

Si tu fais un RAIDz2, oui tu auras 4To de dispo. Tu peux éventuellement faire un RAIDz1 et tu auras 5To de dispo. Avec des disques de moins de 2To, RAIDz1 est encore possible.

 

[benj29]

Salut,

Bon, j'ai continué à avancer, mais je crois que je touche le bout...
J'ai viré la batterie (storage cell) puisque plus de contrôleur HP.
J'ai viré le DVD pour voir si je pouvais mettre mes SSD à terme.
J'ai aussi viré la carte fireware je crois (celle pour le transfert avec une baie de disque), histoire d'alimenter ça en moins.

Ensuite, j'ai activé dans le bios le contrôleur de la carte mère (sata controller 1 et 2).

Je me posais des questions en branchant mes SSD mais apparemment celui où est installé TrueNAS est reconnu (mais ne démarre pas !).

Quand ça démarre, il me met "no bootable device found" et il me propose de rebooter sur System Utilities ou de changer l'ordre de boot (par exemple sur la clé usb, dvd etc). Bref, il n'arrive toujours pas à démarrer sur le SSD.

Pour l'histoire de câble, je m'explique.
Il y a deux ports SATA sur la CM dont un "spécial" plus long que les classiques. J'ai branché mes 2 SSD dessus. On voit bien que le premier est plus long que le câble d'origine qu'il y avait pour le DVD. Quelques photos pour mieux voir.

Sur la CM :

Du coup, j'ai pu brancher qu'une partie du disque (il reste le connecteur long sur le SSD).

Un truc que je n'ai pas testé, c'est de repartir de 0 dans le Intelligent Provisionning, voir si le BIOS voit les 2 SSD, créer un RAID1, un volume, une partition de 128 Go et tenter d'installer TrueNAS.

 

[Pitfrr]

Pour info si je me souviens bien, sur mon serveur (HP DL380), je n'ai pas utilisé le connecteur du CD ROM car je crois que y'avait quelque chose d'un peu spécial (c'était au niveau de l'alim si je me rappelle). Mais je sais pas comment c'est sur le 360.

Pour le boot, n'aurais-tu pas une histoire de boot UEFI et secure boot? Faut que tu regardes et testes les différentes options dans le BIOS.
Peut-être qu'en faisant une réinstallation de TrueNAS, tu auras plus de succès.

 

[benj29]

Oui mais du coup tu as branché tes disques ?
Sur le Sata il me semble qu'il y a deux câbles. Un pour alim, un pour data.
Du coup je ne comprends pas comment le serveur peut voir mon disque...

 

[Pitfrr]

Sur le serveur il y avait une baie de disques pour 8 disques 2,5" SATA que j'ai retirée.
J'ai branché les disques SSD sur le contrôleur RAID matériel intégré avec un cable mini-SAS (connecteur sur le contrôleur)) vers SATA.
J'ai ajouté une carte HBA avec un cable (enfin 2 en fait) mini SAS (connecteur de la carte) vers SATA pour les disques 3,5".
Ensuite j'ai du bricoler un cable d'alimentation pour alimenter tout ce petit monde.
Sur la carte mère, il y a deux connecteurs d'alimemation (genre connecteur rectangulaire avec 2 rangées de 4 ou 5 pinoches), j'ai fait un cable "maison" pour y mettre tous les connecteurs d'alim SATA pour les disques.

Sur le connecteur SATA intégré à la carte mère (je sais plus si y'en a un ou deux) où y'avait le CD-ROM, je n'ai rien branché.

Et pour le démarrage, c'est un peu différent puisque je démarre VMware depuis une carte SD (y'a un lecteur de carte SD intégré à la carte mère).

 

[benj29]

Bon au final :
- la carte contrôleur Dell ne me permet pas d'accéder à mes disques SSD ou HDD.
- sur les connecteurs SATA de la CM, je n'arrive pas à brancher mes 2 SSD. Je n'ai pas les câbles qui vont bien.

Je commence à me poser la question d'être autant bloqué par le Gen en question.

 

[Pitfrr]

la carte contrôleur Dell ne me permet pas d'accéder à mes disques SSD ou HDD.ttu sera

La carte DELL, tu parles de la carte HBA, c'est ça?
Et quand tu dis "accéder à mes disques" tu veux dire en tant que périphérique de démarrage, c'est ça?

Alors pour ce dernier point, je ne saurai te dire. Peut-être que tu peux poser la question dans la partie anglophone du forums, il y aura plus de membres qui auront cette expérience?

Je commence à me poser la question d'être autant bloqué par le Gen en question.

Encore une fois, je ne connais pas exactement le 360G9 mais on est d'accord, c'est pas forcément trivial. Ca peut prendre un peu de temps avant que tu trouves ton cas d'utilisation adapté.
Mais je pense qu'une fois trouvé, tu seras satisfait (je base ça sur mon expérience et j'en suis très content et je trouve que c'est très fiable).

 

[benj29]

Oui, la DELL c'est la carte HBA (la carte flashée IT).
Oui, accéder à mes disques, c'est à dire, une fois truenas installé, booté dessus.

Quand je n'avais pas la carte Dell, sur le contrôleur d'origine HP (P440), j'ai pu installer truenas, créer un raid si j'avais besoin, etc.

Première possibilité :
- si je remets ma P440AR, j'utilise un port SAS pour mettre 2 SSD et faire un RAID1. J'installe TrueNAS dessus et j'ai un redondance RAID avec le contrôleur d'origine. C'est pas de la cochonnerie à ce point quand même !
- je garde ma carte IT, et je mets mes HDD pour le stockage. J'utilise ZFS via TrueNAS pour travailler dessus.

Seconde possibilité (désolé, je suis lourd) :
- je vire la carte IT,
- je réinstalle ma P440AR et je mets 1SSD et mes HDD dessus.
- j'installe truenas sur le SSD (pas de redondance ni rien)
- j'utilise ZFS via les disques connectés par la carte contrôleur HP. Je risque quoi de passer par le contrôleur P440AR ?

 

[Pitfrr]

Première possibilité

Oui tout à fait. C'est le cas que j'illustrais précedemment.

Seconde possibilité

Je déconseille car avec la carte P440, pas de mode IT (ou si il y en a un, pas sûr qu'on puisse lui faire confiance).
Ce que tu risques c'est qu'en cas de problème, TrueNAS ne pourra le déteter et tes données seront en péril.

(désolé, je suis lourd)

T'inquiète, mieux vaut être sûr de ce qu'on fait et que ce soit clair que d'aller trop vite.