Bien démarrer avec TrueNAS

[benj29]

Dernière possibilité en reprenant à tête reposée. La cm a deux ports sas, je n'avais pas vu.

Si je passe par elle directement sans la carte contrôleur je risque quoi ?

Là encore deux possibilités.

1) je bascule tout, ssd et hdd, et j'espère que truenas est OK avec le contrôleur interne de la cm.

2) je garde les hdd sur la carte dell perc pour le zfs. Je trouve un adaptateur sas vers Sata avec alim et données. Pas trouvé.

Si je fais ça, est ce que je peux faire un zfs type raid 1 avec Linux et la cm interne ?

La 2 devient intéressante si c'est possible car je peux avoir 6 disques hdd en zraid5 et 2 disques ssd en zraid1.

J'ai l'impression que la carte fille des disques en façade a son alim à part des connexions sas.

Donc je ne sais pas si ça existe un convertisseur sas vers Sata avec alim... Et où je peux récupérer cette alimentation.

Par contre le dvd avait son alim et data sur ce connecteur

 

[Pitfrr]

Si je passe par elle directement sans la carte contrôleur je risque quoi ?

Les connecteurs SATA sur la carte mère ne devraient pas poser problème et devraient fonctionner sans soucis.
Le problème que tu risques de rencontrer (et tu l'as déjà vu avec le connecteur du DVD) c'est l'alim'.
Il faudra que tu repiques l'alim pour les disques quelque part et je ne sais pas quels connecteurs d'alim tu as sur la carte mère et s'ils sont standards. Et pour le connecteur DVD, il te faut un cable spécial...

1) je bascule tout, ssd et hdd, et j'espère que truenas est OK avec le contrôleur interne de la cm.

Comment ça? tu bascules tout, SSD et HDD? Mais tu n'as pas assez de connecteurs sur la carte mère... Si j'ai bien compris, sur la carte mère tu as 2 connecteurs donc si tu voulais mettre 7 HDD (si je ne souviens bien), c'est pas possible,

Par contre mettre le SSD de démarrage dessus (si tu arrives à brancher l'alimentation) alors pourquoi pas. Mais attention si tu utilises ton disque de 1To, tu vas perdre pas mal de place, je te conseille alors un disque de 128Go d'occas' par exmple.

2) je garde les hdd sur la carte dell perc pour le zfs. Je trouve un adaptateur sas vers Sata avec alim et données. Pas trouvé.

La carte DELL perc, c'est ta carte HBA hein? Donc ok, oui ça c'est bon.
Par contre en effet le cable alim pour le connecteur DVD, galère... et j'ai pas de conseil à ce niveau là.

Si je fais ça, est ce que je peux faire un zfs type raid 1 avec Linux et la cm interne ?

Alors de quoi tu parles exactement "raid 1 avec Linux et la cm interne"?

En gros, sur la carte HBA, normalement tu peux connecter 8 disques et avec TrueNAS, tu peux les organiser comme tu veux (6 disques en RAIDz2 par exemple et 2 en miroir).
Sur la carte mère, tu as deux connecteurs mais l'un sera probablement utilisé pour le démarrage de TrueNAS et il en restera un que tu pourras utilisé avec TrueNAS et les autres disques du HBA disponibles, comme tu veux.

 

[benj29]

La carte mère ne permet de faire de raid ? c'était le sens de faire un raid1... (si matériel) ou un z1 (par truenas) en amont de l'installation.

Effectivement, je n'ai trouvé aucun connecteur pour récupérer une alimentation et c'est galère ce point.
Il faudrait que je modifie le câble DVD pour récupérer l'alimentation et la renvoyer vers une alimentation...

Soit j'utilise le seul port SATA que j'ai pour mettre un disque et je bricole un truc depuis le câble DVD pour récupérer l'alimentation.
Soit je trouve un convertisseur SAS vers SATA (j'ai deux ports sur la CM en SAS) et je bricole un truc un truc depuis l'alimentation DVD que je dédouble et je branche mes 2SSD...

Mais là, je ne trouve rien du tout !

Effectivement, ensuite, je peux brancher mes 6 HDD sur le contrôleur HBA Dell Perc. Et non 8, car ma façade ne permet que d'en mettre 6 malheureusement !

 

[Pitfrr]

Et non 8, car ma façade ne permet que d'en mettre 6 malheureusement !

Ah oui, effectivement.
Selon tu peux peut-être rajouter deux SSD que tu glisses dans le boitier si y'a la place... C'est p'tet pas prévu mais ça passe peut-être?
Enfin bon ça peut s'envisager au besoin.

 

[benj29]

My mistake.

Je peux bien en mettre 8.

Effectivement pour la trappe du DVD, je vais modifier la face avant (le truc vide en haut à droite pour monter deux SSD).

Je pense avoir trouvé le bon câble.
https://amzn.to/3Pxut8x

Sur la CM c'est un câble 13 broches (miniSata).
Sur le port 4, il n'y a que le data si je comprends bien (bizarre, c'est seulement deux fils, j'aurai cru que c'est la nappe).
Je branche mes 2 SSD sur les ports 4 et 5 sur la CM.
A la différence que sur le port 4, j'utilise la partie longue et je branche un câble que j'avais dans mon stock qui "chaine" les alimentations pour les 2 disques SSD.

Ca devrait le faire non ?

La dernière chose qui reste à voir est :
- 1 seul SSD et je fais la modif pour installer TrueNAS sur une partie ?
- est-il possible de mettre 2 SSD et de faire un raid z1 par un linux en amont et ensuite d'installer TrueNAS.

Si j'arrive à faire la seconde solution, là, le serveur devient intéressant.
Car raidz1 pour les VM et l'OS (ok, pas officiel, donc risque de casser un truc en update) (si j'ai compris raidZ ou raidz1 est l'équivalent du simple parité).
Et raid z2 (donc 2 disques de perdu) pour les 8 HDD 1 To, soit 6 To de dispo, j'ai juste ?
Car raidz5 avec 8 disques 1 To

 

[Pitfrr]

Je pense avoir trouvé le bon câble.

J'ai eu un doute au début car on voit pas bien sur la photo, mais si tu es sûr de ton coup alors ça devrait être bon.

La dernière chose qui reste à voir est :
- 1 seul SSD et je fais la modif pour installer TrueNAS sur une partie ?
- est-il possible de mettre 2 SSD et de faire un raid z1 par un linux en amont et ensuite d'installer TrueNAS.

Alors si tu utilises les connecteurs sur la carte mère, il est fort probable qu'ils ne sont pas reliés au contrôleur RAID intégré, donc tu pourras pas les configurer en RAID.
Donc, si tu connectes 2 SDD, tu en auras un utilisé par TrueNAS (et comme je le disais je te conseille de trouver un d'occas de petite capacité) et le deuxième tu pourras l'utiliser comme volume sous TrueNAS, sans redondance (si tu as un SSD de 1To, tu pourras l'ajouter au volume avec les autres disques de 1To, mais c'est pas intéressant d'utiliser un SSD avec des disques mécaniques, tu perds tout l'intérêt).

- est-il possible de mettre 2 SSD et de faire un raid z1 par un linux en amont et ensuite d'installer TrueNAS.

Non, non... Là je pense qu'il y a un concept que tu n'as pas compris (ou alors j'ai mal compris ce que tu cherches à faire) mais tu peux pas créer un volume RAID logiciel avec un linux quelque part et l'utiliser ensuite sur une autre machine. Il te faut soit un contrôleur RAID matériel ou un contrôleur RAID logiciel. Pour le contrôleur matériel, il doit être présent sur le système pour que le volume RAID fonctionne. Pour le contrôleur logiciel, un logiciel doit tourner avant de pouvoir créer et accéder au volume RAID (donc là l'exemple c'est TrueNAS).

C'est pour ça que je te disais d'utiliser le contrôleur RAID matériel (avec un ou mieux deux SSD) pour faire un volume utilisé pour l'installation de TrueNAS et ensuite utiliser TrueNAS pour gérer les 8 disques de 1To (avec la carte DELL).

 

[benj29]

Effectivement, je pensais à tord que TrueNAS proposait un RAID logiciel possible en amont.
Conclusion, je vais partir sur TrueNAS avec modification de la partition.
Je ne vais pas encore rajouter des frais pour changer les SSD de 800 Go. Tant pis.
J'aurai 2 SSD d'avance, au cas où.

A la limite, une fois que j'ai fait l'installation, rien ne m'empêche de sortir le SSD et de faire une image complète sur un autre SSD.

On va déjà démarrer comme ça...

Je suis tombé sur un article pour faire booter proxmox qui semble très récalcitrant.
C'est curieux, c'est très proche de bibi...

Booter Proxmox sur un HP ProLiant DL380p G8 récalcitrant

Au boulot on a récemment fait l'acquisition d'un serveur HP ProLiant DL380p de 8ème génération d'occasion pour des besoins en stockage. Il s'agit d'une machine avec 12 baies disques de 3.5

blog.flozz.fr

 

[Pitfrr]

Alors attention qu'avec la modification de partition en cas de mise à jour ça risque de supprimer ces changements. C'est absolument pas garanti qu'une mise à jour ne vienne pas tout dégommer sur le disque de démarrage.
Je l'ai déjà dit et je préfère le répéter... (je n'ai moi-même jamais fait cette modif donc je ne parle pas par expérience mais des messages que j'ai vu sur le forum)

 

[benj29]

Bon, j'ai commandé un disque SSD de 128 Go, je vais tenter, à 12€....
Je ne pensais pas que c'était si peu cher lol !

Du coup, ce qui m'a décidé :
- j'ai commandé un adaptateur SAS vers SATA,
- j'ai gardé le convertisseur SATA 13 vers 22 pour récupérer l'alimentation,
- je vais utiliser la multiprise (4 connexions alim dispo) pour alimenter les 3 SSD,
- je vais utiliser un port SATA de la CM pour démarrer sur le SSD où sera installé TrueNAS,
- je vais utiliser le connecteur SAS de la carte mère pour mettre les 2 SSD 1 To pour les VM en RAIDz1 (soit 1 To dispo).
- je vais utiliser les 2 connecteurs de la carte DELL en IT donc pour mettre les 8 HDD 1 To en RAIDz2 (soit 6 To).

Reste à espérer que :
- le SSD soit bien reconnu par le CM,
- que je puisse installer TrueNAS dessus et que ça boote (pour l'heure, je n'ai pas réussi sans le contrôleur matériel d'origine),
- que le choix de la carte Dell IT (PERC300) soit le bon pour mes disques. D'ailleurs comment m'assurer qu'elle est en mode IT et que je n'aurai pas de souci ?

 

[Pitfrr]

- que le choix de la carte Dell IT (PERC300) soit le bon pour mes disques. D'ailleurs comment m'assurer qu'elle est en mode IT et que je n'aurai pas de souci ?

Si tu arrives à lire les informations SMART des disques sans problème alors il y a une grande chance pour que la carte HBA fonctionne correctement en mode IT.
Pour cela, en ligne de commande: smartctl -a /dev/<periphérique>

 

[benj29]

Bon, déjà une première bonne nouvelle.
J'ai reçu le SSD 128 Go et l'adaptateur SATA 13 vers 22.
Donc SSD 128 Go installé à l'arrache, boot en legacy, clé truenas, installation... bingo.
Ca démarre du premier coup.
Un bon point.

J'ai eu un doute car il me demandait si je devais autoriser le EFI boot, et j'ai mis NO vu que j'étais en legacy.

Truenas voit bien les disques sur la carte contrôleur Dell en mode IT lors de l'installation. On verra pour la partie smart plus tard.

Prochaine étape, recevoir le câble SAS to SATA pour mettre les 2 SSD qui serviront pour les VM sur le raidz1.
A ce moment là, je créerai les raidz2 pour les HDD 2.5p aussi.

Et on commencera à mettre les mains.

 

[Pitfrr]

Question bête peut-être mais

et j'ai mis NO vu que j'étais en legacy

Pourquoi tu dis être en legacy?
Qu'est ce qui fait que tu ne puisses pas booter en EFI?

 

[benj29]

Il me semble que le BIOS démarre en legacy, j'ai un doute.
Je vérifierai dans les options du bios.

 

[benj29]

Bon, j'ai modifié le bios en UEFI, j'ai refait une installation car apparemment le fait de l'avoir installé en Legacy posait problème, ça stoppait dans le démarrage de l'installation actuelle :

Pour faire un truc propre, j'ai modifié le casier du DVD que j'ai viré pour installer les 3 SSD. 1 pour l'OS, 2 pour les VM avec le raid à venir.
Galère de faire passer tous les câbles...

La face avant n'est pas trop moche lol :

Quelques découpes des rails du support DVD, deux perçages sur la face arrière du casier pour le disque TrueNAS (128 Go) :

Deux perçages sur l'étage intermédiaire pour monter les 2 SSD qui seront en raidz1 pour les VM, plus double face.

Il me manque juste un câble pour male/femelle pour le SATA et je pourrais fermer le capot.
Ensuite je passe sous TrueNAS pour créer les pools (HDD et SSD) et je pourrais commencer à me pencher sur les VM et la configuration de TrueNAS.

Des premiers essais que j'ai fait :
- 2 Xeon, 256 Go de RAM,
- 2 alimentations en balacing,
- en retirant le lecteur DVD,
- 8 HDD 2.5p branchés,
- 3 SSD 2.5 branchés,
- batterie du contrôleur retirée,
- carte contrôleur d'origine supprimée, remplacée par le DELL,
- carte firewire (il me semble que c'est pour brancher les baies de stockage) retirée,
- BIOS en "balanced power and performance"

J'ai surveillé la consommation de l'onduleur. En temps normal je tourne à moins de 120W pour tout ce que j'ai (et il y a du monde lol). Serveur allumé, ça grimpe à 290W donc 170W juste pour lui ! De mémoire, si je coupe mon serveur prod + NAS QNAP, je tombe de 60W environ.

Actuellement, une journée à 100W de conso coûte .54€ TTC soit 197€ année.
Si je coupe mon serveur actuel et le NAS et que je mets le nouveau serveur, je vais prendre 110W en plus soit 170W non stop donc 334€ soit 137€ en plus sur la facture...
Faut que je médite un peu.

J'ai avancé côté configuration TrueNAS, mais je bloque encore sur des trucs :
- configuration langue OK
- création d'un pool + dataset pour les 8 HDD OK
- création des datasets Public, Utilisateurs avec les droits OK
- création des utilisateurs (moi en admin, madame en utilisateur) OK

Je voulais garder l'admin en SSH, mais je ne comprends pas comment créer un accès SSH avec clé à minima.

 

[Pitfrr]

Niveau conso, avec un serveur comme ça, y'a pas de secret, ça consomme! :-(
Bon par contre niveau ressources, c'est autre chose, c'est sûr. C'est pour ça que j'ai virtualisé FreeNAS car sinon ça ferai beaucoup de ressources juste pour un NAS (vu les besoins).
A titre de comparaison, au niveau de mon serveur (HP DL380G6), je tourne dans les 200W. Après c'est pas la même génération...


Pour le SSH, normalement tu devrais réussir à trouver des tuto sur intenet (genre youtube), mais globalement, faut générer une paire de clef et la copier sur le poste client et configurer la connexion pour utiliser la clé. Selon le poste client (linux ou windows ou mac) ça sera un peu différent.

 

[benj29]

Je pense que je vais laisser tomber... la consommation est vraiment trop importante et je ne suis pas spécialement d'accord sur l'aspect performance.

Après réflexion je vais upgrader ma configuration actuelle :
- Le NAS QNAP 453 16 Go s'appuie sur un Celeron 1.5 GHz (2.3 GHz max) que j'ai upgradé à 16 Go. Mais je l'ai configuré dans sa plus simple expression : partage SMB, NFS, utilisateurs et domaine, RTRR et RSYNC ainsi que QSYNC (que je pense remplacer par Nextcloud). Il consomme environ 30W en charge (15 quand les disques sont en veille).
- Mon minidesk 310 Asrock s'appuie sur un i5 9600K 3.1 GHz (4.6 GHz max) et j'ai 32 Go. Il a 6 cores pour 6 threads. TDP à 65W ; mesuré entre 40 et 50W dans la vraie vie.

Dans ma configuration (VM etc), j'arrive à sa limite en RAM (logique vu le nombre et encore). Côté CPU sur certaines VM, ça commence à être léger.
Autre sujet, il faut refaire toute la configuration de Proxmox et QNAP vers TrueNAS. Pas simple quand on tourne déjà en production au quotidien.

En regardant :
- un upgrade 64 Go me coûte 120€ (et encore je peux revendre les 32 Go)
- un upgrade vers un processeur max que la carte peut accepter me coûterait 180e sur la base d'un core i9 9900K... (et là encore je peux revendre le core i5) sauf que je passe à 8 cores et 16 threads !

Si je me débrouille bien l'upgrade va me coûter 70€.

Par contre, je pense que je vais utiliser le 128 Go de TrueNAS pour upgrader proxmox en V8 et basculer le 1 To SSD que j'ai pour les VM pour proxmox. Mon QNAP continuera sa vie pour l'instant.

Ce qu'il faudrait que je médite c'est en cas de perte du QNAP (carte mère etc). Il deviendrait intéressant de monter un minitour avec des disques physiques etc avec TrueNAS.

Et proxmox 8 semble pas mal.

 

[Pitfrr]

Je pense que je vais laisser tomber... la consommation est vraiment trop importante et je ne suis pas spécialement d'accord sur l'aspect performance.

C'est à toi de voir en effet.
Je pense que ça dépend de plusieurs paramètres et faut que tu voies ce qui est le plus pratique pour toi en effet.
Je te donne juste mon expérience (mais qui est pour un contexte donné, probablement différent du tien): je suis très content d'avoir mis en service mon serveur, je trouve que ça simplifie (au moins au niveau matériel). Niveau ressources c'est largement surdimensionné mais ça "m'amuse" bien et au final je fais pas mal de choses avec (et niveau fiabilité je suis très satisfait). Niveau conso, je ne suis pas très content mais j'ai trouvé une approche alternative pour compenser en partie avec des panneaux solaires.

 

[benj29]

J'ai déjà une toiture, un délestage sur la piscine et l'eau chaude via un routeur, un délestage vers la borne de recharge.
Mais si de l'autre c'est pour mettre 100/150W en plus, sur l'année, ça chiffre vite.