disques manquants :-) <-- résolu

[viph]

Bonjour à tous,

Je remonte une machine et suis confronté à une bonne blague.
Globalement, c'est la transplantation de 8 disques (8*3TB) dans une nouvelle machine.
Le boot du serveur semble OK et voit tant la RAM, le réseau que les 8 disques reliés à une carte LSI 2008 IT (classique).

Mais en arrivant sur Truenas, ils ne sont plus que quatre !

Qui les a pris ?

j'ai lu quelques cas identiques dans le forum anglais mais je n'ai jamais compris comment les "disks" revennaient... sauf dasn les cas où, en fait, un disque incriminé etait mauvais.... mais là... 4 d'un coup ?

 

[Pitfrr]

Bonjour,

Qu'est-ce que ça dit dans l'interface sous: Storage/disks? Tu peux faire un screenshot?

La carte est bien en mode HBA?
Ce que tu peux tester, c'est de connecter les disques directement sur la carte mère (forcément pas tous d'un coup) et voir si ils apparaissent dans TrueNAS. Deux manières pour vérifier cela: avec dmesg (pour voir s'ils sont bien détectés) et dans l'interface web s'ils apparaissent bien.

 

[viph]

 

[viph]

vue au démarrage, les da5 et da6 sont les deux clef USB de boot (en raid1)
j'ai essayé une fresh install avec un ssd pour faire tourner Truenas... idem

 

[viph]

vue du bios :

 

[viph]

Bonjour,

Qu'est-ce que ça dit dans l'interface sous: Storage/disks? Tu peux faire un screenshot?

La carte est bien en mode HBA?
Ce que tu peux tester, c'est de connecter les disques directement sur la carte mère (forcément pas tous d'un coup) et voir si ils apparaissent dans TrueNAS. Deux manières pour vérifier cela: avec dmesg (pour voir s'ils sont bien détectés) et dans l'interface web s'ils apparaissent bien.

Oui, la carte est bien configurée.
Flashée par mes soins et fonctionnelle avant cette transplantation

DMESG n'en voit que 4

Pour écarter un défaut hardware, je viens d'intervertir les connecteurs sur la carte HBA : ce sont les même disques qui apparaissent.
HBA 2 connecteurs SAS <> 2 cables SAS <> 2 connecteurs SAS sur fond de panier (Dell T320) <> disques

je pensais utiliser le connecteur (unique) SAS de la carte mère en lieu et place de la carte HBA... mais il manque un driver au niveau bios... je ne vais pas me lancer là dedans en parallèle !

 

[viph]

avec le connecteur A uniquement (4 disques):

avec le connecteur B uniquement (4 disques) :

connecteurs A & B pour 8 disques

vous avouerez que c'est bizarre !

et la réponse du DMESG :

root@truenas[~]# dmesg
Copyright (c) 1992-2021 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 13.1-RELEASE-p7 n245418-79e75956dbb TRUENAS amd64
FreeBSD clang version 13.0.0 (git@github.com:llvm/llvm-project.git llvmorg-13.0.0-0-gd7b669b3a303)
VT(efifb): resolution 800x600
CPU: Intel(R) Xeon(R) CPU E5-2470 v2 @ 2.40GHz (2400.14-MHz K8-class CPU)
Origin="GenuineIntel" Id=0x306e4 Family=0x6 Model=0x3e Stepping=4
Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
Features2=0x7fbee3ff<SSE3,PCLMULQDQ,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,PCID,DCA,SSE4.1,SSE4.2,x2APIC,POPCNT,TSCDLT,AESNI,XSAVE,OSXSAVE,AVX,F16C,RDRAND>
AMD Features=0x2c100800<SYSCALL,NX,Page1GB,RDTSCP,LM>
AMD Features2=0x1<LAHF>
Structured Extended Features=0x281<FSGSBASE,SMEP,ERMS>
Structured Extended Features3=0x9c000400<MD_CLEAR,IBPB,STIBP,L1DFL,SSBD>
XSAVE Features=0x1<XSAVEOPT>
VT-x: PAT,HLT,MTF,PAUSE,EPT,UG,VPID,VID,PostIntr
TSC: P-state invariant, performance statistics
real memory = 51539607552 (49152 MB)
avail memory = 50025390080 (47707 MB)
Event timer "LAPIC" quality 600
ACPI APIC Table: <DELL PE_SC3 >
FreeBSD/SMP: Multiprocessor System Detected: 20 CPUs
FreeBSD/SMP: 1 package(s) x 10 core(s) x 2 hardware threads
random: registering fast source Intel Secure Key RNG
random: fast provider: "Intel Secure Key RNG"
random: unblocking device.
ioapic1: MADT APIC ID 1 != hw id 15
ioapic0 <Version 2.0> irqs 0-23
ioapic1 <Version 2.0> irqs 32-55
Launching APs: 1 4 19 17 9 11 3 7 15 6 10 18 14 5 13 2 16 12 8
random: entropy device external interface
kbd0 at kbdmux0
efirtc0: <EFI Realtime Clock>
efirtc0: registered as a time-of-day clock, resolution 1.000000s
aesni0: <AES-CBC,AES-CCM,AES-GCM,AES-ICM,AES-XTS>
padlock0: No ACE support.
acpi0: <DELL PE_SC3>
acpi0: Power Button (fixed)
apei0: <ACPI Platform Error Interface> on acpi0
ipmi0: <IPMI System Interface> port 0xca8,0xcac irq 10 on acpi0
ipmi0: KCS mode found at io 0xca8 on acpi
cpu0: <ACPI CPU> on acpi0
atrtc0: <AT realtime clock> port 0x70-0x7f irq 8 on acpi0
atrtc0: registered as a time-of-day clock, resolution 1.000000s
Event timer "RTC" frequency 32768 Hz quality 0
attimer0: <AT timer> port 0x40-0x5f irq 0 on acpi0
Timecounter "i8254" frequency 1193182 Hz quality 0
Event timer "i8254" frequency 1193182 Hz quality 100
hpet0: <High Precision Event Timer> iomem 0xfed00000-0xfed003ff on acpi0
Timecounter "HPET" frequency 14318180 Hz quality 950
Event timer "HPET" frequency 14318180 Hz quality 350
Event timer "HPET1" frequency 14318180 Hz quality 340
Event timer "HPET2" frequency 14318180 Hz quality 340
Event timer "HPET3" frequency 14318180 Hz quality 340
Event timer "HPET4" frequency 14318180 Hz quality 340
Event timer "HPET5" frequency 14318180 Hz quality 340
Event timer "HPET6" frequency 14318180 Hz quality 340
Event timer "HPET7" frequency 14318180 Hz quality 340
Timecounter "ACPI-fast" frequency 3579545 Hz quality 900
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x808-0x80b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff numa-domain 0 on acpi0
pci0: <ACPI PCI bus> numa-domain 0 on pcib0
pcib1: <ACPI PCI-PCI bridge> irq 53 at device 1.0 numa-domain 0 on pci0
pci1: <ACPI PCI bus> numa-domain 0 on pcib1
mps0: <Avago Technologies (LSI) SAS2008> port 0xfc00-0xfcff mem 0xd8ffc000-0xd8ffffff,0xd8f80000-0xd8fbffff irq 34 at device 0.0 numa-domain 0 on pci1
mps0: Firmware: 10.00.08.00, Driver: 21.02.00.00-fbsd
mps0: IOCCapabilities: 1285c<ScsiTaskFull,DiagTrace,SnapBuf,EEDP,TransRetry,EventReplay,HostDisc>
pcib2: <ACPI PCI-PCI bridge> irq 53 at device 1.1 numa-domain 0 on pci0
pci2: <ACPI PCI bus> numa-domain 0 on pcib2
pci2: <network, ethernet> at device 0.0 (no driver attached)
pcib3: <ACPI PCI-PCI bridge> irq 53 at device 3.0 numa-domain 0 on pci0
pci3: <ACPI PCI bus> numa-domain 0 on pcib3
pcib4: <PCI-PCI bridge> irq 16 at device 17.0 numa-domain 0 on pci0
pci4: <PCI bus> numa-domain 0 on pcib4
pci0: <simple comms> at device 22.0 (no driver attached)
pci0: <simple comms> at device 22.1 (no driver attached)
ehci0: <Intel Patsburg USB 2.0 controller> mem 0xdc0fd000-0xdc0fd3ff irq 23 at device 26.0 numa-domain 0 on pci0
usbus0: EHCI version 1.0
usbus0 numa-domain 0 on ehci0
usbus0: 480Mbps High Speed USB v2.0
pcib5: <ACPI PCI-PCI bridge> at device 28.0 numa-domain 0 on pci0
pci5: <ACPI PCI bus> numa-domain 0 on pcib5
pcib6: <ACPI PCI-PCI bridge> irq 16 at device 28.4 numa-domain 0 on pci0
pci6: <ACPI PCI bus> numa-domain 0 on pcib6
pci0:1:0:0: no valid vpd ident found
pci0:1:0:0: failed to read VPD data.
bge0: <Broadcom BCM5720 A0, ASIC rev. 0x5720000> mem 0xd58a0000-0xd58affff,0xd58b0000-0xd58bffff,0xd58c0000-0xd58cffff irq 16 at device 0.0 numa-domain 0 on pci6
bge0: APE FW version: NCSI v1.1.7.0
bge0: CHIP ID 0x05720000; ASIC REV 0x5720; CHIP REV 0x57200; PCI-E
miibus0: <MII bus> numa-domain 0 on bge0
brgphy0: <BCM5720C 1000BASE-T media interface> PHY 1 on miibus0
brgphy0: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseT, 1000baseT-master, 1000baseT-FDX, 1000baseT-FDX-master, auto, auto-flow
bge0: Using defaults for TSO: 65518/35/2048
bge0: Ethernet address: 74:86:7a:ce:48:1e
pci0:1:0:1: no valid vpd ident found
pci0:1:0:1: failed to read VPD data.
bge1: <Broadcom BCM5720 A0, ASIC rev. 0x5720000> mem 0xd58d0000-0xd58dffff,0xd58e0000-0xd58effff,0xd58f0000-0xd58fffff irq 17 at device 0.1 numa-domain 0 on pci6
bge1: APE FW version: NCSI v1.1.7.0
bge1: CHIP ID 0x05720000; ASIC REV 0x5720; CHIP REV 0x57200; PCI-E
miibus1: <MII bus> numa-domain 0 on bge1
brgphy1: <BCM5720C 1000BASE-T media interface> PHY 2 on miibus1
brgphy1: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseT, 1000baseT-master, 1000baseT-FDX, 1000baseT-FDX-master, auto, auto-flow
bge1: Using defaults for TSO: 65518/35/2048
bge1: Ethernet address: 74:86:7a:ce:48:20
pcib7: <ACPI PCI-PCI bridge> at device 28.6 numa-domain 0 on pci0
pci7: <ACPI PCI bus> numa-domain 0 on pcib7
pcib8: <ACPI PCI-PCI bridge> irq 19 at device 28.7 numa-domain 0 on pci0
pci8: <ACPI PCI bus> numa-domain 0 on pcib8
pcib9: <PCI-PCI bridge> at device 0.0 numa-domain 0 on pci8
pci9: <PCI bus> numa-domain 0 on pcib9
pcib10: <PCI-PCI bridge> at device 0.0 numa-domain 0 on pci9
pci10: <PCI bus> numa-domain 0 on pcib10
pcib11: <PCI-PCI bridge> at device 0.0 numa-domain 0 on pci10
pci11: <PCI bus> numa-domain 0 on pcib11
vgapci0: <VGA-compatible display> mem 0xd4000000-0xd4ffffff,0xdb7fc000-0xdb7fffff,0xda800000-0xdaffffff irq 19 at device 0.0 numa-domain 0 on pci11
vgapci0: Boot video device
pcib12: <PCI-PCI bridge> at device 1.0 numa-domain 0 on pci9
pci12: <PCI bus> numa-domain 0 on pcib12
ehci1: <Intel Patsburg USB 2.0 controller> mem 0xdc0fe000-0xdc0fe3ff irq 22 at device 29.0 numa-domain 0 on pci0
usbus1: EHCI version 1.0
usbus1 numa-domain 0 on ehci1
usbus1: 480Mbps High Speed USB v2.0
pcib13: <PCI-PCI bridge> at device 30.0 numa-domain 0 on pci0
pci13: <PCI bus> numa-domain 0 on pcib13
isab0: <PCI-ISA bridge> at device 31.0 numa-domain 0 on pci0
isa0: <ISA bus> numa-domain 0 on isab0
ahci0: <Intel Patsburg AHCI SATA controller> port 0xece8-0xecef,0xecf8-0xecfb,0xecf0-0xecf7,0xecfc-0xecff,0xecc0-0xecdf mem 0xdc0ff000-0xdc0ff7ff irq 20 at device 31.2 numa-domain 0 on pci0
ahci0: AHCI v1.30 with 6 3Gbps ports, Port Multiplier not supported
ahcich0: <AHCI channel> at channel 0 on ahci0
ahcich1: <AHCI channel> at channel 1 on ahci0
ahcich2: <AHCI channel> at channel 2 on ahci0
ahcich3: <AHCI channel> at channel 3 on ahci0
ahcich4: <AHCI channel> at channel 4 on ahci0
ahcich5: <AHCI channel> at channel 5 on ahci0
ahciem0: <AHCI enclosure management bridge> on ahci0
pcib14: <ACPI Host-PCI bridge> numa-domain 0 on acpi0
pci14: <ACPI PCI bus> numa-domain 0 on pcib14
pci14: <dasp, performance counters> at device 14.1 (no driver attached)
pci14: <dasp, performance counters> at device 19.1 (no driver attached)
pci14: <dasp, performance counters> at device 19.5 (no driver attached)
pcib15: <ACPI Host-PCI bridge> on acpi0
pci15: <ACPI PCI bus> on pcib15
uart1: <16550 or compatible> port 0x2f8-0x2ff irq 3 on acpi0
uart0: <16550 or compatible> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
ichwd0: <Intel Patsburg watchdog timer> on isa0
orm0: <ISA Option ROMs> at iomem 0xc0000-0xc7fff,0xec000-0xeffff pnpid ORM0000 on isa0
coretemp0: <CPU On-Die Thermal Sensors> on cpu0
est0: <Enhanced SpeedStep Frequency Control> on cpu0
est: CPU supports Enhanced Speedstep, but is not recognized.
est: cpu_vendor GenuineIntel, msr 21a000001c00
device_attach: est0 attach returned 6
est: CPU supports Enhanced Speedstep, but is not recognized.
[...ça se répète...]
est: CPU supports Enhanced Speedstep, but is not recognized.
est: cpu_vendor GenuineIntel, msr 21a000001c00
device_attach: est19 attach returned 6
Timecounter "TSC-low" frequency 1200000138 Hz quality 1000
Timecounters tick every 1.000 msec
ZFS filesystem version: 5
ZFS storage pool version: features support (5000)
ipfw2 (+ipv6) initialized, divert enabled, nat enabled, default to accept, logging disabled
ipmi0: IPMI device rev. 1, firmware rev. 1.35, version 2.0, device support mask0xdf
ipmi0: Number of channels 6
ipmi0: Attached watchdog
ipmi0: Establishing power cycle handler
ugen0.1: <Intel EHCI root HUB> at usbus0
ugen1.1: <Intel EHCI root HUB> at usbus1
uhub0 numa-domain 0 on usbus0
uhub0: <Intel EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus0
uhub1 numa-domain 0 on usbus1
uhub1: <Intel EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus1
mlx4_core0: <mlx4_core> mem 0xd9f00000-0xd9ffffff,0xd5000000-0xd57fffff irq 35 at device 0.0 numa-domain 0 on pci2
mlx4_core: Mellanox ConnectX core driver v3.7.1 (November 2021)
mlx4_core: Initializing mlx4_core
uhub1: 2 ports with 2 removable, self powered
uhub0: 2 ports with 2 removable, self powered
ses0 at ahciem0 bus 0 scbus7 target 0 lun 0
ses0: <AHCI SGPIO Enclosure 2.00 0001> SEMB S-E-S 2.00 device
ses0: SEMB SES Device
da4 at mps0 bus 0 scbus0 target 7 lun 0
da4: <ATA WDC WD30EFRX-68E 0A82> Fixed Direct Access SPC-4 SCSI device
da4: Serial Number WD-WCC4N0ZKR0DY
da4: 600.000MB/s transfers
da4: Command Queueing enabled
da4: 2861588MB (5860533168 512 byte sectors)
da4: quirks=0x8<4K>
da3 at mps0 bus 0 scbus0 target 3 lun 0
da3: <ATA WDC WD30EFRX-68A 0A80> Fixed Direct Access SPC-4 SCSI device
da3: Serial Number WD-WMC1T2182475
da3: 600.000MB/s transfers
da3: Command Queueing enabled
da3: 2861588MB (5860533168 512 byte sectors)
da3: quirks=0x8<4K>
da0 at mps0 bus 0 scbus0 target 0 lun 0
da0: <ATA ST3000VN007-2AH1 SC60> Fixed Direct Access SPC-4 SCSI device
da0: Serial Number ZGY77XCK
da0: 600.000MB/s transfers
da0: Command Queueing enabled
da0: 2861588MB (5860533168 512 byte sectors)
da2 at mps0 bus 0 scbus0 target 2 lun 0
da2: <ATA ST3000DM001-9YN1 CC4B> Fixed Direct Access SPC-4 SCSI device
da2: Serial Number S1F0XXN0
da2: 600.000MB/s transfers
da2: Command Queueing enabled
da2: 2861588MB (5860533168 512 byte sectors)
da2: quirks=0x8<4K>
da1 at mps0 bus 0 scbus0 target 1 lun 0
da1: <ATA ST3000VN007-2E41 SC60> Fixed Direct Access SPC-4 SCSI device
da1: Serial Number Z731FKHG
da1: 600.000MB/s transfers
da1: Command Queueing enabled
da1: 2861588MB (5860533168 512 byte sectors)
mlx4_core0: Unable to determine PCI device chain minimum BW
mlx4_en mlx4_core0: Activating port:1
mlxen0: Ethernet address: e4:1d:91:85:ad:0a
mlx4_en: mlx4_core0: Port 1: Using 20 TX rings
mlxen0: link state changed to DOWN
mlx4_en: mlx4_core0: Port 1: Using 16 RX rings
mlx4_en: mlxen0: Using 20 TX rings
mlx4_en: mlxen0: Using 16 RX rings
mlx4_en: mlxen0: Initializing port
Trying to mount root from zfs:boot-pool/ROOT/default []...
ugen0.2: <vendor 0x8087 product 0x0024> at usbus0
uhub2 numa-domain 0 on uhub0
uhub2: <vendor 0x8087 product 0x0024, class 9/0, rev 2.00/0.00, addr 2> on usbus0
ugen1.2: <vendor 0x8087 product 0x0024> at usbus1
uhub3 numa-domain 0 on uhub1
uhub3: <vendor 0x8087 product 0x0024, class 9/0, rev 2.00/0.00, addr 2> on usbus1
uhub2: 6 ports with 6 removable, self powered
Root mount waiting for: usbus0 usbus1
uhub3: 8 ports with 8 removable, self powered
ugen0.3: <no manufacturer Gadget USB HUB> at usbus0
uhub4 numa-domain 0 on uhub2
uhub4: <no manufacturer Gadget USB HUB, class 9/0, rev 2.00/0.00, addr 3> on usbus0
Root mount waiting for: usbus0 usbus1
uhub4: 6 ports with 6 removable, self powered
usb_msc_auto_quirk: UQ_MSC_NO_GETMAXLUN set for USB mass storage device SanDiskCruzer Fit (0x0781:0x5571)
usb_msc_auto_quirk: UQ_MSC_NO_PREVENT_ALLOW set for USB mass storage device SanDisk Cruzer Fit (0x0781:0x5571)
usb_msc_auto_quirk: UQ_MSC_NO_SYNC_CACHE set for USB mass storage device SanDisk Cruzer Fit (0x0781:0x5571)
ugen0.4: <Avocent Keyboard/Mouse Function> at usbus0
ukbd0 numa-domain 0 on uhub4
ukbd0: <Keyboard> on usbus0
kbd1 at ukbd0
ums0 numa-domain 0 on uhub4
ugen1.3: <SanDisk Cruzer Fit> at usbus1
umass0 numa-domain 0 on uhub3
umass0: <SanDisk Cruzer Fit, class 0/0, rev 2.00/1.26, addr 3> on usbus1
umass0: SCSI over Bulk-Only; quirks = 0xc100
umass0:8:0: Attached to scbus8
ums0: <Mouse> on usbus0
ums0: 3 buttons and [Z] coordinates ID=0
ums1 numa-domain 0 on uhub4
ums1: <Mouse REL> on usbus0
ums1: 3 buttons and [XYZ] coordinates ID=0
da5 at umass-sim0 bus 0 scbus8 target 0 lun 0
da5: <SanDisk Cruzer Fit 1.26> Removable Direct Access SPC-3 SCSI device
da5: Serial Number 4C532000070614116013
da5: 40.000MB/s transfers
da5: 15267MB (31266816 512 byte sectors)
da5: quirks=0x2<NO_6_BYTE>
Root mount waiting for: usbus1
usb_msc_auto_quirk: UQ_MSC_NO_GETMAXLUN set for USB mass storage device SanDiskCruzer Fit (0x0781:0x5571)
usb_msc_auto_quirk: UQ_MSC_NO_PREVENT_ALLOW set for USB mass storage device SanDisk Cruzer Fit (0x0781:0x5571)
usb_msc_auto_quirk: UQ_MSC_NO_SYNC_CACHE set for USB mass storage device SanDisk Cruzer Fit (0x0781:0x5571)
Root mount waiting for: usbus1
ugen1.4: <SanDisk Cruzer Fit> at usbus1
umass1 numa-domain 0 on uhub3
umass1: <SanDisk Cruzer Fit, class 0/0, rev 2.00/1.26, addr 4> on usbus1
umass1: SCSI over Bulk-Only; quirks = 0xc100
umass1:9:1: Attached to scbus9
da6 at umass-sim1 bus 1 scbus9 target 0 lun 0
da6: <SanDisk Cruzer Fit 1.26> Removable Direct Access SPC-3 SCSI device
da6: Serial Number 4C532000030615111482
da6: 40.000MB/s transfers
da6: 15267MB (31266816 512 byte sectors)
da6: quirks=0x2<NO_6_BYTE>
ugen1.5: <Dell Dell Multimedia Pro Keyboard Hub> at usbus1
uhub5 numa-domain 0 on uhub3
uhub5: <Dell Multimedia Pro Keyboard Hub> on usbus1
uhub5: 3 ports with 2 removable, bus powered
ugen1.6: <Dell Dell Multimedia Pro Keyboard> at usbus1
ukbd1 numa-domain 0 on uhub5
ukbd1: <Dell Multimedia Pro Keyboard> on usbus1
kbd2 at ukbd1
uhid0 numa-domain 0 on uhub5
uhid0: <Dell Multimedia Pro Keyboard> on usbus1
lo0: link state changed to UP
CPU: Intel(R) Xeon(R) CPU E5-2470 v2 @ 2.40GHz (2400.00-MHz K8-class CPU)
Origin="GenuineIntel" Id=0x306e4 Family=0x6 Model=0x3e Stepping=4
Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
Features2=0x7fbee3ff<SSE3,PCLMULQDQ,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,PCID,DCA,SSE4.1,SSE4.2,x2APIC,POPCNT,TSCDLT,AESNI,XSAVE,OSXSAVE,AVX,F16C,RDRAND>
AMD Features=0x2c100800<SYSCALL,NX,Page1GB,RDTSCP,LM>
AMD Features2=0x1<LAHF>
Structured Extended Features=0x281<FSGSBASE,SMEP,ERMS>
Structured Extended Features3=0x9c000400<MD_CLEAR,IBPB,STIBP,L1DFL,SSBD>
XSAVE Features=0x1<XSAVEOPT>
VT-x: PAT,HLT,MTF,PAUSE,E

 

[Pitfrr]

Alors si dmesg ne voit pas tous les disques, c'est que ton problème est avant TrueNAS parce que TrueNAS va te montrer les disques qui sont détectés par le système (donc dmesg).

Là faudrait voir au niveau matériel si y'a pas quelque chose qui cloche. Ce qui est étrange c'est que la carte semble bien voir les disques mais pas après. Là je vois pas ce qui peut bloquer.
Un détail me chiffonne dans la capture d'écran de la carte LSI: le dernier disque dans la liste, un WD30EFRX dans la deuxième colonne (Encl. slot) est à 7 alors que j'aurai attendu 3 (en gros 2 disques par slot on dirait). Mais je pense pas que cela ait une incidence de toute façon.

Dans les tests que tu as fait, est-ce que je comprends bien la chose suivante:
Connecteur A avec les disques 1, 2, 3 et 4.
Connecteur B avec les disques 5, 6, 7, et 8.

Quand tu bootes qu'avec le connecteur A branché, les disques 1, 2, 3 et 4 apparaissent bien.
Quand tu bootes qu'avec le connecteur B branché, les disques 5, 6, 7 et 8 apparaissent bien.
Quand tu bootes avec les connecteurs A et B branchés, les disques 1, 2, 3, 4 et 5 apparaissent.

Très étonnant... Est-ce que ton alimentation est bien dimensionnée? (et est-ce que tu peux essayer avec une autre alim' des fois?)
Car avec ces info, je pencherai pour un problème d'alim peut-être, qu'elle ne délivre pas assez pour supporter tous les disques.
Est-ce que par hasard dans le bios (de la carte LSI) tu as une option pour un démarrage étagé des disques? Ca peut se tenter avec cette option activée.


Note: rien à voir, mais je te conseille de prendre un SSD comme périphérique de démarrage et non des clés USB (même en miroir).

 

[viph]

Merci Pitfrr

OK, je vais mettre un SSD

oui, j'ai bien fais la manip que tu décrivais.
(pour le changement de numérotation, je pense que c'est lié à l'instant des photos : la vue du boot a été faite avant que je ne rechange les disques en croisant, pour voir si l'un sortait systématiquement en faute)

Les alim sont réputées bonnes et non déclarées en faute par les tests interne du serveur.
Il s'agit de 2 alimentation de 750W en partage de charge et redondance.
D'expérience, je sais que même avec les "petites alim" de Dell, à savoir 425W, ça passe avec cette config.

J'ai une autre carte HBA... j'essaierai dès que possible !

 

[Pitfrr]

Ah ouais, tu as deux alim redondées dans le boitier (je ne le connais pas...).

C'est vraiment étrange ce comportement et si l'alim n'est pas incriminée, j'ai pas trop d'idées...
Dans ce cas, je reviendrai éventuellement sur une incompatibilité, genre au niveau du firmware de la carte LSI? Mais franchement, je sais pas...
Donc effectivement, essayer avec une autre carte peut-être intéressant.

 

[viph]

vue de derrière du Dell T320, très bonne machine qu'on trouve a partir de 100€ :

Réflexion faite, plusieurs choses ont changé depuis la machine précédente qui était "fully" fonctionnelle :
- changement de BIOS... pour le dernier (qui date de 2020 je crois)
- ce changement de BIOS était motivé (obligé) par un changement de processeur 4C/8T pour 10C/20T (E5 2470v2)
- l'ajout de 3 caddies pour disques.... et ce dernier point me turlupine car ils viennent de Chine via eBay... sont ils originaux, un gap dans les côtes ?... je ne sais pas
Le fait que 3 disques manquent pourrait être une coïncidence... ou pas !

 

[Pitfrr]

Ahhh j'y ai pas pensé:
Si j'ai bien compris, tu branches tes disques avec des boîtiers. Donc ils ont une connexion en fond de panier et le cable SAS vient de la carte et se branche sur le fond de panier donc, c'est ça?

Est-ce que tu peux brancher les disques directement (sans passer par les caddies et le fond de panier)? (faut probablement un cable SAS-SATA... c'est pas sûr que tu aies ça)
Ca peut valoir le coup de tester.... c'est peut-être ton fond de panier ou un des caddies qui te pose problème (j'ai pas d'expérience avec les fond de panier ou les caddies car mes disques sont branchés directement avec un cable SAS-SATA).
C'est peut-être une autre piste à approfondir.

 

[viph]

J'ai bien ce genre de câble (SAS-SATA et même deux) mais... il faut que je trouve comment alimenter les disques, c'est le petit point à résoudre car normalement le fond de panier gère l'alimentation, je vais me repiquer sur celle du lecteur dvd mais pas sûr que cela puisse tenir pour 8 disques il va faire chaud.

Justement hier, j'avais tout déposé et passé un coup de soufflette sur les connecteur du fond de panier, pas de point chaud, pas de marque particulière.

 

[Pitfrr]

Ah oui, l'alim pour les disques...
Je me suis fait un cable spécial (en fait deux avec 4 alims chacun).
Dans ton cas, pour tester, c'est pas l'idéal mais des Y d'alim.... :-(
Si tu n'as qu'une alim (DVD), ça va p'tet chauffer un peu au démarrage mais si c'est juste pour tester bon... ça devrait le faire.

 

[viph]

avant de tester les disques, j'ai tenté le swap de carte HBA.

il semble que ce fut elle la fautive.
les 8 disques sont désormais vus et le pool vient d'être importé.
Rien à signaler (pour l'instant)

mais cela n'explique pas pourquoi OK dans le BIOS.... mais bon !

 

[Pitfrr]

C'est super d'avoir pu identifier d'où venait le problème.
Maintenant ça peut-être intéressant de comprendre le pourquoi du comment... Pour cela tu peux aussi essayer avec un autre OS voir si le comportement est similaire.

 

[viph]

j'essayerai la carte fautive sur une autre carte mère, un environnement un peu différent : j'ai la chance d'avoir un peu de matos pour "jouer" mais les serveurs sont d'abord là pour servir.
le 8*3TB tournait sur une carte mère grand public avec la de la ram non ecc et un p'tit processeur, mais je n'avais pas assez de slot PCIe pour y intégrer une carte réseau 10GE : ce fut la motivation première pour changer.
le T320 a plein de slots !!
PCIe2 : x4 électrique et x8 mécanique
PCIe2 : x1 électrique et x8 mécanique
PCIe3 : x16 électrique et x16 mécanique
PCIe3 : x4 électrique et x8 mécanique
PCIe3 : x4 électrique et x8 mécanique

je vais maintenant essayer de rendre le connecteur SAS de la carte mère fonctionnel : cela me permettrait d'ajouter 5 disques pour un nouveau pool, physiquement dans les 3 compartiments 5,25 (j'ai une cage pour ça) .... le 5ieme disque étant connecté sur un des deux SATA de la carte mere.