PCI Passthrough in Proxmox 8.0 auf TrueNas Scale funktioniert nicht

[Sandolo]

Leider komme ich einfach nicht weiter. Entweder gibt es nur halbe Erklärungen oder sie sind auf Englisch (was ich nun nicht so beherrsche). Vermutlich basieren viele Guides auch nur auf HörenSagen.

System:
Asus Prime X370-Pro (aktuelles UEFI)
- SVM aktiviert
- IOMMU aktiviert
Ryzen 7 5750G
512GB NVME als Systemplatte für OS und VM
Software:
Proxmox 8 als OS (aktuelles Update)
TrueNas Scale als VM (aktuelles Update)

Einstellungen in Proxmox:

nano /etc/kernel/cmdline
root=ZFS=rpool/ROOT/pve-1 boot=zfs amd_iommu=on iommu=pt


nano /etc/ moduls
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd


nano /etc/default/grub
wahlweise
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"
oder
GRUB_CMDLINE_LINUX_DEFAULT="quiet"


Bis hierher auch alles normal / ok.

Abschließend noch folgende Eingaben gemacht:

proxmox-boot-tool- refresh
und
update-initramfs -u -k all

und hier kommen die ersten Fehlermeldungen. Bei beiden Eingaben kommt:

No /etc/kernel/proxmox_uuids found, scipping ESP sync.


Bis hier lässt sich TrueNas auch noch starten.
Aber sobald ich den SATA-Controler in Proxmox an TrueNas durchreiche, hängt sich alles auf.

Ich weiß jetzt nicht mehr weiter und hoffe, dass es hier noch jemanden gibt, der was von der Materie versteht.
Ansonsten werde ich wohl statt zu Linux komplett zu wechseln, komplett auf kommerzielle Lösungen von MS setzen müssen.

 

[Patrick M. Hausen]

Warum lässt du nicht TrueNAS SCALE direkt auf der Hardware laufen? Das kann auch VMs ...

 

[ChrisRJ]

Aber sobald ich den SATA-Controler in Proxmox an TrueNas durchreiche, hängt sich alles auf.

Vermutlich, weil Proxmox auch an diesem Controller haengt und der ihm untern Hintern weggezogen wird. Du brauchst einen separaten HBA.

 

[Sandolo]

Ich habe nur eine NVME als Platte für OS und VMs. Wenn ich TrueNas als OS installiere, kann ich nichts mehr darauf installieren. Die VMs wollen dann in den DatenPool, was ich nicht möchte.

 

[Patrick M. Hausen]

Dann steck ein SATA-DOM in einen SATA-Port für das OS. Oder schließ eine 32G SATA-SSD an.

 

[Sandolo]

Vermutlich, weil Proxmox auch an diesem Controller haengt und der ihm untern Hintern weggezogen wird. Du brauchst einen separaten HBA.

An dem Controler hängen nur Platten, die ich für TrueNas möchte und die erstmal nichts mit Proxmox ztu tun haben.

 

[Patrick M. Hausen]

Lass dir mal die PCIe-Topologie ausgeben. Keine Ahnung, wie das bei Linux geht, es wäre "pciconf -lv" in FreeBSD. Evtl. hängt bei deinem System noch irgendwas anderes zusammen mit dem SATA-Controller an demselben "Zweig" - ich weiß jetzt auch nicht auswendig wie das wieder heißt, sorry. Im Endeffekt sind besonders auf Desktop-Boards gerne mehrere Geräte so eng miteinander gekoppelt, dass man nur alle oder keines durchreichen kann. Hängt irgendwie mit der IOMMU zusammen. Ich hab hier ein paar Shuttle Kompaktsysteme, da geht das auch nicht.

 

[Sandolo]

Der Controler hängt am X370-Chipsatz. Änderungen hab ich im Schaubild markiert.
In Proxmox lässt sich der Controler separat auswählen. Also denke ich, er lässt sich auch separat durchreichen.
Zumindest "shared" nichts mit den SATA-Ports.

 

[Sandolo]

Mich würde halt die Fehlermeldung bezüglich des boot-loaders interessieren. Was läuft da verkehrt?

 

[Patrick M. Hausen]

Da bist du dann doch sicher im Proxmox-Forum besser aufgehoben. Ich benutze Proxmox nicht, sorry.

 

[Sandolo]

Warum lässt du nicht TrueNAS SCALE direkt auf der Hardware laufen? Das kann auch VMs ...

Gibt es denn die Möglichkeit, wenn ich TrueNas aufs Blech setze, anschließend die Partition zu verkleinern und den Rest der Platte für die VMs und Container zu nutzen?

 

[Patrick M. Hausen]

Du kanns z.B. einen 32G USB-Stick nehmen, auf den und deine NVMe gleichzeitig installieren, dann legt es einen Spiegel mit der Größe vom Stick an. Den dann nach Erfolg "detachen". Dann kann man zu Fuß auf dem Rest der NVMe einen weiteren Pool anlegen.

Nicht supportet, kann dir bei Updates um die Ohren fliegen. Bei CORE weiß ich, wie es geht, bei SCALE weniger.

Weshalb keine 32 G SATA SSD? Kein Port mehr frei?

 

[Sandolo]

Doch, habe noch 2 freie SATA-Ports. Auch habe ich hier noch eine 120 GB SSD. Allerdings ist diese ohne Cache und ich müsste den Geschwindigkeitsvorteil der NVME hergeben.

Dazu kommen noch ein paar Mehrausgaben und Umbauarbeiten.

 

[ChrisRJ]

Fuer das Booten des OS ist die Geschwindigkeit der SSD relativ egal.

 

[Patrick M. Hausen]

Nimm die billigste langsamste ... whatever SSD, die du noch bekommst, Hauptsache sie hat einen soliden TBW-Wert. Früher haben die Leute von USB-Sticks gebootet. Mittlerweile zeigt sich dann halt doch, dass TrueNAS die "zerschreibt", selbst, wenn man das System Dataset woanders hin legt. Dazu kommen thermische Probleme bei USB3 im Dauerbetrieb.

Aber SSDs ... das lahmste ist locker gut genug, es geht nur um das Boot-Device.

Also 120 G SSD zum Booten, 1x NVMe ohne Redundanz für VMs und Apps, regelmäßige Replikation von dort auf den hoffentlich redundanten Daten-Pool ... sieht nach einem ordentlichen TrueNAS-System aus.

EDIT: im Anhang siehst du die Last auf einer meiner beiden gespiegelten Boot-SSDs in Grafana. Wirklich heftig
Ist TrueNAS CORE bei mir, aber das sollte nicht viel ausmachen.

 

[Sandolo]

So. Ich habe das Problem wohl gefunden. Es liegt an der IOMMU-Gruppierung. Der Controller sitzt mit mehreren Geräten in einer Gruppe.
Allerdings sitzt dort auch mein HBA, so dass auch ein separater Controller wohl keine Abhilfe schafft.

Daher werde ich mir eine separate SSD nehmen und TrueNas aufs Blech setzen.
Ich hoffe mal, dass die gröbsten Probleme damit erledigt sind.

Ich Danke für eure Unterstützung.

 

[Sandolo]

Da bist du dann doch sicher im Proxmox-Forum besser aufgehoben. Ich benutze Proxmox nicht, sorry.

P.S. Hier hab ich gar keine Antwort erhalten. ;)

Am meisten habt ihr mir und das Forum von ComputerBase geholfen.
HardwareLuxx war auch sehr mager.

 

[Patrick M. Hausen]

Es liegt an der IOMMU-Gruppierung.

Also doch was ich vermutet hatte, wozu mir aber der Fachbegriff fehlte

Viel Erfolg mit TrueNAS. Ich würde ja CORE nehmen aber ausgehend von der bisherigen Diskussion wirst du wahrscheinlich mit SCALE glücklicher. Rechne damit dass die "Apps" noch etwas flakey sind. VMs sollten problemlos sein, genauso wie Storage, natürlich.

 

[Sandolo]

Viel Erfolg mit TrueNAS. Ich würde ja CORE nehmen aber ausgehend von der bisherigen Diskussion wirst du wahrscheinlich mit SCALE glücklicher. Rechne damit dass die "Apps" noch etwas flakey sind. VMs sollten problemlos sein, genauso wie Storage, natürlich.

Deswegen wollte ich ja TrueNas auf Proxmox aufsetzen. Proxmox fehlen leider zwei Dinge, die mir wichtig sind. Die "Hot Spare-Platte" und BackUp für Windows Clients (externe, keine VMs).

Ich werde von Erfolg / Misserfolg berichten, bzw. bei Misserfolg euch weiter auf den Keks gehen.