Fehlermeldung KDB: enter: panic

[tom.too]

Hallo,

ohne (bewußt) irgendwas am FreeNAS 9.3 verändert zu haben, startet das System plötzlich nicht mehr. Die Fehlermeldung beim booten:

#################
KDB: enter: panic
[ thread pid 0 tid 101190 ]
Stopped at kdb_enter+0x3b: movq $0,0xd0b7d2(%rip)
db>
#################

Was bedeutet das und wie bekomme ich 9.3 wieder zum laufen?

Danke im voraus, tom.too

 

[xaibex]

du hast neulich irgendwas mit "USB Stick Partitionieren" geschrieben (auf dem die FreeNAS Installation ruht).

für mich sieht es so aus als hättest du deine installation auf dem usb stick zerstört.

edit: als Lösung neuen usb stick, freenas neu aufpielen und die hoffentlich vorhandene gesicherte config wiederherstellen.

 

[tom.too]

Richtig, ich hatte danach gefragt. Allerdings hab ich 9.3 noch nicht auf dem 8GB-Stick neu installiert. Der 8GB-Stick ist noch auf 4GB partitioniert. Der alte USB-Stick mit 4GB und 9.3 macht aber die gleichen Probleme. Dann müßte es ja eher was mit dem Rechner zu tun haben und nicht mit der 9.3-Installation auf dem Stick.

Ach so, jetzt wird's hell. Ich hab das BIOS vom NAS-Rechner aktualisiert... Da muß wohl dort was verstellt sein.

 

[tom.too]

Hm, aber was könnte im BIOS verstellt sein, die dann diese Fehlermeldung verursacht? Hab das BIOS auch noch mal auf default zurück gesetzt. Ohne Erfolg. Theoretisch dürfte sich doch nur irgendwas auswirken, was mit AHCI/SATA zu tun hat, oder?

 

[tom.too]

Daß das BIOS-Update oder verstellte BIOS-Werte die Ursache sind, glaub ich nicht mehr. Ich hab das alte BIOS wieder eingespielt, aber der Fehler bleibt. Es hätten ja auch nur die Einstellungen bzgl. AHCI/SATA eine Auswirkung auf das FreeNAS haben können.

Hat nicht noch jemand eine andere Idee, was die Ursache sein könnte?

 

[xaibex]

Das Medium auf dem die Installation ist, ist ein USB Stick nehme ich an. Wird dieser an einem USB2.0 port betrieben? und falls es in einem USB3 port betrieben wird, hast du usb3 im freenas aktiviert? USB3 kann probleme machen.

 

[tom.too]

Daß USB3.0 Probleme machen kann, ist mir bekannt. Ich hab vorher schon immer aufgepasst, daß der Stick an USB2.0 steckt.

 

[tom.too]

Ich habe herausgefunden, daß FreeNAS 9.3 dann richtig startet, wenn meine 4x 3TB-HDs nicht mitlaufen. Wenn die HDs angeschlossen sind, kommt:

###########
Trying to mount root from zfs:freenas-boot/ROOT/default []...

Und da scheint etwas schief zu laufen.
savecore: /dev/dumpdev: No such file or directory
...
No suitable dump device was found.

kurz darauf erscheint mehrmals:
Configuring Disk Encryption for gptid/...

Beginning ZFS volume imports

Importing 981...

spa_load_impl: spa_check_logspanic: Solaris(panic): zfs: allocating allocated segment(offset=206516428800 size=32768)
###########

Was noch komisch ist: der 9.3-Installer auf einer 2GB-SDCard schafft die Installation aber auch nicht - auch wenn keine HDs angeschlossen sind. Er versucht:

Trying to mount root from msdosfs:/dev/msdosfs/FREENAS_INS []...

und bleibt dann ziemlich lange bei

da0: quirks=0x3<NO_SYNC_CACHE,NO_6_BYTE>

hängen und meldet dann:

Mounting from msdosfs:/dev/msdosfs/FREENAS_INS failed with error 19.


Hm, vielleicht hat das eine mit dem anderem auch gar nichts zu tun. Ich vermute mal, die 9.3-Installation auf dem USB-Stick ist nicht defekt, sondern nur die Einstellungen bzgl. der angeschlossenen HDs ist defekt. Wie könnte ich das wieder gerade biegen?

 

[xaibex]

kannst du uns bitte genauere infos zu deiner hardware geben und was momentan wo installiert ist?

 

[tom.too]

Asus H97M-E
Intel Celeron G1820T
16GB DDR3-RAM
4x 3TB Seagate ST3000DM001 als RAID-Z1/RAID-5
Freenas 9.3.0-stable auf 8GB Intenso USB2.0-Stick

Alle 4 HDs werden im BIOS erkannt, ist also keine ausgefallen. Irgendwas muß es mit den HDs zu tun haben - irgendeine Einstellung, die auf den HDs abgespeichert wird. Ich hatte vorher 9.2 auf einem 4GB-Stick und konnte den auf 9.3.0 aktualisieren. Danach hatte ich den 4GB-Stick auf einen 8GB-Stick geclont. Leider wurde auf dem 8GB-Stick auch nur eine 4GB-Partition angelegt und die anderen 4GB sind ungenutzt. Da Freenas 9.3 auf dem USB-Stick auf einer ZFS-Partition liegt, konnte ich die freien 4GB nicht der bestehenden Partition zuweisen.

Ich hab nun noch mal mit dem 4GB-Stick getestet. Hab ihn auf 9.3.1 aktualisiert, der Fehler bleibt bestehen. Auch das einspielen des letzten 9.2-Backups auf den 4GB-Stick bringt keine Lösung. Er bleibt immer an der gleichen Stelle hängen, sofern die HDs angeschlossen sind.

 

[xaibex]

Da dein Fehler nur auftritt sobald die HDDs angeschlossen sind, vermute ich den Fehler bei den HDDs. Sprich ZFS, Partionen etc. eventuell auch Hardware.

Da du keinen ECC RAM hast könnte es durchaus sein dass beim schreiben auf die HDDs was schiefgegangen ist und sich nun dein zfs pool deswegen nicht mehr hochfahren lässt.

Eventuell ist nur eine deiner vier Festplatten von dem Problem betroffen. Ich würde dir empfehlen mal alle Kombinationen von 3 Festplatten auszuprobieren (sind nur 4). Dann kannst du immerhin im degradet mode booten und für die übrige festplatte später einen rebuild laufen lassen.

Hast du zusätzlich eine Möglichkeit irgendwie extern die SMART werte der Platten auszulesen?

Ich würde zur Gegenprobe mal eine komplett neue oder nicht benötigte Festplatte anschließen und probieren ob sich FreeNAS und deine Hardware mit dieser betreiben lässt. Falls nicht kannst du ausschließen dass es an den Festplatten selbst liegt. In diesem Fall solltest du deinen RAM testen (memtest86).

 

[tom.too]

FreeNAS 9.3 startet durch, wenn ich eine komplett neue HD nur anschließe. Das Problem ist allerdings nicht weg, wenn 3 "alte" HDs laufen - egal welche der 4 HDs ich trenne. Den RAM habe ich glaub ich schon mal mit memtest86 geprüft, aber sicherheitshalber gegen 2 andere Module ausgetauscht. Hat leider auch nichts gebracht. SMART zeigt auch keine Fehler an.

Hm, was nun? Wie und wo kann ich denn überhaupt in das System eingreifen, wenn es immer dann nicht startet, wenn die HDs angeschlossen sind?

 

[xaibex]

Hm, was nun? Wie und wo kann ich denn überhaupt in das System eingreifen, wenn es immer dann nicht startet, wenn die HDs angeschlossen sind?

Das Problem ist ja dass dein Konfiguriertes FreeNAS System immer versucht dein vorhandenes ZFS beim Booten einzubinden. Und das scheint den Fehler zu verursachen.

Klingt stark nach defektem ZFS auf deinen Platten.

Erstelle mal einen frischen USB Stick mit einer frischen FreeNAS Installation, boote diese mit deinen vier platten, und schau mal ob dieses frische Freenas System dein ZFS auf den Platten erkennt (ob der ZFS Import klappt). Falls nicht weist du schon mal mit großer Sicherheit wo das Problem liegt. Nämlich am Inhalt auf den Platten.

 

[tom.too]

Danke, das hat schon mal ganz sehr geholfen. Hab nun 9.3 neu auf den 8GB-Stick installiert bekommen und er bootet richtig durch, auch mit den 4 HDs. Ich komme auch dann in die FreeNAS-Weboberfläche rein. Unter System -> General hab ich die Konfiguration gleich nach der Neuinstallation abgespeichert und danach die letzte gesicherte Konfiguration wieder eingespielt. Danach war ein Reboot fällig und er ist wieder richtig hochgefahren. In der FreeNAS-Weboberfläche sehe ich unter Storage -> Volumes nun mein "mnt/RAID_5" wieder. Allerdings kann ich über Windows immer noch nicht auf die Freigaben auf dem NAS zugreifen. Unter Storage -> Volumes -> "View Volumes" ist mein "RAID_5" unter "Used", "Available" und "Status" jeweils als "Locked" markiert. Markieren und dann "Unlock"? "View Disks" zeigt mir alle 4 HDs. Dort sieht auch nichts verdächtig aus.

Oder besser die Config gleich nach der Neuinstallation wieder laden und dann über "Import Volume" gehen?

 

[tom.too]

Das mit dem "Unlock" klappt nicht. Es bleibt bei "Locked". Auch ein Neustart hilft nicht...

 

[tom.too]

Bin nun in der Weboberfläche unter "Import Volume". Wenn ich "Encrypted ZFS volume?" verneine, müßte ich im Step 2 ein Volume auswählen. In dem Dropdown-Menü wird mir aber keins angeboten. Verschlüsselt ware das Volume nicht.

Kann ich in der Shell eventuell das Volume importieren?

 

[tom.too]

Mit "Import Volume" komme ich auch nicht weiter. Verschlüsselt ist das Volume nicht, also müßte ich im Step 2 ja eigentlich die Volume-ID angezeigt bekommen. Da ist aber leider nichts. Die Volume-ID habe ich mir aber notiert, wobei er vorher beim booten auch schon immer angezeigt hat:

cannot import '9814948749421181775': no such pool available

Wie kann ich in der Shell nochmal intensiv nach der Volume-ID suchen lassen?

 

[xaibex]

Jetzt kommen wir dem Grund langsam näher.

Dein zpool ist offensichtlich verschlüsselt! Sonst würde nicht Locked erscheinen.

Da du sagst du hättest den pool nicht verschlüsselt, nehme ich an du hast weder eine Passphrase gesetzt, noch ein backup key heruntergeladen? Dann ist die Wahrscheinlichkeit deine Daten wiederzusehen relativ gering.

Das mit der Verschlüsselung könntest du leicht übersehen haben. Das ist ein einziges Häkchen beim erstellen eines neuen pools. Siehe https://doc.freenas.org/9.3/freenas_storage.html?highlight=encryption#volume-manager

 

[tom.too]

Ich bin mir ziemlich sicher, daß ich den Pool nicht verschlüsselt angelegt habe. Was für eine Datei ist die Key-Datei? Einfach nur Text-Datei? Sonst suche ich mal danach. Nur Paßwörter durchprobieren wird ja wohl nicht ausreichen.

FreeNAS 9.3 in der Standard-Konfiguration sieht meinen Pool "RAID_5" auch gar nicht. Erst wenn ich die gesicherten Konfigurationsdaten importiere, meint er, es gibt einen Pool "RAID_5". Von sich aus erkennt er ihn aber nicht!

Standard-Konfig: findet nichts weiter als einzelne 4 HDs, kein Volume
gesicherte Konfig: FreeNAS weiß zwar, daß es das Volume "RAID_5" bei mir gibt, aber es fehlt die hardwareseitige Verbindung zu den 4 HDs

Die Verknüpfung von HDs zu einem Volume wird ja sonst automatisch gemacht. Das müßte ich irgendwie "per Hand" nun machen. Aber geht das überhaupt?

zpool status bringt:
pool: freenas-boot
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
freens-boot ONLINE 0 0 0
da0p2 ONLINE 0 0 0

errors: No known data errors
#####################################

gpart show zeigt mir neben den USB-Stick auch 4 HDs an, jeweils immer mit:

freebsd-swap (2.0G)
freebsd-zfs (2.7T)

Soweit sollte das ja auch korrekt sein.


Mit kompletten Datenverlust will ich mich noch nicht so recht abfinden. Es sind ja ganz offensichtlich weder die HDs kaputt, noch irgendwas anderes an der Hardware. FreeNAS hat sich den Fehler irgendwie selber eingebrockt. Und das kann ich schwer nachvollziehen, wo es doch eigentlich ein so professionelles System ist.

Meine ganz wichtigen privaten und geschäftlichen Dateien lagen nur als Backup auf dem NAS. Nichtsdestotrotz sind schon noch Daten auf dem NAS, die mich sehr schmerzen... Ich hab FreeNAS nur 2-3x die Woche eingeschaltet, um Daten zu sichern. Er lief noch nicht einmal im Dauerbetrieb.

 

[xaibex]

gesicherte Konfig: FreeNAS weiß zwar, daß es das Volume "RAID_5" bei mir gibt, aber es fehlt die hardwareseitige Verbindung zu den 4 HDs

Die Verbindung kommt durch das entschlüsseln zustande. Ohne einen Backup key oder eine Passphrase wirst du diese aber nicht hinbekommen.