geli trouble after Updates and disk replacement

[Hubertus Feindler]

OK guys, not sure how I got there, but after replaceing a disk in 12.0.U5.1 over the gui on a geli crypted volume I cannot recover the volume.
Here is where I stand:

I was able to decrypt one of the for disks manually on my system;

Code:

root@freenas[~]# zpool import
   pool: vol1
     id: 699797501502370819
  state: UNAVAIL
status: One or more devices are missing from the system.
 action: The pool cannot be imported. Attach the missing
        devices and try again.
   see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-3C
 config:

        vol1                                                UNAVAIL  insufficient replicas
          raidz1-0                                          UNAVAIL  insufficient replicas
            gptid/85815785-5f95-11e8-bacf-ac1f6b818042.eli  UNAVAIL  cannot open
            gptid/8616f1bf-5f95-11e8-bacf-ac1f6b818042.eli  UNAVAIL  cannot open
            gptid/86b33002-5f95-11e8-bacf-ac1f6b818042.eli  UNAVAIL  cannot open
            gptid/87650571-5f95-11e8-bacf-ac1f6b818042.eli  ONLINE

Using Mediasize 7999415648256 from 87650571-5f95-11e8-bacf-ac1f6b818042 I can see GEMO::ELI information on the disks:

Code:

root@freenas[~]# BLOCK_COUNT=$(( 7999415648256/ ${BLOCK_SIZE} ))
root@freenas[~]# let SKIP=$(( ${BLOCK_COUNT} - 1))
root@freenas[~]# dd if=/dev/da0p2 bs=${BLOCK_SIZE} skip=${SKIP} | od -a
1+0 records in
1+0 records out
512 bytes transferred in 0.000340 secs (1505068 bytes/sec)
0000000    G   E   O   M   :   :   E   L   I nul nul nul nul nul nul nul
0000020  bel nul nul nul nul nul nul nul syn nul nul soh nul nul nul nul
0000040    T  82   F bel nul nul nul dle nul nul soh  9e   X dle nul  df
0000060    7   $   3  8b   u  82   W  da  95  d1  si  a3  cf  rs  c6   r
0000100   a7 soh   j  cf  9c   B  ba   (  e5  ad   3  8a   y   _ dc2  d3
0000120    P   L  8b   t   a   % enq   a  85  a3   p   =  bs  d7  c7  9b
0000140   af  8d  a9  eb  a5 dle  gs   <  gs  ca   .  9b   J  f2   k  e9
0000160   rs   t   V dc2  f4  80  bb   R  d3  c6   Z   7   5   ~  c7   m
0000200   9a   b   t esc  ff  9c   ]   (  d2  b9 soh  e6 enq  fe   T   #
0000220   ff  bc ack  e0   ? dle   H  92 dle  b5 soh  80  d3  a0   1   u
0000240    c  dc  97   h   n  99 del   f  82  c9   Q  fe  b7  nl  f3  ea
0000260   c4   t  c5  95 dc2  d9  f1   t  88   U  e6   M  em   P  fa  ee
0000300    K  e1  f3   O   b  bd   V  em bel  sp  9f  dd  vt  b6  a3   v
0000320   89  ce   8   T  a1  a8   G  82  f4   Q  e2  ac enq   T  d7   n
0000340    K  e0  b6  cd  ca bel   s  87  f3   h  9c  98   :  90   ]  a6
0000360   be  be  b2   D  e8  ed  95   8   , dc3  f1 dc1  f6  b1   Y  8f
0000400   b0  b2   7   Y   I  dc   v  so  c2  96  99  ac  ec   c  si  c3
0000420    7   ^   s   6   \ syn   t  cb   N  b3  d5  ht  83 can  ca  d5
0000440  dc2 dc3  ed  a2 dc1  de  d7   j dc1  eb  c0   e   P  ce  d7 nul
0000460  nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul
*
0000740  nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul ack
0000760   c7   n   C  a7  cf  ab   [  9e   #   K  b2  so  dd   )  b6 nul
0001000
root@freenas[~]# dd if=/dev/da1p2 bs=${BLOCK_SIZE} skip=${SKIP} | od -a
0000000    G   E   O   M   :   :   E   L   I nul nul nul nul nul nul nul
0000020  bel nul nul nul nul nul nul nul syn nul nul soh nul nul nul nul
0000040    T  82   F bel nul nul nul dle nul nul soh dc4   X dle nul  a5
0000060    *   #   _   =   O  ae  85  8d   9  db  vt  d0  87 nak  ab can
0000100   d3  bf  c2  d6   j  f6  bc  a3   ,  fc  98   y   #   R eot  99
0000120    :   J  f5  f6  a9 dc4   Z sub  a1  ed  87  99   $   <  8d  c5
0000140    9  ad esc   |  d5   c  b1   U   H   h  c4  ed  fa  87   E   \
0000160   c2  da  b6  ca  87  f3  e5   x   $  b7   w  ba  eb  so  e7   2
0000200   9e  d7  d3   C   6 esc   )  em  us  99  c9   l   f   8  c5   <
0000220   e6  d7  e2 etx  9b  b7  cc   {  ea  ht  c0  si  gs  dc  d0   d
0000240   c3  90   D   (   . del  ea  95  be   `  f2  a0   C  da  c7  cr
0000260    [ soh   a  8a  fd   _   /  b1  df   _   0  dc  b3   x   @ nak
0000300  nul stx   t  87   <  d0  f9  f3 dc1 syn  fs  e6   $ dc2  93  f8
0000320   ef  85  e7  90  b2  cb   ]   o  97  ef  a8   y   @   W  e7  ec
0000340   b0  9f  a4  90  de   M   L   P esc  f6 eot  e9   u  cb nul  c6
0000360    c  b9   q   5  8c  c2  ff   " bel  b9  b7   v  c5   ]  em  d7
0000400   8c dc2   9  c5 nak  ca  b7  b3  e3  bb   K   }   E  d2  8a   V
0000420   f7   D  cf  ed   <   &   h dc4  d7  97  99  so  e7  80   .   L
0000440   f0  e0  f5   u   1  e1 etx  d9  c4   ;  bb  si  f8   l esc nul
0000460  nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul
*
0000740  nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul  b7
0000760   b8   ^   4  89   [  dd   H  f1   Z  b1   m  e5   W  b4  ca nul
0001000  nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul
*
9+0 records in
9+0 records out
4608 bytes transferred in 0.003364 secs (1369980 bytes/sec)
0011000
root@freenas[~]# dd if=/dev/da1p2 bs=${BLOCK_SIZE} skip=${SKIP} | od -a
0000000    G   E   O   M   :   :   E   L   I nul nul nul nul nul nul nul
0000020  bel nul nul nul nul nul nul nul syn nul nul soh nul nul nul nul
0000040    T  82   F bel nul nul nul dle nul nul soh dc4   X dle nul  a5
0000060    *   #   _   =   O  ae  85  8d   9  db  vt  d0  87 nak  ab can
0000100   d3  bf  c2  d6   j  f6  bc  a3   ,  fc  98   y   #   R eot  99
0000120    :   J  f5  f6  a9 dc4   Z sub  a1  ed  87  99   $   <  8d  c5
0000140    9  ad esc   |  d5   c  b1   U   H   h  c4  ed  fa  87   E   \
0000160   c2  da  b6  ca  87  f3  e5   x   $  b7   w  ba  eb  so  e7   2
0000200   9e  d7  d3   C   6 esc   )  em  us  99  c9   l   f   8  c5   <
0000220   e6  d7  e2 etx  9b  b7  cc   {  ea  ht  c0  si  gs  dc  d0   d
0000240   c3  90   D   (   . del  ea  95  be   `  f2  a0   C  da  c7  cr
0000260    [ soh   a  8a  fd   _   /  b1  df   _   0  dc  b3   x   @ nak
0000300  nul stx   t  87   <  d0  f9  f3 dc1 syn  fs  e6   $ dc2  93  f8
0000320   ef  85  e7  90  b2  cb   ]   o  97  ef  a8   y   @   W  e7  ec
0000340   b0  9f  a4  90  de   M   L   P esc  f6 eot  e9   u  cb nul  c6
0000360    c  b9   q   5  8c  c2  ff   " bel  b9  b7   v  c5   ]  em  d7
0000400   8c dc2   9  c5 nak  ca  b7  b3  e3  bb   K   }   E  d2  8a   V
0000420   f7   D  cf  ed   <   &   h dc4  d7  97  99  so  e7  80   .   L
0000440   f0  e0  f5   u   1  e1 etx  d9  c4   ;  bb  si  f8   l esc nul
0000460  nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul
*
0000740  nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul  b7
0000760   b8   ^   4  89   [  dd   H  f1   Z  b1   m  e5   W  b4  ca nul
0001000  nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul nul
*
0011000
9+0 records in
9+0 records out
4608 bytes transferred in 0.002786 secs (1654193 bytes/sec)

But media size on those three disks is 7999415652352.

How can I geli attach those disks? Currently I am getting

Code:

root@freenas[~]# geli attach -k /data/geli/c3582d8c-c699-49a5-8532-855fbcecc77d.key /dev/gptid/85815785-5f95-11e8-bacf-ac1f6b818042
geli: Cannot read metadata from /dev/gptid/85815785-5f95-11e8-bacf-ac1f6b818042: Invalid argument.
geli: There was an error with at least one provider.

Thanks in advance

 

[Hubertus Feindler]

I am thinking about the following two options to resolve the problem:
1. Copy the partition table from the smaller partioned disk to the other three to have the gli block at the end
2. dd the block to the end of the partition on the three failing partitions

Any recommendations?