Неверный объем dataset

[borgetko]

Всем привет.
Имеется FreeNAS-11.1-U6, стоит на железке. Заведено в Raidz-1 4 wdred 3tb.


root@freenas:~ # zpool status Trash
pool: Trash
state: ONLINE
scan: scrub repaired 0 in 0 days 06:39:37 with 0 errors on Fri Sep 21 06:10:47 2018
config:

NAME STATE READ WRITE CKSUM
Trash ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
gptid/04600c07-2b7b-11e7-8af7-002590044bfe ONLINE 0 0 0
gptid/05a3fef8-2b7b-11e7-8af7-002590044bfe ONLINE 0 0 0
gptid/06dece2d-2b7b-11e7-8af7-002590044bfe ONLINE 0 0 0
gptid/07c0cd17-2b7b-11e7-8af7-002590044bfe ONLINE 0 0 0



root@freenas:~ # zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
Trash 10.9T 4.18T 6.70T - 35% 38% 1.00x ONLINE /mnt
freenas-boot 28.5G 1.66G 26.8G - - 5% 1.00x ONLINE -



root@freenas:~ # zfs list
NAME USED AVAIL REFER MOUNTPOINT
Trash 3.13T 4.54T 1.06G /mnt/Trash
Trash/.system 114M 4.54T 866K legacy
Trash/.system/configs-c0708eef149b49a396f66530a6f1b80a 128K 4.54T 128K legacy
Trash/.system/configs-d7324b77ebb1421694e80e691b952bf9 58.8M 4.54T 58.8M legacy
Trash/.system/cores 639K 4.54T 639K legacy
Trash/.system/rrd-c0708eef149b49a396f66530a6f1b80a 128K 4.54T 128K legacy
Trash/.system/rrd-d7324b77ebb1421694e80e691b952bf9 30.8M 4.54T 30.8M legacy
Trash/.system/samba4 994K 4.54T 994K legacy
Trash/.system/syslog-c0708eef149b49a396f66530a6f1b80a 128K 4.54T 128K legacy
Trash/.system/syslog-d7324b77ebb1421694e80e691b952bf9 21.3M 4.54T 21.3M legacy
Trash/Trash 2.99T 4.54T 2.99T /mnt/Trash/Trash
Trash/jails 128K 4.54T 128K /mnt/Trash/jails
Trash/pxeiso 18.9G 4.54T 18.9G /mnt/Trash/pxeiso
Trash/windows10 102G 4.62T 19.8G -
freenas-boot 1.66G 26.0G 64K none
freenas-boot/ROOT 1.64G 26.0G 29K none
freenas-boot/ROOT/11.1-U6 1.64G 26.0G 838M /
freenas-boot/ROOT/Initial-Install 306K 26.0G 837M legacy
freenas-boot/ROOT/default 174K 26.0G 837M legacy
freenas-boot/grub 6.84M 26.0G 6.84M legacy



Из zfs list видно, что в /mnt/Trash занято 3.13T, а доступно 4.54T, что то отъело целых 3.23Т. Как мне обнаружить, что заняло это место? И как это пофиксить?
В мануале написано что включается четность. Т.е. четность съела 3Т? Как узнать о том, нет ли там чего лишнего?
Заранее спасибо.


root@freenas:/mnt/Trash # ls -a
. .. .freenas jails pxeiso Trash Trash2


root@freenas:/mnt/Trash # du -sh
3.0T .


 

[borgetko]

Вычитал:

The data isn't copied to the forth disk, instead the parity data (essentially the sum of the other disks) is stored there. So if disk1 + disk2 + disk3 = parity then parity - disk1 + disk2 = disk3 (this is a pretty basic explanation but that's essentially how it works.) So if one disk fails you can recover the data on it, but if two disks fail you lose everything.

Попробую произвести расчет:
Емкость 1 диска = 3000/1.024/1.024/1.024 = 2793,967723846435546875Г
Емкость массива = 2793,967723846435546875 * 4 = 11175,8708953857421875Г, freenas говорит что 10,9Т. Предположим это служебная информация/для ремапа. Получается что фактическая емкость для нужд составляет 2,725Т
Исключаем 1 диск под четность = 11175,8708953857421875 - 2793,967723846435546875 = 8381,903171539306640625Г. По freenas'у это 10,9-2,725=8,175Т
Freenas говорит что доступно 7,52T, но по вычислениям должны получить не меньше 8Т
Где я просчитался? Палками не бить) Впервые в этой теме.

 

[mav@]

Производители дисков считают что в килобайте 1000 байт, а не 1024. Пересчитай и должно сойтись.

 

[borgetko]

Производители дисков считают что в килобайте 1000 байт, а не 1024. Пересчитай и должно сойтись.

Я так и сделал

Вычитал:
Емкость 1 диска = 3000/1.024/1.024/1.024 = 2793,967723846435546875Г

 

[mav@]

Извини, видимо я еще не проснулся. Просто это самая типичная ошибка.

Помимо этого, если мне не изменяет память, ZFS пытается предсказать объем который займут метаданные необходимые для адресации такого объема данных. Плюс если файлы мелкие, то на RAIDZ они могут ложиться не плотно и с меньшей эффективностью чем хотелось бы. RAIDZ это все-же не совсем RAID5, он работает иначе и на мелких объектах (килобайт) менее эффективен.

 

[borgetko]

Извини, видимо я еще не проснулся. Просто это самая типичная ошибка.

Помимо этого, если мне не изменяет память, ZFS пытается предсказать объем который займут метаданные необходимые для адресации такого объема данных. Плюс если файлы мелкие, то на RAIDZ они могут ложиться не плотно и с меньшей эффективностью чем хотелось бы. RAIDZ это все-же не совсем RAID5, он работает иначе и на мелких объектах (килобайт) менее эффективен.

В том то и дело, что там огромные файлы (дистрибутивы + фильмы + бекапы ВМ)

 

[Buch]

Такой же конфиг по дискам и такие же цифры, задумался ...
Объем диска посчитан правильно, а вот с датасетом беда.

Code:

root@home-srv:~ # zpool status RAIDZ
  pool: RAIDZ
 state: ONLINE
  scan: scrub repaired 0 in 0 days 03:21:45 with 0 errors on Sun Sep  9 03:21:48 2018
config:

		NAME											STATE	 READ WRITE CKSUM
		RAIDZ										   ONLINE	   0	 0	 0
		  raidz1-0									  ONLINE	   0	 0	 0
			gptid/709edf46-dd26-11e5-9b73-645106d870e8  ONLINE	   0	 0	 0
			gptid/71543b43-dd26-11e5-9b73-645106d870e8  ONLINE	   0	 0	 0
			gptid/72168912-dd26-11e5-9b73-645106d870e8  ONLINE	   0	 0	 0
			gptid/72e49839-dd26-11e5-9b73-645106d870e8  ONLINE	   0	 0	 0

errors: No known data errors
root@home-srv:~ # zpool list
NAME		   SIZE  ALLOC   FREE  EXPANDSZ   FRAG	CAP  DEDUP  HEALTH  ALTROOT
RAIDZ		 10.9T  4.02T  6.86T		 -	 8%	36%  1.00x  ONLINE  /mnt
SSD			109G  10.2M   109G		 -	25%	 0%  1.00x  ONLINE  /mnt
freenas-boot  7.38G  1.72G  5.65G		 -	  -	23%  1.00x  ONLINE  -
root@home-srv:~ # zfs list
NAME													 USED  AVAIL  REFER  MOUNTPOINT
RAIDZ												   2.92T  4.74T   151K  /mnt/RAIDZ

 

[borgetko]

Во во. Единственно что я вспомнил, что я создавал когда то на 1T файл, который использовал в качестве таргета iscsi, но потом удалил