Hallo in die Runde,
ich muss mich schon wieder an Euch wenden, ich finde keine wirklichen "Einhängepunkt" für mein Problem.
Mein System läuft seit Mai 2019 sehr gut. Ich habe div. Jails und 3 VM laufen.
Nachdem der Plattzenplatz zu wenig wurde, habe ich einen LSISAS2308 eingebaut. An diesem hängen nun 2x 3TB WD RED.
Diese zwei sind mit 4 weiteren WD RED in einem POOL (tank0) als 2x2x3 verbunden:
pool: tank0
state: ONLINE
scan: scrub repaired 0 in 0 days 06:28:11 with 0 errors on Sun Jun 21 06:28:12 2020
config:
NAME STATE READ WRITE CKSUM
tank0 ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
gptid/5647a612-a59a-11e9-97b1-6cb3111c135c ONLINE 0 0 0
gptid/1ead0b20-a62c-11e9-aee6-6cb3111c135c ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
gptid/8df3a115-904a-11e9-8858-6cb3111c135c ONLINE 0 0 0
gptid/91690757-904a-11e9-8858-6cb3111c135c ONLINE 0 0 0
mirror-2 ONLINE 0 0 0
gptid/1feaefee-b2e5-11ea-b199-4c52622ff34a ONLINE 0 0 0
gptid/2004ac61-b2e5-11ea-b199-4c52622ff34a ONLINE 0 0 0
errors: No known data errors
So weit so gut. Wenn ich nun sehr viel Daten über die Console von einem Verzeichnis in ein anderes kopiere, dann wird das System
nach und nach immer langsamer. CPU ist aber weit weg von 50% Last!
Auch über div. SMB Freigaben läuft es zuerst rel. schnell, dann wird der Durchsatz langsamer und stockt sehr oft.
Wenn es ganz dumm läuft, stürzt FreeNAS-11.3-U3.2 komplett ab. Heute musste ich sogar in den Keller und den Rechner hart ausschalten und
neu starten. Meine erste Idee ist, da mirror-2 über den LSI angeschlossen ist, es hier zu Problemen kommt, kann sowas passieren?
Welches LOG-File würde mir evtl. weiterhelfen? Bis jetzt habe ich in diesen nichts gefunden.
Die Platten sind max. 1Jahr alt und haben im SMART keine Auffälligkeiten.
Was noch auffällt, die Schreibgewschwindigkeit schwankt doch sehr, wenn ich ein:
fio --rw=write --name=benchmark1 --numjobs=1 --size=54G auf tank0 mache, dann schwankt der Speed von 25MiB/s bis 250Mib/s
Ergebnis:
benchmark1: (g=0): rw=write, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=psync, iodepth=1
fio-3.16
Starting 1 process
benchmark1: Laying out IO file (1 file / 55296MiB)
Jobs: 1 (f=1): [W(1)][100.0%][w=233MiB/s][w=59.6k IOPS][eta 00m:00s]
benchmark1: (groupid=0, jobs=1): err= 0: pid=3547: Sun Jun 21 20:27:06 2020
write: IOPS=57.0k, BW=226MiB/s (237MB/s)(54.0GiB/244211msec)
clat (usec): min=3, max=425158, avg=16.97, stdev=398.79
lat (usec): min=3, max=425159, avg=17.01, stdev=398.79
clat percentiles (usec):
| 1.00th=[ 4], 5.00th=[ 4], 10.00th=[ 4], 20.00th=[ 5],
| 30.00th=[ 5], 40.00th=[ 5], 50.00th=[ 5], 60.00th=[ 5],
| 70.00th=[ 6], 80.00th=[ 6], 90.00th=[ 93], 95.00th=[ 100],
| 99.00th=[ 103], 99.50th=[ 120], 99.90th=[ 229], 99.95th=[ 355],
| 99.99th=[ 914]
bw ( KiB/s): min= 7532, max=937013, per=99.70%, avg=231170.33, stdev=95931.02, samples=488
iops : min= 1883, max=234253, avg=57792.23, stdev=23982.77, samples=488
lat (usec) : 4=15.88%, 10=70.82%, 20=0.99%, 50=0.88%, 100=6.33%
lat (usec) : 250=5.02%, 500=0.06%, 750=0.01%, 1000=0.01%
lat (msec) : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.01%, 50=0.01%
lat (msec) : 100=0.01%, 250=0.01%, 500=0.01%
cpu : usr=2.45%, sys=27.44%, ctx=2258362, majf=0, minf=0
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=0,14155776,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=226MiB/s (237MB/s), 226MiB/s-226MiB/s (237MB/s-237MB/s), io=54.0GiB (57.0GB), run=244211-244211msec
Wenn mir jemand einen Weg aufzeigen kann wo ich suchen darf, dann versuche ich das
Danke schonmal!
VG Mario
ich muss mich schon wieder an Euch wenden, ich finde keine wirklichen "Einhängepunkt" für mein Problem.
Mein System läuft seit Mai 2019 sehr gut. Ich habe div. Jails und 3 VM laufen.
Nachdem der Plattzenplatz zu wenig wurde, habe ich einen LSISAS2308 eingebaut. An diesem hängen nun 2x 3TB WD RED.
Diese zwei sind mit 4 weiteren WD RED in einem POOL (tank0) als 2x2x3 verbunden:
pool: tank0
state: ONLINE
scan: scrub repaired 0 in 0 days 06:28:11 with 0 errors on Sun Jun 21 06:28:12 2020
config:
NAME STATE READ WRITE CKSUM
tank0 ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
gptid/5647a612-a59a-11e9-97b1-6cb3111c135c ONLINE 0 0 0
gptid/1ead0b20-a62c-11e9-aee6-6cb3111c135c ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
gptid/8df3a115-904a-11e9-8858-6cb3111c135c ONLINE 0 0 0
gptid/91690757-904a-11e9-8858-6cb3111c135c ONLINE 0 0 0
mirror-2 ONLINE 0 0 0
gptid/1feaefee-b2e5-11ea-b199-4c52622ff34a ONLINE 0 0 0
gptid/2004ac61-b2e5-11ea-b199-4c52622ff34a ONLINE 0 0 0
errors: No known data errors
So weit so gut. Wenn ich nun sehr viel Daten über die Console von einem Verzeichnis in ein anderes kopiere, dann wird das System
nach und nach immer langsamer. CPU ist aber weit weg von 50% Last!
Auch über div. SMB Freigaben läuft es zuerst rel. schnell, dann wird der Durchsatz langsamer und stockt sehr oft.
Wenn es ganz dumm läuft, stürzt FreeNAS-11.3-U3.2 komplett ab. Heute musste ich sogar in den Keller und den Rechner hart ausschalten und
neu starten. Meine erste Idee ist, da mirror-2 über den LSI angeschlossen ist, es hier zu Problemen kommt, kann sowas passieren?
Welches LOG-File würde mir evtl. weiterhelfen? Bis jetzt habe ich in diesen nichts gefunden.
Die Platten sind max. 1Jahr alt und haben im SMART keine Auffälligkeiten.
Was noch auffällt, die Schreibgewschwindigkeit schwankt doch sehr, wenn ich ein:
fio --rw=write --name=benchmark1 --numjobs=1 --size=54G auf tank0 mache, dann schwankt der Speed von 25MiB/s bis 250Mib/s
Ergebnis:
benchmark1: (g=0): rw=write, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=psync, iodepth=1
fio-3.16
Starting 1 process
benchmark1: Laying out IO file (1 file / 55296MiB)
Jobs: 1 (f=1): [W(1)][100.0%][w=233MiB/s][w=59.6k IOPS][eta 00m:00s]
benchmark1: (groupid=0, jobs=1): err= 0: pid=3547: Sun Jun 21 20:27:06 2020
write: IOPS=57.0k, BW=226MiB/s (237MB/s)(54.0GiB/244211msec)
clat (usec): min=3, max=425158, avg=16.97, stdev=398.79
lat (usec): min=3, max=425159, avg=17.01, stdev=398.79
clat percentiles (usec):
| 1.00th=[ 4], 5.00th=[ 4], 10.00th=[ 4], 20.00th=[ 5],
| 30.00th=[ 5], 40.00th=[ 5], 50.00th=[ 5], 60.00th=[ 5],
| 70.00th=[ 6], 80.00th=[ 6], 90.00th=[ 93], 95.00th=[ 100],
| 99.00th=[ 103], 99.50th=[ 120], 99.90th=[ 229], 99.95th=[ 355],
| 99.99th=[ 914]
bw ( KiB/s): min= 7532, max=937013, per=99.70%, avg=231170.33, stdev=95931.02, samples=488
iops : min= 1883, max=234253, avg=57792.23, stdev=23982.77, samples=488
lat (usec) : 4=15.88%, 10=70.82%, 20=0.99%, 50=0.88%, 100=6.33%
lat (usec) : 250=5.02%, 500=0.06%, 750=0.01%, 1000=0.01%
lat (msec) : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.01%, 50=0.01%
lat (msec) : 100=0.01%, 250=0.01%, 500=0.01%
cpu : usr=2.45%, sys=27.44%, ctx=2258362, majf=0, minf=0
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=0,14155776,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=226MiB/s (237MB/s), 226MiB/s-226MiB/s (237MB/s-237MB/s), io=54.0GiB (57.0GB), run=244211-244211msec
Wenn mir jemand einen Weg aufzeigen kann wo ich suchen darf, dann versuche ich das
Danke schonmal!
VG Mario