Hallo zusammen,
ich lese hier schon eine ganze Zeit mit. Das Forum konnte mir auch oft helfen.
FreeNas 11.2-U5 läuft soweit. Hier noch meine Hardware:
Status Tank0:
Und dann noch Tank1:
Was mir nun aufgefallen ist, wenn ich über das 1GB Netzwerk Daten auf "tank0" schaufel, schaffe ich für ca. 8Gb bis 21GB einen Datendurchsatz von 110MB/s.
Wenn ich mir dies mit zpool iostat tank0 1 ansehe sieht man dies:
Die Daten werden nur mit ca. 30MB/s geschrieben.
Irgendwann ist dann wohl der cache voll und das ganze brincht total zusammen - Netzwerk macht dann für 2-3 Minuten nichts mehr. Dann geht es
mit 110MB/s weiter bis dann nach kurzer Zeit wieder nichts passiert.
Wenn ich das Ganze auf "tank1" in einem Testverzeichnis mache (auch SMB Freigabe) dann habe ich diese Schreibrate auf die NVMe (Mirror):
Hier gibt es keine Unterbrechungen in der Übertragung, es bleibt bei 110MB/s.
Wenn ich mit dd von tank0 zu tank1 kopiere (50GB!) dann habe ich schreib-/leseraten von ca. 300MB/s! diese erreiche ich auch von tank1 zu tank0, plus minuts ein paar MB/s.
Ich weiß mir hier nicht mehr zu helfen, auch ein ZIL / Log über 2 SSD zusätzlich ändert nichts.
Ich bin noch neu bei FreeBSD und Freenas - kann mir jemand noch einen Tip geben was ich machen kann?
Warum sind die SATA so langsam beim schreiben über das Netzwerk?
Die SATA hängen alle am interen Controller.
Die zwei NVMe am internen M2 und an einem PCI-Adapter mit 16 PCI-Lanes.
Wenn noch Infos fehlen, dann bitte bescheid geben ;)
Dankeschön!
VG Mario
ich lese hier schon eine ganze Zeit mit. Das Forum konnte mir auch oft helfen.
FreeNas 11.2-U5 läuft soweit. Hier noch meine Hardware:
- Motherboard Fujitsu D3644-B Intel C246
- CPU Intel i3-8350K
- RAM 2x 16GB Samsung DDR4-2400 ECC
- 2x 3TB WD RED und 2x 4TB WD RED (Tank0) für Daten
- 2x 500GB Samsung 970 Evo Plus M2 NVMe (Tank1) für VM´s
- Hard disk controller: intern 6x SATA 6G
- Netzwerkkarte: Intel 82576 Chip
Status Tank0:
Code:
root@HugoFreeNAS[~]# zpool status tank0 pool: tank0 state: ONLINE scan: resilvered 366G in 0 days 00:54:00 with 0 errors on Sun Jul 14 14:34:05 2019 config: NAME STATE READ WRITE CKSUM tank0 ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 gptid/5647a612-a59a-11e9-97b1-6cb3111c135c ONLINE 0 0 0 gptid/1ead0b20-a62c-11e9-aee6-6cb3111c135c ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 gptid/8df3a115-904a-11e9-8858-6cb3111c135c ONLINE 0 0 0 gptid/91690757-904a-11e9-8858-6cb3111c135c ONLINE 0 0 0
Und dann noch Tank1:
Code:
root@HugoFreeNAS[~]# zpool status tank1 pool: tank1 state: ONLINE scan: none requested config: NAME STATE READ WRITE CKSUM tank1 ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 gptid/63f36e42-904d-11e9-8858-6cb3111c135c ONLINE 0 0 0 gptid/66c0f38e-904d-11e9-8858-6cb3111c135c ONLINE 0 0 0
Was mir nun aufgefallen ist, wenn ich über das 1GB Netzwerk Daten auf "tank0" schaufel, schaffe ich für ca. 8Gb bis 21GB einen Datendurchsatz von 110MB/s.
Wenn ich mir dies mit zpool iostat tank0 1 ansehe sieht man dies:
Code:
tank0 2.16T 4.20T 169 283 676K 35.4M tank0 2.16T 4.20T 165 246 661K 30.6M tank0 2.16T 4.20T 149 244 596K 30.5M tank0 2.16T 4.20T 145 219 582K 27.2M tank0 2.16T 4.20T 131 196 527K 24.6M tank0 2.16T 4.20T 156 244 625K 30.5M tank0 2.16T 4.20T 139 224 560K 28.1M tank0 2.16T 4.20T 149 239 598K 29.9M tank0 2.16T 4.20T 133 245 535K 30.7M tank0 2.16T 4.20T 146 232 586K 29.0M tank0 2.16T 4.20T 143 218 572K 27.3M tank0 2.16T 4.20T 131 200 524K 24.9M tank0 2.16T 4.20T 146 225 585K 28.1M tank0 2.16T 4.20T 139 245 558K 30.6M tank0 2.16T 4.20T 155 232 623K 29.0M tank0 2.16T 4.20T 35 22.2K 144K 106M tank0 2.16T 4.20T 0 0 0 0 tank0 2.16T 4.20T 23 0 95.9K 3.99K tank0 2.16T 4.20T 299 6.88K 1.17M 30.1M tank0 2.16T 4.20T 180 120 723K 2.34M tank0 2.16T 4.20T 390 0 1.52M 0 tank0 2.16T 4.20T 201 14.3K 807K 62.4M tank0 2.16T 4.20T 219 0 877K 0 tank0 2.16T 4.20T 358 0 1.40M 0 tank0 2.16T 4.20T 305 0 1.19M 0 tank0 2.16T 4.20T 318 0 1.24M 0 tank0 2.16T 4.20T 289 49 1.13M 375K tank0 2.16T 4.20T 0 23.0K 0 96.1M tank0 2.16T 4.20T 0 0 0 0 tank0 2.16T 4.20T 0 0 0 0
Die Daten werden nur mit ca. 30MB/s geschrieben.
Irgendwann ist dann wohl der cache voll und das ganze brincht total zusammen - Netzwerk macht dann für 2-3 Minuten nichts mehr. Dann geht es
mit 110MB/s weiter bis dann nach kurzer Zeit wieder nichts passiert.
Wenn ich das Ganze auf "tank1" in einem Testverzeichnis mache (auch SMB Freigabe) dann habe ich diese Schreibrate auf die NVMe (Mirror):
Code:
tank1 81.8G 378G 0 8.40K 0 128M tank1 81.9G 378G 0 8.41K 0 127M tank1 82.1G 378G 0 8.42K 0 128M tank1 82.2G 378G 0 8.42K 0 128M tank1 82.3G 378G 0 8.43K 0 128M tank1 82.4G 378G 0 8.42K 0 128M tank1 82.5G 378G 0 4.23K 0 64.6M tank1 82.6G 377G 0 8.53K 0 131M tank1 82.7G 377G 0 8.37K 0 128M tank1 82.9G 377G 0 8.17K 0 125M tank1 83.0G 377G 0 8.10K 0 123M tank1 83.1G 377G 0 8.43K 0 128M tank1 83.2G 377G 0 8.29K 0 127M
Hier gibt es keine Unterbrechungen in der Übertragung, es bleibt bei 110MB/s.
Wenn ich mit dd von tank0 zu tank1 kopiere (50GB!) dann habe ich schreib-/leseraten von ca. 300MB/s! diese erreiche ich auch von tank1 zu tank0, plus minuts ein paar MB/s.
Ich weiß mir hier nicht mehr zu helfen, auch ein ZIL / Log über 2 SSD zusätzlich ändert nichts.
Ich bin noch neu bei FreeBSD und Freenas - kann mir jemand noch einen Tip geben was ich machen kann?
Warum sind die SATA so langsam beim schreiben über das Netzwerk?
Die SATA hängen alle am interen Controller.
Die zwei NVMe am internen M2 und an einem PCI-Adapter mit 16 PCI-Lanes.
Wenn noch Infos fehlen, dann bitte bescheid geben ;)
Dankeschön!
VG Mario