Débit de transfert très lent

Rikumu

Dabbler
Joined
Jun 9, 2023
Messages
20
Bonjour,

Après des jours de tests, j'abandonne, je me tourne vers vous.
Je jette un pavé dans la mare.

Comme indiqué dans le titre j'ai des soucis de transfert d'un disque dur de mon pc principal depuis le disque dur de ma VM.
Hors VM avec un partage SMB classique sans VM ca fonctionne parfaitement.

Voici un exemple ci dessous.
Transfert de mon DD de mon PC principal vers la VM. (Screen en pièce jointe)

Le but est de faire travailler mon NAS pendant que mon PC se repose.

Côté configuration du NAS :
Carte Mère : B450 AORUS M
Proc : AMD Ryzen 5 5500
Disque de la VM en question : SSD PNY CS900 2To

Côté WAN :
Switch 1 Gb/s sur une Livebox 6

Côté PC :
Carte Mère : ASUS Carte Mère Gaming ROG Strix X570-E
Proc : AMD Ryzen 5950X
Disque en question : WD Red NAS 6To
 

Attachments

  • explorer_s9LhepfdvC.png
    explorer_s9LhepfdvC.png
    12.4 KB · Views: 171

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,531
Bonjour,

Alors si j'ai bien tout compris, tu as:
  • un PC (je suppose sous windows) avec un disque de 6To
  • un serveur TrueNAS SCALE (avec un volume en disque mécanique je suppose?)
  • une VM sous TrueNAS qui a un SSD
Et lorsque tu copies entre le PC et le SSD de la VM c'est très lent.
Par contre entre le PC et le NAS, ça va.
Le tout en partages SMB.

Quelques idées:
  • Côté serveur, je vois que la carte mère intègre une carte réseau avec chipset Realtek... ben en gros, déjà, je chercherai pas trop plus loin et je testerai avec une carte réseau chipset intel si le résultat est le même... :tongue:
  • Sinon, tu ne donnes pas d'info sur la quantité de RAM du serveur, ça peut jouer...
  • C'est un peu tout au niveau idées en fait. :-D
    Je testerai éventuellement le réseau avec iperf pour être sûr.
    Ce qui me chiffonne un peu quand même c'est que tu dis qu'apparemment entre le PC et le NAS t'as pas de problème de débit...
 

Rikumu

Dabbler
Joined
Jun 9, 2023
Messages
20
"
Bonjour,

J'ai des problèmes de transferts sous une VM que j'ai créée avec TrueNAS Scale.
La VM tourne sous un Windows 11 personnalisé. J'ai effectué des tests sous Windows 10 et Windows 11 officiels, mais j'ai rencontré le même problème.
Le problème que je rencontre est des chutes de débit lors des transferts.

Je rencontre le même souci qu'Ashka :" au début, la copie se fait à environ 110 Mo/s pendant les premières secondes, mais toutes les 10 secondes, il y a des chutes à 0 Ko/s qui durent également 10 secondes voir plus longtemps..."
Ensuite, la vitesse remonte progressivement vers 60 Mo/s pendant 3 à 4 secondes, puis ça recommence à chuter.
Un transfert de 100 Go peut prendre entre 3 et 4 heures.

En ce qui concerne la configuration du NAS :
Carte mère : B450 AORUS M
Processeur : AMD Ryzen 5 5500
Disque de la VM en question : SSD PNY CS900 2 To

J'ai consulté d'autres messages sur le forum, mais soit je n'utilise pas les bons mots-clés, soit je ne trouve pas quelqu'un ayant le même problème que moi.
La duplication n'est pas activée, comme je l'ai pu voir dans certains messages.
Je ne pense pas que cela vienne de la carte réseau, car je peux copier mon pool en RAID-Z1 à une vitesse constante de 110 Mo/s lors d'un test de transfert de 600 Go."

Pour l'ancien post.

Ok je vais voir ça.
 

Rikumu

Dabbler
Joined
Jun 9, 2023
Messages
20
Bonjour,

Alors si j'ai bien tout compris, tu as:
  • un PC (je suppose sous windows) avec un disque de 6To
  • un serveur TrueNAS SCALE (avec un volume en disque mécanique je suppose?)
  • une VM sous TrueNAS qui a un SSD
Et lorsque tu copies entre le PC et le SSD de la VM c'est très lent.
Par contre entre le PC et le NAS, ça va.
Le tout en partages SMB.
Pour mieux expliqué la configuration du NAS.

Niveau ram j'ai 32Go de ddr4 classique.

Sur le NAS j'ai des disques mécaniques aussi.

Lorsque :

- Copie de mon PC principal vers mon NAS sur les HDD tout est ok. (Partage SMB)
- Copie de mes HDD vers mon SSD sans zvol avec un dataset en smb ca marche niquel
- Copie de données depuis n'importe ou vers la VM il y a soucis. (Pas forcément en SMB)

J'ai fais des tests de créations suivants :

- VM sur les HDD du NAS avec transfert, soucis.
- VM sur le SSD 2To uniquement avec partition, soucis.
- VM sur un SSD de 500go puis zvol sur le SSD de 2To, soucis.

Le problème est toujours présent que ce soit en SMB ou en ZVOL.
Dans le cas présent il est impératif pour moi que mon SSD de 2To ne sois pas en lecteur réseau pour diverses contraintes non imputables.

J'ai pu réalisé le test avec iperf voici le résultat :

[ ID] Interval Transfer Bandwidth
[ 5] 0.00-180.05 sec 0.00 Bytes 0.00 bits/sec sender
[ 5] 0.00-180.05 sec 18.9 GBytes 904 Mbits/sec receiver

(J'évite de mettre toutes lignes)

Ca ne m'a pas l'air d'être à première vu un propre de carte réseau mais un soucis de protocole je pense... mais laissons cette idée de côté pour le moment.
 

Ashka

Explorer
Joined
Mar 25, 2023
Messages
60
Bonjour,

c'est vrai que j'avais le même soucis mais moi cela provenait de la déduplication qui était activée.
Mais vu que tu as pas activé cette option je vois pas trop, apres comme je suis en 10G Ethernet j’étais bridé
en transfert fallait modifier le MTU coté NAS et PC mais à pars ça pour ton soucis c'est peut être un paramètre
coté VM si en SMB tt est ok. (pour le contrôleur disque sous la VM tu as bien mis VirtIO ?)
 

Rikumu

Dabbler
Joined
Jun 9, 2023
Messages
20
Non je suis en intel e82855 sous la VM.
Je vais tester avec une Virtl0.
 

Rikumu

Dabbler
Joined
Jun 9, 2023
Messages
20
Je ne peux pas faire de Virl0 car sous la VM et peu importe l'os à chaque fois c'est comme ci je n'avaias pas de carte réseau et du coup je me retrouve à ne rien pouvoir faire
 

Attachments

  • vivaldi_bE641sTXvi.png
    vivaldi_bE641sTXvi.png
    32.9 KB · Views: 169

Rikumu

Dabbler
Joined
Jun 9, 2023
Messages
20
Petit up, j'ai fait des tests en montant en local un serveur ftp pour voir ce que ca donne pareil, ca déconne aussi...
 

Rikumu

Dabbler
Joined
Jun 9, 2023
Messages
20
Nouveau retour, j'ai installé une carte réseau intel, mis en bridge etc... Même chose.
J'ai commandé une carte d'extension Dell H310 on verra si je mets ca dessus voir ce que ca donne.
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,531
Depuis la VM (vers le PC client) tu peux faire des tests avec iperf et voir ce que ça donne?
Et faire de même depuis TrueNAS.
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,531
Alors là on est plutôt pas mal niveau résultats.
Donc c'est pas la couche réseau qui pose problème...
Tu peux faire des tests dans la VM pour les débits disques (genre ça avec dd: dd if=/dev/zero of=tmp.dat bs=2048k count=50k puis dd of=/dev/zero if=tmp.dat bs=2048k count=50k peut-être en augmentant le paramètre count, j'ai pas calculé la taille que ça faisait mais pour aller bien au dela du cache du disque.)? Ou peut-être as-tu déjà fait ça?
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,531
Au fait, pour faire du benchmark de disques et des performances d'un pool, tu peux utiliser cette ressource.
Alors je suis pas sûr que ce soit prévu pour tourner dans une VM, mais plutôt dans TrueNAS mais bon à tester éventuellement et sinon ça reste un petit outil en plus qui peut être pratique.
 

Rikumu

Dabbler
Joined
Jun 9, 2023
Messages
20
Tu peux faire des tests dans la VM pour les débits disques (genre ça avec dd: dd if=/dev/zero of=tmp.dat bs=2048k count=50k puis dd of=/dev/zero if=tmp.dat bs=2048k count=50k peut-être en augmentant le paramètre count, j'ai pas calculé la taille que ça faisait mais pour aller bien au dela du cache du disque.)? Ou peut-être as-tu déjà fait ça?
Ou je dois aller ou effectué les commandes ?

Au fait, pour faire du benchmark de disques et des performances d'un pool, tu peux utiliser cette ressource.
Alors je suis pas sûr que ce soit prévu pour tourner dans une VM, mais plutôt dans TrueNAS mais bon à tester éventuellement et sinon ça reste un petit outil en plus qui peut être pratique.
J'ai pas trouver le solnet-array sur le ftp...
 

jgreco

Resident Grinch
Joined
May 29, 2011
Messages
18,680
I couldn't find the solnet-array on the ftp...

The FTP server does not allow you to browse the directory. You have to blindly get the file. Using wget on Linux or fetch on FreeBSD is recommended.

Le serveur FTP ne vous permet pas de parcourir le répertoire. Vous devez obtenir aveuglément le fichier. L'utilisation de wget sous Linux ou de fetch sous FreeBSD est recommandée.

Désolé pour l'utilisation de Google Translate.

Code:
fetch ftp://ftp.sol.net/incoming/solnet-array-test-v3.sh
or
wget ftp://ftp.sol.net/incoming/solnet-array-test-v3.sh
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,531

Rikumu

Dabbler
Joined
Jun 9, 2023
Messages
20
Merci pour vos réponses Jgreco et Pitfrr.
Malheureusement je ne suis pas du "milieu" je suis un particulier.
Je ne comprends pas du tout comment faire les commandes.
Pour télécharger le solnet-array cela doit être une évidence pour quasi tout le monde mais pas moi malheureusement.
J'ai essayé de me connecté via la console de la VM, rien n'y fait je ne peux pas rentrer de texte. (voir le screenshot).
Je n'ai pas envie de vous faire perdre du temps, donc je vous ferais un retour dans 15 jours lorsque m'a carte d'extension arrivera.

-----------------

Thx for your reponse Jgreco and Pitfrr.
Unfortunately I'm not from the " business " I'm a private individual.
I don't understand at all how to do the commands.
To download the solnet-array it must be obvious for almost everyone but not me unfortunately.
I've tried to connect via the VM console, but I can't enter any text. (see screenshot)
I don't want to waste your time, so I'll get back to you in 15 days when the extension card arrives.
 

Attachments

  • vivaldi_pLOFL2050b.png
    vivaldi_pLOFL2050b.png
    14.5 KB · Views: 144

jgreco

Resident Grinch
Joined
May 29, 2011
Messages
18,680
Thx for your reponse Jgreco and Pitfrr.
Unfortunately I'm not from the " business " I'm a private individual.
I don't understand at all how to do the commands.
To download the solnet-array it must be obvious for almost everyone but not me unfortunately.
I've tried to connect via the VM console, but I can't enter any text. (see screenshot)
I don't want to waste your time, so I'll get back to you in 15 days when the extension card arrives.

We have no particular expectation that you be from the "business". Regular forum members participate here with the understanding that this may be one of the more complicated computer / server projects you have undertaken, and even though my French speaking days in school are decades behind me, I'm happy to try to help, as are others such as Pitfrr, to help you to success in your TrueNAS journey.

I am at a bit of a disadvantage because I use Google Translate, and when I translate the entire web page, this causes mayhem with the message I am composing. It is hard to review what has previously been written in the thread.

The array test script is intended to be run on either a FreeBSD system or a Debian Linux system, and may be used within a VM. Used here on the TrueNAS forum, it typically has a goal of looking at the speeds of individual component devices in a ZFS pool to identify ones that are not running smoothly. Sometimes these may be SMR (Shingled Magnetic Recording) hard disks, or disks in the process of failing. You may also use it for other purposes, such as to test the speed of the disk I/O on a virtual machine. It will try to identify disks attached to the machine but can also be supplied with a list of disks (such as "sda sdb sdc").

To use the tool, you need to first transfer it to your machine, and then run it. It is best to use SSH if you can, but may be run from the VGA console. It is not recommended to use the webUI console because this takes a long time to run. It will present a short menu. It is fine to run it out of /tmp, like shown:

----------------------------------------------------------

Nous n'attendons pas de vous que vous apparteniez au "business". Les membres réguliers du forum participent ici en sachant qu'il s'agit peut-être de l'un des projets informatiques / serveurs les plus compliqués que vous ayez entrepris, et même si mes journées en français à l'école sont des décennies derrière moi, je suis heureux d'essayer d'aider, tout comme d'autres comme Pitfrr, pour vous aider à réussir votre parcours TrueNAS.

Je suis un peu désavantagé parce que j'utilise Google Traduction, et lorsque je traduis toute la page Web, cela provoque un chaos avec le message que je compose. Il est difficile de revoir ce qui a été écrit précédemment dans le fil.

Le script de test de tableau est destiné à être exécuté sur un système FreeBSD ou sur un système Debian Linux, et peut être utilisé dans une machine virtuelle. Utilisé ici sur le forum TrueNAS, il a généralement pour objectif d'examiner les vitesses des périphériques de composants individuels dans un pool ZFS pour identifier ceux qui ne fonctionnent pas correctement. Parfois, il peut s'agir de disques durs SMR (Shingled Magnetic Recording) ou de disques en cours de défaillance. Vous pouvez également l'utiliser à d'autres fins, par exemple pour tester la vitesse des E/S disque sur une machine virtuelle. Il va essayer d'identifier les disques attachés à la machine mais peut aussi être fourni avec une liste de disques (comme "sda sdb sdc").

Pour utiliser l'outil, vous devez d'abord le transférer sur votre machine, puis l'exécuter. Il est préférable d'utiliser SSH si vous le pouvez, mais il peut être exécuté à partir de la console VGA. Il n'est pas recommandé d'utiliser la console WebUI car son exécution prend beaucoup de temps. Il présentera un menu court. C'est bien de l'exécuter à partir de /tmp, comme indiqué :

Code:
root@truenas[~]# cd /tmp
root@truenas[/tmp]# wget -q ftp://ftp.sol.net/incoming/solnet-array-test-v3.sh
root@truenas[/tmp]# sh solnet-array-test-v3.sh
sol.net disk array test v3

This is a nondestructive (read-only) full disk test designed to help
diagnose performance irregularities and to assist with disk burn-in

1) Use all disks (from lsblk)
2) Use selected disks (from lsblk|grep)
3) Specify disks
4) Show lsblk list

Option: 4
                               disk fd0
HGST_HTS725050A7E630           disk sda
HGST_HTS725050A7E630           disk sdb
HGST_HTS725050A7E630           disk sdc
HGST_HTS725050A7E630           disk sdd
ST95005620AS                   disk sde
HGST_HTS725050A7E630           disk sdf
HGST_HTS725050A7E630           disk sdg
HGST_HTS725050A7E630           disk sdh
Virtual_disk                   disk sdi
VMware_Virtual_IDE_CDROM_Drive rom  sr0
                               disk zd0
Press Return:

1) Use all disks (from lsblk)
2) Use selected disks (from lsblk|grep)
3) Specify disks
4) Show lsblk list

Option: 3

Enter disk devices separated by spaces (e.g. sda sdb): sda sdb sdc

Selected disks: sda sdb sdc
HGST_HTS725050A7E630           465.8G disk sda
HGST_HTS725050A7E630           465.8G disk sdb
HGST_HTS725050A7E630           465.8G disk sdc
Is this correct? (y/N): y

You can select one-pass for the traditional once-thru mode, or
burn-in mode to keep looping forever.

One-pass or Burn-in mode? (o/B): o
Performing initial serial array read (baseline speeds)
Sat Jun 17 08:01:29 PDT 2023
 

Pitfrr

Wizard
Joined
Feb 10, 2014
Messages
1,531
Thanks @jgreco and the Google translation is quite good! :smile:

@Rikumu jgreco est la personne qui a écrit la ressource sur cet outil donc tu ne pouvais mieux tomber! :smile:

Concernant le terminal on va reprendre une étape avant...
On est d'accord que ta situation est la suivante:
Tu as un serveur TrueNAS scale qui tourne​
Tu l'utilise pour lancer des VM (windows)​

Note: j'ai pas d'expérience avec les VM sous TrueNAS scale...


Voici une série de questions pour avoir une idée un peu de ta situation:
1. Est-ce que tu sais accéder à ton serveur TrueNAS au travers un terminal SSH?
2. Comment accèdes-tu à ta VM (windows, tu as dit)?
3. Est-ce que tu as une VM Linux qui tourne?
3.1. Si oui, comment y accèdes-tu (terminal ou interface graphique?)?
 

Rikumu

Dabbler
Joined
Jun 9, 2023
Messages
20
@jgreco
I connected via putty on my ssl port. I put the commands and nothing happens.
Don't bother translating into French. I usually understand English well, but if I don't, I use Deepl or Google translate as needed.

1687103005683.png


@Pitfrr

Concernant le terminal on va reprendre une étape avant...
On est d'accord que ta situation est la suivante:
Tu as un serveur TrueNAS scale qui tourne​
Tu l'utilise pour lancer des VM (windows)​

Oui une seule VM windows 11.

Voici une série de questions pour avoir une idée un peu de ta situation:
1. Est-ce que tu sais accéder à ton serveur TrueNAS au travers un terminal SSH?
2. Comment accèdes-tu à ta VM (windows, tu as dit)?
3. Est-ce que tu as une VM Linux qui tourne?
3.1. Si oui, comment y accèdes-tu (terminal ou interface graphique?)?

1. Je passe par putty pour y accéder.
2. Pour accéder à ma VM windows, je me connecte sur mon nas puis je vais dans "Virtualisation" puis je clique sur "Afficher" ce qui m'ouvre une nouvelle page internet avec ma VM.
3. Non je n'ai pas de VM linux qui tourne.
 
Top