GNU/Linux >> Tutoriels Linux >  >> Linux

Optimisation des performances et du débit de rsync - serveurs gigabit directement connectés

Solution 1 :

Le nombre de fichiers et la surcharge de chiffrement SSH sont probablement les plus grands obstacles. Vous n'allez pas voir la vitesse filaire sur un transfert comme celui-ci.

Les options à améliorer incluent :

  • Utilisation de rsync+SSH avec un algorithme de chiffrement moins coûteux (par exemple, -e "ssh -c arcfour" )
  • Éliminer entièrement le chiffrement sur le transport SSH avec quelque chose comme HPN-SSH.
  • Transferts en bloc. Instantanés, dd , envoi/réception d'instantanés ZFS, etc.
  • S'il s'agit d'un transfert ponctuel ou peu fréquent, utilisez tar , netcat (nc ), mbuffer ou une combinaison.
  • Vérifiez votre CentOS tuned-adm paramètres.
  • Suppression de l'atime de vos montages de système de fichiers. Examen d'autres options de montage de système de fichiers.
  • Tampons d'envoi/de réception NIC.
  • Réglage de votre rsync commande. Est-ce que -W , l'option des fichiers entiers a-t-elle un sens ici ? La compression est-elle activée ?
  • Optimisez votre sous-système de stockage pour le type de transferts (SSD, nombre de broches, cache du contrôleur RAID.)

Solution 2 :

Comme vous le savez probablement, copier beaucoup de petits fichiers (par exemple, des boîtes aux lettres utilisant le format MailDir ou similaire) n'est certainement pas la meilleure option pour tirer parti des interfaces à bande passante élevée. SSH n'est probablement pas non plus le meilleur protocole de transport pour cela. J'essaierais d'utiliser tar pour créer une archive tar sur l'hôte source avant de l'envoyer à votre hôte secondaire.

tar c /var/mail | ssh [email protected] 'tar x -C /var/backups'

Si vous avez besoin d'une sauvegarde incrémentielle, vous pouvez essayer le -g options de tar. Si vous avez encore besoin de maximiser le débit, essayez d'utiliser netcat au lieu de ssh.


Linux
  1. Utilisation de nfsstat et nfsiostat pour résoudre les problèmes de performances NFS sous Linux

  2. Comment transférer des fichiers entre serveurs sous Linux à l'aide de SCP et FTP

  3. Quels serveurs DNS est-ce que j'utilise ?

  4. Utiliser rsync pour synchroniser les fichiers

  5. Utilisation du script Apache2Buddy pour les performances et la stabilité

Comment sauvegarder des fichiers et des répertoires à l'aide de Rsync sous Linux

Comment générer et utiliser une clé SSH avec PuTTY

Les performances comptent - Comment le débit de disque et les IOPS impactent votre entreprise

Comment analyser les performances de base du système à l'aide de - vmstat, sar, iostat et mpstat

Comment limiter la vitesse de rsync et l'utilisation de la bande passante à l'aide de -bwlimit

Pourquoi rsync sur SSH me donne-t-il 10 fois le débit de SCP ?