La commande Wget est l'un des outils les plus utilisés et les plus pratiques pour télécharger des fichiers, des packages et des répertoires à partir du serveur Web dans les systèmes d'exploitation Linux et Unix. Habituellement, vous pouvez télécharger n'importe quel fichier de grande ou de petite taille via l'outil wget; le wget ne limite pas la taille du fichier. À l'origine, la commande Wget était abrégée en la combinaison des termes World Wide Web et Get. Cet outil pratique a été créé dans le cadre du projet GNU.
Il peut accéder à la fois à FTP, HTTP, HTTPS et à d'autres serveurs locaux pour télécharger des fichiers sous Linux. Même avec une configuration appropriée, la commande wget peut accéder à des serveurs protégés par un pare-feu. Comme nous parlerons du wget, nous utiliserons donc souvent le terme 'World Wide Web and Get' pour faire de la diversité. au lieu du wget.
Commandes Wget sous Linux
Avec le protocole TCP par défaut, la commande wget peut accéder, télécharger et stocker des fichiers sur le système de fichiers sous Linux. Cet outil pratique, léger mais puissant est écrit dans le langage de programmation C qui peut facilement communiquer entre le serveur et la machine hôte pour l'exploration des données. Il prend en charge la limite de vitesse de téléchargement, la pause, la reprise, la mise en cache, SSL et bien d'autres que vous recherchez probablement dans un programme de téléchargement.
Dans cet article, nous verrons comment installer la commande wget sur les distributions Linux et les exemples des commandes wget les plus utilisées que vous devez connaître pour améliorer votre expérience Linux.
Installer la commande wget sous Linux
Habituellement, la commande "World Wide Web and Get" est préinstallée avec toutes les principales distributions Linux. Cependant, si vous rencontrez des problèmes lors de l'exécution de la commande wget, veuillez exécuter les commandes d'installation de package suivantes sur votre shell pour installer l'outil wget sous Linux. Veuillez exécuter la bonne commande sur le shell du terminal en fonction de votre distribution.
Installer wget sur Ubuntu/Debian Linux
$ sudo apt install wget
Obtenez « World Wide Web and Get » sur Fedora/Red Hat Linux
$ sudo dnf install wget$ sudo yum install wget
Installer l'outil Wget sur SuSE Linux
$ zypper install wget
Obtenir l'outil "World Wide Web and Get" sur Arch Linux
$ sudo pacman -S wget
Une fois que vous avez installé l'outil wget sur votre système, vous pouvez maintenant parcourir la syntaxe wget que j'ai donnée ci-dessous pour avoir une idée du fonctionnement de la commande wget sous Linux.
wget urlwget [options] URL
1. Télécharger un fichier unique avec wget
Puisque nous avons déjà parcouru l'installation et la syntaxe de la commande Wget, nous pouvons maintenant sauter directement dans une commande wget pour savoir comment elle fonctionne réellement. La commande suivante vous permettra de télécharger un seul fichier et de le stocker dans votre système de fichiers.
$ wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.15.5.tar.xz
2. Télécharger un fichier avec un nom et un répertoire différents
Pour enregistrer un fichier ou un package dans le système Linux avec un nom différent de celui d'origine, veuillez exécuter la commande wget suivante sur le shell. Ici, la partie avec file=file.tzx est la section où vous renommez le fichier lors du téléchargement.
$ wget --output-document=file=file.tzx 'https://domain/foo-bar-xyz-long-file.tzx?key=xyz'$ wget -O /tmp/file.tzx \ 'https://domain/foo-bar-xyz-long-file.tzx?key=xyz'
3. Définir le préfixe du répertoire
Étant donné que nous utilisons la commande "World Wide Web and Get" pour un téléchargement sans effort, nous pouvons également réduire notre travail de post-téléchargement en définissant l'emplacement du préfixe pour les fichiers et les packages sur le système Linux. Veuillez consulter les commandes mentionnées ci-dessous pour savoir comment définir le répertoire de préfixes avec la commande wget.
wget -P /tmp/ urlwget -P /ubuntupit/ https://ur1/freebsd.isowget -P /ubuntupit/ https://ur2/opnbsd.iso
4. Ajouter des notes au fichier
Si vous avez besoin d'insérer un message dans le fichier que vous téléchargez, veuillez exécuter la commande suivante "World Wide Web and Get".
$ wget --output-file=log.txt https://url1/..$ wget -o download.log.txt https://url2/..
Vous pouvez maintenant voir le message avec la commande cat mentionnée ci-dessous.
cat download.logmore download.log
La commande wget permet aux utilisateurs de joindre des messages lors du téléchargement du fichier à partir du serveur pour référence future. Bien que nous ayons déjà vu un moyen d'envoyer des messages, la commande wget mentionnée ci-dessous vous aidera également si la précédente ne fonctionne pas pour vous.
wget -o /root/wget-log.txt https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt# cat /root/wget-log.txt5. Télécharger plusieurs fichiers
Si vous recherchez la commande pour télécharger plusieurs fichiers à la fois via la commande "World Wide Web and Get", veuillez suivre le modèle de commande ci-dessous.
$ wget http://www.ubuntupit.com/download/lsst.tar.gz ftp://ftp.freebsd.org/pub/sys.tar.gz ftp://ftp.redhat.com/pub /xyz-1rc-i386.rpm6. Lire les URL d'un fichier
La lecture de fichiers à partir d'un fichier consiste à découvrir ce qui se trouve réellement à l'intérieur du fichier. Veuillez mettre l'URL dans un fichier texte, puis suivez la commande Vim et la commande "World Wide Web and Get" pour lire les fichiers.
$ vi /tmp/download.txt$ wget -i /tmp/download.txt7. Reprendre les téléchargements
Déconnecte accidentellement le téléchargement ou une panne de réseau ; tout est nécessaire pour reprendre le téléchargement. Vous pouvez utiliser les commandes wget suivantes pour reprendre les téléchargements.
$ wget -c http://www.ubuntupit.com/download/lsst.tar.gz$ wget -c -i /tmp/download.txt8. Forcer wget à télécharger
Si vous rencontrez des problèmes de connexion à un serveur ou à une URL Web, veuillez exécuter une commande force pour connecter le site via la commande wget. wget et
nohupvous permettent de forcer la connexion de l'URL Web.$ wget -cb -o /tmp/download.log -i /tmp/download.txt$ nohup wget -c -o /tmp/download.log -i /tmp/download.txt &9. Limitez la vitesse de téléchargement
Pour le téléchargement de plusieurs fichiers ou packages via la commande "World Wide Web and Get" sur une connexion Internet limitée, vous devrez peut-être limiter la vitesse de téléchargement. Veuillez exécuter la commande ci-dessous pour limiter la vitesse de téléchargement.
$ wget -c -o /tmp/susedvd.log --limit-rate=50k ftp://ftp.novell.com/pub/suse/dvd1.iso10. Obtenir des fichiers à partir de sites Web protégés par mot de passe
Nous avons déjà vu comment utiliser les informations d'identification de l'utilisateur dans une commande wget, cette commande décrit également comment vous pouvez récupérer directement un fichier protégé par mot de passe sur le Web. Les deux méthodes mentionnées ci-dessous sont utiles et pratiques pour télécharger rapidement des fichiers à partir d'un site protégé par mot de passe.
$ wget --http-user=vivek --http-password=Secret http://ubuntupit.com/jahid/csits.tar.gzUne autre façon d'utiliser le téléchargement d'un fichier avec un site de mot de passe consiste à inclure les informations d'identification dans la commande.
$ wget 'http://username:[email protected]_server/file.tar.gz$ ps aux11. Télécharger Mp3 Et Pdf
Si vous avez l'intention de télécharger un type de fichier spécifique, tel que des documents mp3 ou pdf, vous pouvez exécuter la commande suivante indiquée ci-dessous. Ici, la commande est affichée pour FTP, mais elle fonctionnera également pour tous les autres domaines publics.
$ wget ftp://somedom-url/pub/downloads/*.pdf$ wget ftp://somedom-url/pub/downloads/*.pdf12. Obtenir le fichier sur la sortie standard via la commande Wget
La commande suivante "World Wide Web and Get" vous permettra de voir le format de sortie standard tel que le chemin du fichier, le type de fichier, le temps requis, la consommation de bande passante, etc. dans le shell du terminal.
$ wget -q -O - 'https://url1/fichier.tar.xz' | tar -Jxzf - -C /tmp/data/13. Créer un miroir d'un site avec la commande Wget
Pour créer un miroir dupliqué d'un site Web, vous pouvez utiliser les commandes "World Wide Web and Get" suivantes. Les deux
-met--mirrorsyntaxes feront la même tâche, vous pouvez choisir l'une des commandes suivantes pour mettre en miroir un site.
$ wget -m https://url/$ wget --mirror https://url/14. Rechercher les erreurs HTTPS (TLS)
Si vous êtes un développeur Web professionnel qui travaille autour des certifications SSL, cette commande "World Wide Web and Get" vous sera très utile pour générer un rapport pour votre rapport TLS avec des bogues et des rapports.
$ wget --no-check-certificate \https://www.ubuntupit.com/robots.txt15. Activer les horodatages sur la commande Wget
Pour imprimer les horodatages sur votre sortie de téléchargement, vous pouvez exécuter la commande suivante "World Wide Web and Get" sur votre shell de terminal. Cette commande vous permettra de connaître l'heure du serveur lorsque vous chargez le fichier.
wget --no-use-server-timestamps https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso16. Modifier la barre de progression
Si vous n'êtes pas satisfait de la barre d'état de téléchargement traditionnelle que Linux affiche dans le shell lors du téléchargement d'un fichier ou d'un package, vous pouvez utiliser la commande wget suivante pour modifier la barre de progression.
wget --progress=dot https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso17. Activer le téléchargement partiel dans la commande Wget
Pour effectuer un téléchargement partiel à partir d'un serveur Web, vous pouvez exécuter la commande wget suivante. Une fois le téléchargement partiel terminé, vous pouvez modifier la destination et reprendre le téléchargement.
# wget -c https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso18. Réessayer le téléchargement a échoué dans la commande Wget
Les commandes suivantes montrent comment vous pouvez forcer une nouvelle tentative de téléchargement ayant échoué sur un shell Linux via la commande wget. Habituellement, la panne du réseau, le délai d'attente du serveur et d'autres erreurs basées sur le réseau peuvent être récupérés par cette commande.
# wget -t 10 https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso19. Télécharger à partir de la liste de fichiers URL
Si vous avez besoin de télécharger un tas de fichiers via la commande wget avec une seule commande, vous pouvez noter les adresses Web dans un fichier texte; puis utilisez ce fichier texte avec la commande wget pour télécharger à partir d'une liste. De cette façon, vous pouvez gagner du temps et vous éviter d'avoir à télécharger plusieurs fichiers.
# cat to-download.txt# wget -i to-download.txt20. Faire un délai après l'échec du téléchargement
Comme nous avons déjà expliqué comment définir le téléchargement forcé et réessayer de télécharger via la commande wget, nous pouvons définir un intervalle de temps avant que la commande n'exécute le prochain hit sur le serveur. Les commandes suivantes montrent comment définir un intervalle de temps de 10 secondes après l'échec du téléchargement.
# time wget -w 10 -i to-download.txt21. Téléchargement non interactif
Dans un shell Linux, vous pouvez définir la commande wget dans un style démon pour exécuter la commande en arrière-plan du système. Veuillez exécuter la commande suivante pour comprendre comment exécuter la commande wget de manière non interactive.
wget -b https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso22. Masquer la sortie dans la commande Wget
Pour télécharger un fichier ou un package via la commande "World Wide Web and Get" sans afficher la sortie dans le shell du terminal, vous pouvez utiliser la commande suivante. Cette commande vous permettra d'entrer la commande de téléchargement, puis elle terminera le téléchargement en silence et vous avertira lorsque le téléchargement se terminera.
wget -q https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt23. Informations de débogage dans la commande Wget
Cette commande pratique "World Wide Web and Get" sera utile pour les développeurs, grâce à cette commande, vous pouvez trouver des informations de débogage d'un fichier. La commande suivante vous enverra également les éléments essentiels dont vous pourriez avoir besoin.
# wget -d https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt# wget -nv https://mirror.aarnet.edu.au/pub/ centos/7/isos/x86_64/md5sum.txt24. Afficher la réponse du serveur
Si vous êtes un administrateur de serveur, cette commande vous sera très utile. Vous pouvez maintenant utiliser une simple commande "World Wide Web and Get" pour vérifier le temps de réponse d'un site ou d'un serveur. Ce n'est en fait pas la même chose que la commande Ping; ici, nous obtenons le temps de réponse réel du serveur, et non le temps requis par le client pour atteindre le serveur via Internet.
wget -S https://www.ubuntupit.com/25. Définir le délai d'attente dans la commande Wget
Obtenir un problème de délai d'attente pour accéder à un site Web ou télécharger un fichier n'est pas un problème rare. Sous Linux, la commande wget continue généralement d'essayer de se connecter à l'URL si elle rencontre un problème de délai d'attente. Pour éviter que l'URL ne soit litigieuse, vous pouvez exécuter la commande wget suivante pour annuler automatiquement le téléchargement après une certaine tentative.
# wget -T 30 https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt26. Utiliser les identifiants
Si votre URL de téléchargement est protégée par un nom d'utilisateur et un mot de passe, veuillez exécuter la commande suivante pour fournir les informations d'identification de l'utilisateur pour le téléchargement via la commande wget.
# wget --user=nom d'utilisateur --ask-password http://localhost/file.txt27. Télécharger le fichier non mis en cache
Nous savons tous à quel point il est utile de récupérer des fichiers en cache sur une machine locale. Cependant, la commande wget suivante vous aidera à télécharger un fichier non mis en cache à partir du Web.
# wget -d https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt# wget -d --no-cache https://mirror.aarnet.edu .au/pub/centos/7/isos/x86_64/md5sum.txt28. Télécharger un site Web complet
Étant donné que la commande wget est une commande puissante, elle vous permet également de télécharger l'intégralité du site Web et de le stocker dans votre répertoire local. Exécutez la commande suivante pour télécharger le site complet.
$ wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL29. Abandonner des types de fichiers spécifiques avec la commande Wget
Lors du téléchargement de fichiers via la commande wget, vous devrez peut-être ignorer ou éviter un certain type de fichier pour des raisons de sécurité. La commande suivante montre comment vous pouvez rejeter les fichiers GIF lors du téléchargement via la commande wget.
$ wget --reject=gif WEBSITE-TO-BE-DOWNLOADED$ wget -o download.log DOWNLOAD-URL30. Interrompre le téléchargement après une taille spécifique
Parfois, nous devons télécharger des fichiers avec une certaine limite de taille de fichier. Pour définir une limite de taille de fichier, wget a une syntaxe dédiée que vous pouvez voir ci-dessous. Par exemple, la commande wget fournie ci-dessous arrêtera le téléchargement une fois que la taille du fichier aura atteint 5 Mo.
$ wget -Q5m -i FILE-WHICH-HAS-URLS31. Seulement Télécharger Types de fichiers spécifiques
Pour télécharger un certain type de fichier parmi un ensemble de fichiers sur un serveur ou un site Web, vous pouvez exécuter la commande wget suivante indiquée ci-dessous. Par exemple, la commande ci-dessous téléchargera uniquement les fichiers pdf que nous avons attribués via la commande.
$ wget -r -A.pdf http://url-to-webpage-with-pdfs/32. Téléchargement FTP avec la commande Wget
Non seulement via HTTPS, HTTP ou des serveurs publics, la commande "World Wide Web and Get" vous permet également de récupérer des fichiers à partir d'un serveur FTP local hébergé sur votre réseau local.
$ wget ftp-urlSi un nom d'utilisateur et un mot de passe sont définis pour se connecter au serveur FTP, veuillez suivre la commande ci-dessous.
$ wget --ftp-user=NOM D'UTILISATEUR --ftp-password=URL DE TÉLÉCHARGEMENT DU MOT DE PASSE33. Augmenter les nouvelles tentatives dans la commande Wget
Si votre téléchargement échoue en raison d'un problème de réseau ou d'une défaillance du serveur, ou d'un délai trop long pour communiquer avec le serveur, vous pouvez augmenter le délai et augmenter le nombre de nouvelles tentatives via la commande wget indiquée ci-dessous.
$ wget --tries=75 https://download.opensuse.org/distribution/leap/15.3/iso/openSUSE-Leap-15.3-DVD-x86_64-Current.iso34. Télécharger et extraire le fichier tar par la commande Wget
Parfois, nous pouvons avoir besoin de télécharger un fichier compressé et d'extraire le fichier dans le répertoire. Pour faciliter cette tâche, vous pouvez utiliser la commande suivante sur votre système Linux.
# wget -q -O - http://wordpress.org/latest.tar.gz | tar -xzf - --strip-components=1 -C /var/www/html35. Aide et manuel
Toutes les commandes "World Wide Web et Get" mentionnées ci-dessus ne sont pas les seules commandes dont vous aurez besoin pour toujours. Vous pouvez découvrir cette commande plus. Si vous aimez la commande wget, veuillez consulter le manuel wget et les pages d'aide.
$ man wget$ wget --helpFin des mots
Le téléchargement via la commande "World Wide Web and Get" sous Linux est vraiment amusant. Mais ce n'est pas un téléchargeur traditionnel pour Linux. Le plus souvent, cette commande est utilisée pour télécharger des fichiers de package compressés, des outils et d'autres fichiers liés au logiciel via le shell du terminal sous Linux. L'article entier a été une série de commandes wget qui pourraient vous aider à devenir un utilisateur expérimenté de Linux.
Veuillez le partager avec vos amis et la communauté Linux si vous trouvez cet article utile et informatif. Vous pouvez également écrire vos opinions concernant ce message dans la section des commentaires.
