Comment utiliser curl pour télécharger des fichiers à partir de la ligne de commande Linux

Le Linux curl La commande peut faire bien plus que télécharger des fichiers. Découvrir quoi curl est capable de, et quand vous devriez l’utiliser à la place de wget.

curl vs wget: quelle est la différence?

Les gens ont souvent du mal à identifier les forces relatives du wget et curl commandes. Les commandes ont un certain chevauchement fonctionnel. Ils peuvent chacun récupérer des fichiers à partir d’emplacements distants, mais c’est là que s’arrête la similitude.

wget est un outil fantastique pour télécharger du contenu et des fichiers. Il peut télécharger des fichiers, des pages Web et des répertoires. Il contient des routines intelligentes pour parcourir les liens dans les pages Web et télécharger du contenu de manière récursive sur l’ensemble d’un site Web. Il est inégalé en tant que gestionnaire de téléchargement en ligne de commande.

curl satisfait un besoin tout à fait différent. Oui, il peut récupérer des fichiers, mais il ne peut pas naviguer de manière récursive sur un site Web à la recherche de contenu à récupérer. Quoi curl vous permet en fait d’interagir avec les systèmes distants en adressant des requêtes à ces systèmes, en récupérant et en affichant leurs réponses. Ces réponses peuvent bien être du contenu et des fichiers de page Web, mais elles peuvent également contenir des données fournies via un service Web ou une API à la suite de la «question» posée par la requête curl.

Et curl ne se limite pas aux sites Web. curl prend en charge plus de 20 protocoles, notamment HTTP, HTTPS, SCP, SFTP et FTP. Et sans doute, en raison de sa gestion supérieure des tuyaux Linux, curl peut être plus facilement intégré à d’autres commandes et scripts.

L’auteur de curl a une page Web qui décrit les différences qu’il voit compris entre curl et wget.

Installation de curl

Sur les ordinateurs utilisés pour rechercher cet article, Fedora 31 et Manjaro 18.1.0 avaient curl déjà installé. curl devait être installé sur Ubuntu 18.04 LTS. Sur Ubuntu, exécutez cette commande pour l’installer:

sudo apt-get install curl

La version curl

Le --version option fait curlsignaler sa version. Il répertorie également tous les protocoles qu’il prend en charge.

curl --version

Récupération d’une page Web

Si nous pointons curl sur une page Web, il le récupérera pour nous.

curl https://www.bbc.com

Mais son action par défaut est de le vider dans la fenêtre du terminal en tant que code source.

Il faut se méfier: Si tu ne le dis pas curl vous voulez quelque chose stocké sous forme de fichier, il sera toujours le vider dans la fenêtre du terminal. Si le fichier qu’il récupère est un fichier binaire, le résultat peut être imprévisible. Le shell peut essayer d’interpréter certaines des valeurs d’octets du fichier binaire comme des caractères de contrôle ou des séquences d’échappement.

Enregistrement des données dans un fichier

Disons à curl de rediriger la sortie dans un fichier:

curl https://www.bbc.com  > bbc.html

Cette fois, nous ne voyons pas les informations récupérées, elles sont envoyées directement dans le fichier pour nous. Parce qu’il n’y a pas de sortie de fenêtre de terminal à afficher, curl produit un ensemble d’informations de progression.

Cela n’a pas été fait dans l’exemple précédent car les informations de progression auraient été dispersées dans le code source de la page Web, donc curl automatiquement supprimé.

En relation :  Comment réparer votre bouton d'alimentation Android 12 pour qu'il éteigne votre téléphone

Dans cet exemple, curl détecte que la sortie est redirigée vers un fichier et qu’il est sûr de générer les informations de progression.

Les informations fournies sont:

  • % Total: Le montant total à récupérer.
  • % A reçu: Le pourcentage et les valeurs réelles des données récupérées jusqu’à présent.
  • % Xferd: Le pourcentage et le réel envoyés, si les données sont en cours de téléchargement.
  • Vitesse moyenne Dload: La vitesse moyenne de téléchargement.
  • Téléchargement à vitesse moyenne: La vitesse de téléchargement moyenne.
  • Temps total: La durée totale estimée du transfert.
  • Temps passé: Le temps écoulé jusqu’à présent pour ce transfert.
  • Temps restant: Le temps estimé qu’il reste pour terminer le transfert
  • Vitesse actuelle: La vitesse de transfert actuelle pour ce transfert.

Parce que nous avons redirigé la sortie de curl dans un fichier, nous avons maintenant un fichier appelé «bbc.html».

Double-cliquez sur ce fichier pour ouvrir votre navigateur par défaut pour afficher la page Web récupérée.

Page Web récupérée affichée dans une fenêtre de navigateur.

Notez que l’adresse dans la barre d’adresse du navigateur est un fichier local sur cet ordinateur, pas un site Web distant.

Nous n’avons pas à réorienter la sortie pour créer un fichier. Nous pouvons créer un fichier en utilisant le -o (sortie), et dire curl pour créer le fichier. Ici, nous utilisons le -o option et en fournissant le nom du fichier que nous souhaitons créer «bbc.html».

curl -o bbc.html https://www.bbc.com

Utilisation d’une barre de progression pour surveiller les téléchargements

Pour remplacer les informations de téléchargement textuelles par une simple barre de progression, utilisez le -# (barre de progression) option.

curl -x -o bbc.html https://www.bbc.com

Redémarrage d’un téléchargement interrompu

Il est facile de redémarrer un téléchargement qui a été interrompu ou interrompu. Commençons par télécharger un fichier volumineux. Nous utiliserons la dernière version du support à long terme d’Ubuntu 18.04. Nous utilisons le --output option pour spécifier le nom du fichier dans lequel nous voulons l’enregistrer: «ubuntu180403.iso».

curl --output ubuntu18043.iso http://releases.ubuntu.com/18.04.3/ubuntu-18.04.3-desktop-amd64.iso

Le téléchargement démarre et s’achève.

Progression d'un téléchargement volumineux dans une veuve de terminal

Si nous interrompons de force le téléchargement avec Ctrl+C , nous revenons à l’invite de commande et le téléchargement est abandonné.

Pour redémarrer le téléchargement, utilisez le -C (continuer à) option. Ce qui provoque curl pour redémarrer le téléchargement à un moment donné ou décalage dans le fichier cible. Si vous utilisez un trait d’union - comme décalage, curl examinera la partie déjà téléchargée du fichier et déterminera le décalage correct à utiliser pour lui-même.

curl -C - --output ubuntu18043.iso http://releases.ubuntu.com/18.04.3/ubuntu-18.04.3-desktop-amd64.iso

Le téléchargement est redémarré. curl indique le décalage auquel il redémarre.

Récupération des en-têtes HTTP

Avec le -I (head), vous ne pouvez récupérer que les en-têtes HTTP. Cela revient à envoyer le Commande HTTP HEAD à un serveur Web.

curl -I www.twitter.com

Cette commande récupère uniquement les informations; il ne télécharge aucune page Web ni aucun fichier.

Téléchargement de plusieurs URL

Utilisant xargs nous pouvons télécharger plusieurs URL immediatement. Peut-être voulons-nous télécharger une série de pages Web qui composent un seul article ou didacticiel.

Copiez ces URL dans un éditeur et enregistrez-le dans un fichier appelé « urls-to-download.txt ». On peut utiliser xargs à traiter le contenu de chaque ligne du fichier texte en tant que paramètre auquel il alimentera curl, à son tour.

https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#0
https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#1
https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#2
https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#3
https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#4
https://tutorials.ubuntu.com/tutorial/tutorial-create-a-usb-stick-on-ubuntu#5

C’est la commande que nous devons utiliser pour avoir xargs transmettre ces URL à curl un à la fois:

xargs -n 1 curl -O < urls-to-download.txt

Notez que cette commande utilise le -O (fichier distant) commande de sortie, qui utilise un «O» majuscule. Cette option entraîne curl pour enregistrer le fichier récupéré sous le même nom que le fichier sur le serveur distant.

Le -n 1 option dit xargs pour traiter chaque ligne du fichier texte comme un paramètre unique.

Lorsque vous exécutez la commande, plusieurs téléchargements démarrent et se terminent l’un après l’autre.

En relation :  Comment regarder Hulu sur le bureau Linux avec Electronplayer

Sortie de xargs et curl téléchargeant plusieurs fichiers

L’archivage dans le navigateur de fichiers montre que plusieurs fichiers ont été téléchargés. Chacun porte le nom qu’il avait sur le serveur distant.

fichier téléchargé dans le navigateur de fichiers Nautilus

Bientôt: Comment utiliser la commande xargs sous Linux

Téléchargement de fichiers depuis un serveur FTP

Utilisant curl avec un Protocole de transfer de fichier Le serveur (FTP) est facile, même si vous devez vous authentifier avec un nom d’utilisateur et un mot de passe. Pour transmettre un nom d’utilisateur et un mot de passe avec curl Utilisez le -u (utilisateur), et saisissez le nom d’utilisateur, un signe deux-points «:» et le mot de passe. Ne mettez pas d’espace avant ou après le côlon.

Il s’agit d’un serveur FTP gratuit pour les tests hébergé par Rebex. Le site FTP de test a un nom d’utilisateur prédéfini «demo» et le mot de passe est «password». N’utilisez pas ce type de nom d’utilisateur et de mot de passe faibles sur un serveur FTP de production ou «réel».

curl -u demo:password ftp://test.rebex.net

curl comprend que nous le pointons vers un serveur FTP et renvoie une liste des fichiers présents sur le serveur.

Le seul fichier sur ce serveur est un fichier «readme.txt», d’une longueur de 403 octets. Récupérons-le. Utilisez la même commande qu’il y a un instant, avec le nom de fichier ajouté:

curl -u demo:password ftp://test.rebex.net/readme.txt

Le fichier est récupéré et curl affiche son contenu dans la fenêtre du terminal.

Dans presque tous les cas, il sera plus pratique de sauvegarder le fichier récupéré sur le disque pour nous, plutôt que de l’afficher dans la fenêtre du terminal. Une fois de plus, nous pouvons utiliser le -O (fichier distant) commande de sortie pour que le fichier soit enregistré sur le disque, avec le même nom de fichier que celui qu’il a sur le serveur distant.

curl -O -u demo:password ftp://test.rebex.net/readme.txt

Le fichier est récupéré et enregistré sur le disque. On peut utiliser ls pour vérifier les détails du fichier. Il porte le même nom que le fichier sur le serveur FTP et il a la même longueur, 403 octets.

ls -hl readme.txt

Bientôt: Comment utiliser la commande FTP sous Linux

Envoi de paramètres aux serveurs distants

Certains serveurs distants accepteront des paramètres dans les demandes qui leur sont envoyées. Les paramètres peuvent être utilisés pour formater les données renvoyées, par exemple, ou ils peuvent être utilisés pour sélectionner les données exactes que l’utilisateur souhaite récupérer. Il est souvent possible d’interagir avec le Web interfaces de programmation d’application (API) utilisant curl.

À titre d’exemple simple, le ipify site Web a une API peut être interrogée pour vérifier votre adresse IP externe.

curl https://api.ipify.org

En ajoutant le format à la commande, avec la valeur «json», nous pouvons à nouveau demander notre adresse IP externe, mais cette fois les données renvoyées seront encodées dans le Format JSON.

curl https://api.ipify.org?format=json

Voici un autre exemple qui utilise une API Google. Il renvoie un objet JSON décrivant un livre. Le paramètre que vous devez fournir est le Numéro international normalisé du livre (ISBN) numéro d’un livre. Vous pouvez les trouver sur la quatrième de couverture de la plupart des livres, généralement sous un code-barres. Le paramètre que nous utiliserons ici est «0131103628».

curl https://www.googleapis.com/books/v1/volumes?q=isbn:0131103628

Les données renvoyées sont complètes:

Parfois curl, parfois wget

Si je voulais télécharger du contenu à partir d’un site Web et faire rechercher récursivement l’arborescence du site Web pour ce contenu, j’utiliserais wget.

Si je voulais interagir avec un serveur distant ou une API, et éventuellement télécharger des fichiers ou des pages Web, j’utiliserais curl. Surtout si le protocole était l’un des nombreux non pris en charge par wget.

Moyens Staff
Moyens I/O Staff vous a motivé, donner des conseils sur la technologie, le développement personnel, le style de vie et des stratégies qui vous aider.
Please rotate your device