Cet article pour la CLI du catalogue NGC qui explique comment utiliser la CLI.
Introduction
La CLI du catalogue NVIDIA® GPU Cloud (NGC) est une interface de ligne de commande pour la gestion du contenu dans le registre NGC. La CLI fonctionne dans un shell et vous permet d'utiliser des scripts pour automatiser les commandes.Avec NGC Catalog CLI, vous pouvez
- Afficher une liste d'images de conteneurs Docker accélérées par GPU, de modèles d'apprentissage en profondeur pré-entraînés et de scripts pour créer des modèles d'apprentissage en profondeur
- Téléchargez des modèles et des scripts de modèles.
- Remarque : Actuellement, la CLI du catalogue NGC ne permet pas de télécharger des images de conteneur. Pour télécharger des images de conteneur, utilisez la commande docker pull à partir de la ligne de commande Docker.
Ce document fournit une introduction à l'utilisation de la CLI du catalogue NGC. Pour une liste complète des commandes et des options, utilisez le -h comme expliqué dans Utilisation de NGC CLI .
Remarque :Actuellement NGC CLI fonctionne uniquement avec Ubuntu-18 pour les autres systèmes d'exploitation, veuillez consulter notre documentation sur l'interface graphique NGC :https://www.e2enetworks.com/help/knowledge-base/get-started-with-nvidia-docker-and-ngc-container-registry/#how-to-access -ngc-catalogue-de-logiciels
Pour télécharger du contenu dans le registre NGC
Le contenu du registre NGC est soit verrouillé, soit déverrouillé. Le contenu déverrouillé est disponible gratuitement en téléchargement par les utilisateurs invités. Pour télécharger du contenu verrouillé, vous devez vous inscrire à un compte d'utilisateur de la communauté NGC.
Utilisateurs invités
Les utilisateurs invités peuvent accéder au site Web NGC sans avoir à se connecter. À partir du site Web, les utilisateurs invités peuvent télécharger la CLI du catalogue NGC et commencer à l'utiliser pour afficher le contenu et télécharger le contenu déverrouillé.
Utilisateurs de la communauté
Pour être un utilisateur de la communauté et télécharger du contenu NGC verrouillé, vous devez créer un compte NGC, vous connecter au site Web NGC avec votre compte, puis générer une clé API. Consultez le Guide de démarrage de NVIDIA GPU Cloud pour obtenir des instructions.
Utilisation de la CLI du catalogue NGC
Pour exécuter une commande NGC CLI, entrez "ngc" suivi des options appropriées.
Pour voir une description des options disponibles et des descriptions de commande, utilisez l'option -h après n'importe quelle commande ou option.
Exemple 1 :Pour afficher une liste de toutes les options disponibles pour ngc, enter
root@localhost:~# ngc -h
usage: ngc [--debug] [--format_type] [-h] [-v] {config,diag,registry} …
NVIDIA NGC Catalog CLI
optional arguments:
-h, --help show this help message and exit
-v, --version show the CLI version and exit.
--debug Enables debug mode.
--format_type Change output format type. Options: ascii, csv, json.
ngc:
{config,diag,registry}
config Configuration Commands
diag Diagnostic commands
registry Registry Commands Exemple 2 : Pour afficher une description de l'image de registre commande et options, entrez
root@localhost:~# ngc registry image -h
usage: ngc registry image [--debug] [--format_type] [-h] {info,list} …
Container Image Registry Commands
optional arguments:
-h, --help show this help message and exit
--debug Enables debug mode.
--format_type Change output format type. Options: ascii, csv, json.
image:
{info,list}
info Display information about an image repository or tagged
image.
list Lists container images accessible by the user Exemple 3 :Pour afficher une description des informations sur l'image de registre commande et options, entrez
root@localhost:~# ngc registry image info -h
usage: ngc registry image info [--debug] [--details] [--format_type]
[--history] [--layers] [-h]
[:]
Display information about an image repository or tagged image.
positional arguments:
[:] Name of the image repository or tagged image,
[:]
optional arguments:
-h, --help show this help message and exit
--debug Enables debug mode.
--details Show the details of an image repository
--format_type Change output format type. Options: ascii, csv, json.
--history Show the history of a tagged image
--layers Show the layers of a tagged image Préparation du téléchargement de contenu verrouillé
Si vous prévoyez de télécharger du contenu verrouillé, assurez-vous d'avoir créé un compte NGC et avoir généré une clé API , puis émettez ce qui suit et entrez votre clé API à l'invite.
root@localhost:~# ngc config set Enter API key [no-apikey]. Choices: [, 'no-apikey']:<your-api-key>
Accéder au registre des conteneurs
L'image de registre ngc vous permettent d'accéder à des images de conteneurs accélérées par GPU prêtes à l'emploi à partir du registre.
Afficher les informations sur l'image du conteneur
Plusieurs commandes permettent d'afficher des informations sur les images de conteneurs disponibles.
Pour répertorier les images de conteneur :
root@localhost:~# ngc registry image list
Exemple de sortie
| TensorFlow | nvidia/tensorflow | 19.10-py3 | 3.39 GB | Oct 28, 2019 | unlocked | | TensorRT | nvidia/tensorrt | 19.10-py3 | 2.22 GB | Oct 28, 2019 | unlocked | | TensorRT Inference | nvidia/tensorrtserver | 19.10-py3 | 2.76 GB | Oct 28, 2019 | unlocked | | Server | | | | | | | Theano | nvidia/theano | 18.08 | 1.49 GB | Oct 18, 2019 | unlocked | | Transfer Learning | nvidia/tlt- | v1.0_py2 | 3.99 GB | Oct 21, 2019 | unlocked | | Toolkit for Video | streamanalytics | | | | | | Streaming Analytics | | | | | | | Torch | nvidia/torch | 18.08-py2 | 1.24 GB | Oct 18, 2019 | unlocked | | DeepStream - | nvidia/video- | latest | 2.52 GB | Oct 20, 2019 | unlocked | | Intelligent Video | analytics-demo | | | | | | Analytics Demo | | | | | | | Chainer | partners/chainer | 4.0.0b1 | 963.75 MB | Oct 18, 2019 | locked | | Deep Cognition Studio | partners/deep- | cuda9-2.5.1 | 2.05 GB | Oct 18, 2019 | locked | | | learning-studio | | | | | | DeepVision - | partners/deepvision/ad | onpremise-1.0.1 | 240.24 MB | Oct 21, 2019 | locked | | admin.console | min.console | | | | | | DeepVision - | partners/deepvision/ad | onpremise-1.0.1 | 753.95 KB | Oct 21, 2019 | locked | | admin.console.data | min.console.data | | | | | | DeepVision - | partners/deepvision/vf | onpremise-2.0.0 | 3.29 GB | Oct 21, 2019 | locked | | Demographics | .demographics | | | | |
Pour afficher des informations détaillées sur une image spécifique, spécifiez l'image et la balise.
Exemple :
root@localhost:~# ngc registry image info nvidia/tensorflow:19.10-py3
Image Information
Name: nvidia/tensorflow:19.10-py3
Architecture: amd64
Schema Version: 1 Accéder au registre des modèles
Le modèle de registre ngc vous permettent d'accéder à des modèles d'apprentissage en profondeur prêts à l'emploi à partir du registre.
Affichage des informations sur le modèle
Plusieurs commandes permettent d'afficher des informations sur les modèles disponibles.
Pour afficher la liste des modèles fournis par NVIDIA :
Exemple de sortie
+-----------------+-----------------+----------------+-----------------+--------------+-----------+---------------+------------+ | Name | Repository | Latest Version | Application | Framework | Precision | Last Modified | Permission | +-----------------+-----------------+----------------+-----------------+--------------+-----------+---------------+------------+ | BERT-Large | nvidia/bert_for | 1 | Language | TensorFlow | FP16 | Oct 18, 2019 | unlocked | | (pre-training) | tensorflow | | Modelling | | | | | | for TensorFlow | | | | | | | | | BERT-Large(pre- | nvidia/bert_tf | 1 | Language | Tensorflow | FP16 | Oct 19, 2019 | unlocked | | training using | pretraining_lam | | Modelling | | | | | | LAMB optimizer) | b_16n | | | | | | | | for TensorFlow | | | | | | | | | BERT-Base(fine- | nvidia/bert_tf_ | 2 | Language | Tensorflow | FP16 | Oct 18, 2019 | unlocked | | tuning) - SQuAD | v1_1_base_fp16_ | | Modelling | | | | | | 1.1, seqLen=128 | 128 | | | | | | | | BERT-Base(fine- | nvidia/bert_tf_ | 2 | Language | Tensorflow | FP16 | Oct 18, 2019 | unlocked | | tuning) - SQuAD | v1_1_base_fp16_ | | Modelling | | | | |
Pour afficher toutes les versions d'un modèle, utilisez le caractère générique *.
root@localhost:~# ngc registry model list nvidia/bert_for_tensorflow:*
+---------+----------+---------+------------+-----------+-----------+-----------+--------+--------------+--------------+
| Version | Accuracy | Epochs | Batch Size | GPU Model | Memory | File Size | Owner | Status | Created Date |
| | | | | | Footprint | | | | |
+---------+----------+---------+------------+-----------+-----------+-----------+--------+--------------+--------------+
| 1 | | 1000000 | 256 | V100 | 4011 | 3.77 GB | NVIDIA | UPLOAD_COMPL | Jun 13, 2019 |
| | | | | | | | | ETE | |
+---------+----------+---------+------------+-----------+-----------+-----------+--------+--------------+--------------+
Pour afficher des informations détaillées sur un modèle, vous pouvez spécifier
le modèle
root@localhost:~# ngc registry model info nvidia/bert_for_tensorflow
Model Information
Name: bert_for_tensorflow
Application: Language Modelling
Framework: TensorFlow
Model Format: TF ckpt
Precision: FP16
Description:
# BERT Large(pre-training) for TensorFlow ou la version du modèle.
root@localhost:~# ngc registry model info nvidia/bert_for_tensorflow:1
Model Version Information
Id: 1
Batch Size: 256
Memory Footprint: 4011
Number Of Epochs: 1000000
Accuracy Reached:
GPU Model: V100
Owner Name: NVIDIA
Created Date: 2019-06-13T22:50:06.405Z
Description:
Pretrained weights for the BERT (pre-training) model.
Status: UPLOAD_COMPLETE
Total File Count: 3
Total Size: 3.77 GB Télécharger un modèle
Pour télécharger un modèle du registre sur votre disque local, spécifiez le nom et la version du modèle.
root@localhost:~# ngc registry model download-version nvidia/<model-name:version>
Exemple :Téléchargement d'un modèle dans le répertoire courant.
root@localhost:~# ngc registry model download-version nvidia/bert_for_tensorflow:1 Downloaded 3.46 GB in 6m 22s, Download speed: 9.26 MB/s Transfer id: bert_for_tensorflow_v1 Download status: Completed. Downloaded local path: /root/bert_for_tensorflow_v1 Total files downloaded: 3 Total downloaded size: 3.46 GB Started at: 2019-10-30 18:14:23.667980 Completed at: 2019-10-30 18:20:46.313870 Duration taken: 6m 22s seconds
Le modèle est téléchargé dans un dossier qui correspond au nom du modèle dans le répertoire courant. Vous pouvez spécifier un autre chemin en utilisant le -d . option.
root@localhost:~# ngc registry model download-version nvidia/bert_for_tensorflow:1 -d ./models
Affichage des informations sur le modèle de script
Il existe plusieurs commandes pour afficher des informations sur les modèles de scripts disponibles.
Pour afficher la liste des modèles de scripts fournis par NVIDIA :
root@localhost:~# ngc registry model-script list +-----------------+-----------------+----------------+-----------------+------------+-----------+---------------+------------+ | Name | Registry | Latest Version | Application | Framework | Precision | Last Modified | Permission | +-----------------+-----------------+----------------+-----------------+------------+-----------+---------------+------------+ | BERT for | nvidia/bert_for | 3 | NLP | PyTorch | FPBOTH | Oct 19, 2019 | unlocked | | PyTorch | _pytorch | | | | | | | | BERT for | nvidia/bert_for | 4 | NLP | TensorFlow | FPBOTH | Oct 21, 2019 | unlocked | | TensorFlow | _tensorflow | | | | | | | | Clara Deploy | nvidia/clara_de | 4 | SEGMENTATION | TensorFlow | FPBOTH | Oct 21, 2019 | unlocked | | SDK | ploy_sdk | | | | | | | | Clara AI | nvidia/clara_tr | 1 | KUBEFLOW_PIPELI | TensorFlow | FP32 | Oct 19, 2019 | locked | | Medical Imaging | ain | | NE | | | | |
Pour afficher des informations détaillées sur un modèle de script, vous pouvez spécifier
le modèle-script
root@localhost:~# ngc registry model-script info nvidia/bert_for_pytorch
model-script Information
Name: bert_for_pytorch
Application: NLP
Training Framework: PyTorch
Model Format: PyTorch PTH
Precision: FP16, FP32 ou la version modèle-script.
root@localhost:~# ngc registry model-script info nvidia/bert_for_pytorch:3
model_script Version Information
Id: 3
Batch Size: 0
Memory Footprint: 0
Number Of Epochs: 0
Accuracy Reached: 0.0
GPU Model: V100 Téléchargement d'un modèle-script
Pour télécharger un modèle de script du registre vers votre disque local, spécifiez le nom et la version du modèle de script.
root@localhost:~# ngc registry model-script download-version nvidia/<model-script-name:version>
Exemple :Téléchargement d'un modèle dans le répertoire courant.
Voici un exemple montrant la sortie confirmant la fin du téléchargement :
root@localhost:~# ngc registry model-script download-version nvidia/bert_for_pytorch:1 Downloaded 275.69 KB in 6s, Download speed: 45.87 KB/s Transfer id: bert_for_pytorch_v1 Download status: Completed. Downloaded local path: /root/bert_for_pytorch_v1 Total files downloaded: 49 Total downloaded size: 275.69 KB Started at: 2019-10-30 18:34:24.956435 Completed at: 2019-10-30 18:34:30.970395 Duration taken: 6s seconds
Le modèle est téléchargé dans un dossier qui correspond au nom du modèle dans le répertoire courant. Vous pouvez spécifier un autre chemin en utilisant le -d . option.
Exemple :Téléchargement d'un mode-script dans un répertoire spécifique (/model-scripts).
root@localhost:~# ngc registry model-script download-version nvidia/bert_for_pytorch:1 -d ./model-scripts