GNU/Linux >> Tutoriels Linux >  >> Linux

Soumission de travaux SLURM avec STDOUT et STDERR écrits dans des fichiers wrt JOB_ID

Il existe différentes façons de soumettre des tâches SLURM sur un cluster et la principale consiste à soumettre un script avec le sbatch commande comme indiqué ci-dessous :

sbatch runcscript.sh

Dans ma récente tentative de développement d'une application Web avec un backend en tant que planificateur SLURM pour la gestion des tâches, j'ai consulté la documentation SLURM pour rediriger STDOUT et STDERR vers un fichier par rapport à l'ID de tâche, comme indiqué ci-dessous :

#!/bin/bash#SBATCH --job-name=qsim#SBATCH --partition=standard-low#SBATCH -o $SLURM_JOB_ID.output #SBATCH -e $SLURM_JOB_ID.error python UWVr6QCFKLgx6sRtsnRZyRrajJdbPF4CsKGUqd7S4r.py

Malheureusement, la sortie n'a pas été remplacée par la variable $SLURM_JOB_ID .

$ls -lrt-rw-rw-r-- 1 vivekn vivekn 737 17 sept. 12:43 $SLURM_JOB_ID.output-rw-rw-r-- 1 vivekn vivekn 580 17 sept. 12:43 $SLURM_JOB_ID.error 

Après des recherches assez approfondies et le bon guide de Harvard m'a montré que la façon dont je me référais était fausse, et j'ai dû changer le script SLURM Jobs comme ci-dessous :

#!/bin/bash#SBATCH --job-name=qsim#SBATCH --partition=standard-low#SBATCH -o %j.output #SBATCH -e %j.error python UWVr6QCFKLgx6sRtsnRZyRrajJdbPF4CsKGUqd7S4r.py

Le %j dans le nom de fichier sera remplacé par le JobID lors de l'exécution.

Cependant, je n'ai pas encore découvert pourquoi la variable d'environnement SLURM $SLURM_JOB_ID n'a pas fonctionné. Je mettrai à jour une fois que j'aurai une explication. Si vous avez des suggestions ou des réponses, veuillez écrire dans la section des commentaires ci-dessous.


Linux
  1. Comment chiffrer des fichiers avec gocryptfs sous Linux

  2. Fichiers Cat avec répertoire ?

  3. Comment planifier des tâches Cron avec Crontab

  4. Travailler avec des fichiers ZIP sous Linux

  5. Comment rediriger stderr et stdout vers différents fichiers dans la même ligne de script ?

Planifier des travaux sous Linux avec la commande 'at'

Premiers pas avec la commande Tar

Comment télécharger des fichiers avec FileZilla

Télécharger des fichiers avec Monsta FTP

Commande lsof sous Linux avec exemples

Commande comm Linux avec exemples