spark-submit imprime la plupart de sa sortie sur STDERR
Pour rediriger toute la sortie vers un seul fichier, vous pouvez utiliser :
spark-submit something.py > results.txt 2>&1
Ou
spark-submit something.py &> results.txt
Si vous exécutez Spark-Submit sur un cluster, les journaux sont stockés avec l'ID d'application. Vous pouvez voir les journaux une fois l'application terminée.
yarn logs --applicationId <your applicationId> > myfile.txt
Devrait vous récupérer le journal de votre travail
L'applicationId de votre tâche est donnée lorsque vous soumettez la tâche Spark. Vous pourrez voir cela dans la console où vous soumettez ou à partir de l'interface utilisateur Hadoop.