Apache Spark est un cadre de calcul distribué open source créé pour fournir des résultats de calcul plus rapides. Il s'agit d'un moteur de calcul en mémoire, ce qui signifie que les données seront traitées en mémoire.
Étincelle prend en charge diverses API pour le streaming, le traitement de graphes, SQL, MLLib. Il prend également en charge Java, Python, Scala et R comme langages préférés. Spark est principalement installé dans les clusters Hadoop, mais vous pouvez également installer et configurer Spark en mode autonome.
Dans cet article, nous allons voir comment installer Apache Spark dans Debian et Ubuntu distributions basées sur .
Installer Java et Scala dans Ubuntu
Pour installer Apache Spark dans Ubuntu, vous devez avoir Java et Scala installé sur votre machine. La plupart des distributions modernes sont livrées avec Java installé par défaut et vous pouvez le vérifier à l'aide de la commande suivante.
$ java -version
S'il n'y a pas de sortie, vous pouvez installer Java à l'aide de notre article sur l'installation de Java sur Ubuntu ou simplement exécuter les commandes suivantes pour installer Java sur les distributions basées sur Ubuntu et Debian.
$ sudo apt update $ sudo apt install default-jre $ java -version
Ensuite, vous pouvez installer Scala depuis le référentiel apt en exécutant les commandes suivantes pour rechercher scala et l'installer.
$ sudo apt search scala ⇒ Search for the package $ sudo apt install scala ⇒ Install the package
Pour vérifier l'installation de Scala , exécutez la commande suivante.
$ scala -version Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL
Installer Apache Spark dans Ubuntu
Allez maintenant sur la page de téléchargement officielle d'Apache Spark et récupérez la dernière version (c'est-à-dire 3.1.1) au moment de la rédaction de cet article. Vous pouvez également utiliser la commande wget pour télécharger le fichier directement dans le terminal.
$ wget https://apachemirror.wuchna.com/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz
Ouvrez maintenant votre terminal et basculez vers l'emplacement de votre fichier téléchargé et exécutez la commande suivante pour extraire le fichier tar Apache Spark.
$ tar -xvzf spark-3.1.1-bin-hadoop2.7.tgz
Enfin, déplacez le Spark extrait répertoire vers /opt répertoire.
$ sudo mv spark-3.1.1-bin-hadoop2.7 /opt/spark
Configurer les variables d'environnement pour Spark
Vous devez maintenant définir quelques variables d'environnement dans votre .profile fichier avant de démarrer l'étincelle.
$ echo "export SPARK_HOME=/opt/spark" >> ~/.profile $ echo "export PATH=$PATH:/opt/spark/bin:/opt/spark/sbin" >> ~/.profile $ echo "export PYSPARK_PYTHON=/usr/bin/python3" >> ~/.profile
Pour vous assurer que ces nouvelles variables d'environnement sont accessibles dans le shell et disponibles pour Apache Spark, il est également obligatoire d'exécuter la commande suivante pour que les modifications récentes prennent effet.
$ source ~/.profile
Tous les binaires liés à Spark pour démarrer et arrêter les services se trouvent sous le sbin dossier.
$ ls -l /opt/spark
Démarrer Apache Spark dans Ubuntu
Exécutez la commande suivante pour démarrer le Spark service maître et service esclave.
$ start-master.sh $ start-workers.sh spark://localhost:7077
Une fois le service démarré, accédez au navigateur et tapez la page d'étincelle d'accès à l'URL suivante. À partir de la page, vous pouvez voir que mon service maître et esclave est démarré.
http://localhost:8080/ OR http://127.0.0.1:8080
Vous pouvez également vérifier si spark-shell fonctionne bien en lançant le spark-shell commande.
$ spark-shell
Voilà pour cet article. Nous vous proposerons très bientôt un autre article intéressant.