Dans cet article, nous aurons expliqué les étapes nécessaires pour installer et configurer Hadoop sur Ubuntu 18.04 LTS. Avant de poursuivre ce didacticiel, assurez-vous que vous êtes connecté en tant qu'utilisateur avec des privilèges sudo. Toutes les commandes de ce didacticiel doivent être exécutées en tant qu'utilisateur non root.
La bibliothèque logicielle Apache Hadoop est un cadre qui permet le traitement distribué de grands ensembles de données sur des grappes d'ordinateurs à l'aide de modèles de programmation simples. Il est conçu pour passer de serveurs uniques à des milliers de machines, chacune offrant un calcul et un stockage locaux. Plutôt que de s'appuyer sur du matériel pour offrir une haute disponibilité, la bibliothèque elle-même est conçue pour détecter et gérer les pannes au niveau de la couche application, offrant ainsi un service hautement disponible sur un cluster d'ordinateurs, chacun pouvant être sujet à des pannes.
Installer Hadoop sur Ubuntu
Étape 1. Tout d'abord, avant de commencer à installer un package sur votre serveur Ubuntu, nous vous recommandons de toujours vous assurer que tous les packages système sont mis à jour.
sudo apt update sudo apt upgrade
Étape 2. Installez Java.
Nous devons installer Java sur la machine car Java est le principal prérequis pour exécuter Hadoop. Java 6 et les versions supérieures sont prises en charge pour Hadoop. Installons Java 8 pour cette leçon :
sudo apt install openjdk-8-jdk-headless
Vérifiez que java est correctement installé :
java -version
Étape 3. Installer Hadoop sur Ubuntu 18.04.
Téléchargeons les fichiers d'installation de Hadoop pour pouvoir également travailler sur sa configuration :
mkdir jd-hadoop && cd jd-hadoop wget http://mirror.cc.columbia.edu/pub/software/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
Une fois le fichier téléchargé, exécutez la commande suivante pour décompresser le fichier :
tar xvzf hadoop-3.2.0.tar.gz
Étape 4. Ajout d'un compte utilisateur Hadoop.
Nous allons créer un utilisateur Hadoop distinct sur notre machine pour séparer HDFS de notre système de fichiers d'origine. Nous pouvons d'abord créer un groupe d'utilisateurs sur notre machine :
addgroup hadoop
Nous pouvons maintenant ajouter un nouvel utilisateur à ce groupe :
useradd -G hadoop hadoopuser
Enfin, nous fournirons un accès root à l'utilisateur jdhadoopuser. Pour cela, ouvrez le fichier /etc/sudoers avec cette commande :
sudo visudo
Maintenant, saisissez ceci comme dernière ligne du fichier :
hadoopuser ALL=(ALL) ALL
Étape 5. Configuration d'un nœud unique Hadoop.
Hadoop sur un nœud unique signifie que Hadoop s'exécutera comme un processus Java unique. Renommez maintenant l'archive hadoop telle qu'elle est actuellement présente en hadoop uniquement :
mv /root/jd-hadoop/hadoop-3.2.0 /root/jd-hadoop/hadoop chown -R hadoopuser:hadoop /root/jd-hadoop/hadoop
Un meilleur emplacement pour Hadoop sera le répertoire /usr/local/, alors déplaçons-le là :
mv hadoop /usr/local/ cd /usr/local/
Maintenant, modifiez le fichier .bashrc pour ajouter Hadoop et Java au chemin à l'aide de cette commande :
nano ~/.bashrc
# Configure Hadoop and Java Home export HADOOP_HOME=/usr/local/hadoop export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$PATH:$HADOOP_HOME/bin
Maintenant, il est temps de dire aussi à Hadoop où Java est présent. Nous pouvons le faire en fournissant ce chemin dans le fichier hadoop-env.sh :
find hadoop/ -name hadoop-env.sh
Maintenant, modifiez le fichier :
# nano hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
Étape 6. Tester l'installation de Hadoop.
Nous pouvons tester l'installation d'Hadoop en exécutant maintenant un exemple d'application préfabriqué avec Hadoop, un exemple de compteur de mots JAR :
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /usr/local/hadoop/README.txt /root/jd-hadoop/Output
Si vous le souhaitez, vous pouvez voir le contenu de ce fichier avec la commande suivante :
cat part-r-00000
C'est tout ce que vous avez à faire pour installer Apache Hadoop sur Ubuntu 18.04. J'espère que vous trouverez cette astuce rapide utile. Si vous avez des questions ou des suggestions, n'hésitez pas à laisser un commentaire ci-dessous.