GNU/Linux >> Tutoriels Linux >  >> Ubuntu

Comment installer Hadoop sur Ubuntu 18.04 Bionic Beaver

Dans cet article, nous aurons expliqué les étapes nécessaires pour installer et configurer Hadoop sur Ubuntu 18.04 LTS. Avant de poursuivre ce didacticiel, assurez-vous que vous êtes connecté en tant qu'utilisateur avec des privilèges sudo. Toutes les commandes de ce didacticiel doivent être exécutées en tant qu'utilisateur non root.

La bibliothèque logicielle Apache Hadoop est un cadre qui permet le traitement distribué de grands ensembles de données sur des grappes d'ordinateurs à l'aide de modèles de programmation simples. Il est conçu pour passer de serveurs uniques à des milliers de machines, chacune offrant un calcul et un stockage locaux. Plutôt que de s'appuyer sur du matériel pour offrir une haute disponibilité, la bibliothèque elle-même est conçue pour détecter et gérer les pannes au niveau de la couche application, offrant ainsi un service hautement disponible sur un cluster d'ordinateurs, chacun pouvant être sujet à des pannes.

Installer Hadoop sur Ubuntu

Étape 1. Tout d'abord, avant de commencer à installer un package sur votre serveur Ubuntu, nous vous recommandons de toujours vous assurer que tous les packages système sont mis à jour.

sudo apt update
sudo apt upgrade

Étape 2. Installez Java.

Nous devons installer Java sur la machine car Java est le principal prérequis pour exécuter Hadoop. Java 6 et les versions supérieures sont prises en charge pour Hadoop. Installons Java 8 pour cette leçon :

sudo apt install openjdk-8-jdk-headless

Vérifiez que java est correctement installé :

java -version

Étape 3. Installer Hadoop sur Ubuntu 18.04.

Téléchargeons les fichiers d'installation de Hadoop pour pouvoir également travailler sur sa configuration :

mkdir jd-hadoop && cd jd-hadoop
wget http://mirror.cc.columbia.edu/pub/software/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

Une fois le fichier téléchargé, exécutez la commande suivante pour décompresser le fichier :

tar xvzf hadoop-3.2.0.tar.gz

Étape 4. Ajout d'un compte utilisateur Hadoop.

Nous allons créer un utilisateur Hadoop distinct sur notre machine pour séparer HDFS de notre système de fichiers d'origine. Nous pouvons d'abord créer un groupe d'utilisateurs sur notre machine :

addgroup hadoop

Nous pouvons maintenant ajouter un nouvel utilisateur à ce groupe :

useradd -G hadoop hadoopuser

Enfin, nous fournirons un accès root à l'utilisateur jdhadoopuser. Pour cela, ouvrez le fichier /etc/sudoers avec cette commande :

sudo visudo

Maintenant, saisissez ceci comme dernière ligne du fichier :

hadoopuser ALL=(ALL) ALL

Étape 5. Configuration d'un nœud unique Hadoop.

Hadoop sur un nœud unique signifie que Hadoop s'exécutera comme un processus Java unique. Renommez maintenant l'archive hadoop telle qu'elle est actuellement présente en hadoop uniquement :

mv /root/jd-hadoop/hadoop-3.2.0 /root/jd-hadoop/hadoop
chown -R hadoopuser:hadoop /root/jd-hadoop/hadoop

Un meilleur emplacement pour Hadoop sera le répertoire /usr/local/, alors déplaçons-le là :

mv hadoop /usr/local/
cd /usr/local/

Maintenant, modifiez le fichier .bashrc pour ajouter Hadoop et Java au chemin à l'aide de cette commande :

nano ~/.bashrc
# Configure Hadoop and Java Home
export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$HADOOP_HOME/bin

Maintenant, il est temps de dire aussi à Hadoop où Java est présent. Nous pouvons le faire en fournissant ce chemin dans le fichier hadoop-env.sh :

find hadoop/ -name hadoop-env.sh

Maintenant, modifiez le fichier :

# nano hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

Étape 6. Tester l'installation de Hadoop.

Nous pouvons tester l'installation d'Hadoop en exécutant maintenant un exemple d'application préfabriqué avec Hadoop, un exemple de compteur de mots JAR :

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /usr/local/hadoop/README.txt /root/jd-hadoop/Output

Si vous le souhaitez, vous pouvez voir le contenu de ce fichier avec la commande suivante :

cat part-r-00000

C'est tout ce que vous avez à faire pour installer Apache Hadoop sur Ubuntu 18.04. J'espère que vous trouverez cette astuce rapide utile. Si vous avez des questions ou des suggestions, n'hésitez pas à laisser un commentaire ci-dessous.


Ubuntu
  1. Comment installer Ubuntu 18.04 Bionic Beaver

  2. Comment installer Apache Hadoop sur Ubuntu 14.04

  3. Comment installer GlassFish sur Ubuntu 18.04 Bionic Beaver

  4. Comment installer Netbeans sur Ubuntu 18.04 Bionic Beaver

  5. Comment installer Slack sur Ubuntu 18.04 Bionic Beaver

Comment installer Skype sur Ubuntu 18.04 Bionic Beaver

Comment installer GIMP sur Ubuntu 18.04 Bionic Beaver

Comment installer PyCharm sur Ubuntu 18.04 Bionic Beaver

Comment installer Ruby sur Ubuntu 18.04 Bionic Beaver

Comment installer Eclipse IDE sur Ubuntu 18.04 Bionic Beaver

Comment installer Percona sur Ubuntu 18.04 Bionic Beaver