Comment installer Apache Hadoop sur Ubuntu 16.04 LTS

Dans ce tutoriel, nous allons vous montrer comment installer Apache Hadoop sur Ubuntu 16.04 LTS. Pour ceux d'entre vous qui ne le savaient pas, Apache Hadoop est un framework logiciel open source écrit en Java pour le stockage distribué et le processus de distribution, il gère une très grande taille d'ensembles de données en les distribuant sur des clusters d'ordinateurs.Plutôt que de s'appuyer sur du matériel pour offrir une haute disponibilité, la bibliothèque elle-même est conçue pour détecter et gérer les défaillances au niveau de la couche application, offrant ainsi un service hautement disponible sur un cluster d'ordinateurs, chacun pouvant être sujet à des pannes.

Cet article suppose que vous avez au moins des connaissances de base sur Linux, que vous savez utiliser le shell et, plus important encore, que vous hébergez votre site sur votre propre VPS. L'installation est assez simple et suppose que vous s'exécutent dans le compte root, sinon vous devrez peut-être ajouter 'sudo ‘ aux commandes pour obtenir les privilèges root. Je vais vous montrer l'installation pas à pas d'Apache Hadoop sur un serveur Ubuntu 16.04 Xenial Xerus.

Prérequis

Un serveur exécutant l'un des systèmes d'exploitation suivants :Ubuntu 16.04 (Xenial Xerus).
Il est recommandé d'utiliser une nouvelle installation du système d'exploitation pour éviter tout problème potentiel.
Accès SSH au serveur (ou ouvrez simplement Terminal si vous êtes sur un ordinateur).
Un non-root sudo user ou l'accès à l'root user . Nous vous recommandons d'agir en tant qu'non-root sudo user , cependant, car vous pouvez endommager votre système si vous ne faites pas attention lorsque vous agissez en tant que root.

Installer Apache Hadoop sur Ubuntu 16.04 LTS

Étape 1. Tout d'abord, assurez-vous que tous vos packages système sont à jour en exécutant le suivant apt-get commandes dans le terminal.

sudo apt-get update
sudo apt-get upgrade

Étape 2. Installation de Java (OpenJDK).

Étant donné que Hadoop est basé sur Java, assurez-vous que Java JDK est installé sur le système. Si Java n'est pas installé sur votre système, utilisez le lien suivant pour l'installer en premier.

Installer Java JDK 8 sur Ubuntu 16.04

[email protected] ~# java -version
java version "1.8.0_74"
Java(TM) SE Runtime Environment (build 1.8.0_74-b02)
Java HotSpot(TM) 64-Bit Server VM (build 25.74-b02, mixed mode)

Étape 3. Installation d'Apache Hadoop.

Pour éviter les problèmes de sécurité, nous vous recommandons de configurer un nouveau groupe d'utilisateurs Hadoop et un nouveau compte utilisateur pour gérer toutes les activités liées à Hadoop, en suivant la commande :

sudo addgroup hadoopgroup
sudo adduser —ingroup hadoopgroup hadoopuser

Après avoir créé un utilisateur, il est également nécessaire de configurer ssh basé sur une clé pour son propre compte. Pour ce faire, exécutez les commandes suivantes :

su - hadoopuser
ssh-keygen -t rsa -P ""
cat /home/hadoopuser/.ssh/id_rsa.pub >> /home/hadoopuser/.ssh/authorized_keys
chmod 600 authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub slave-1
ssh slave-1

Télécharger la dernière version stable d'Apache Hadoop, Au moment d'écrire cet article c'est la version 2.8.1 :

wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz
tar xzf hadoop-2.8.1.tar.gz
mv hadoop-2.8.1 hadoop

Étape 4. Configurez Apache Hadoop.

Configurer les variables d'environnement Hadoop. Modifier ~/.bashrc fichier et ajoutez les valeurs suivantes à la fin du fichier :

export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

Appliquez les variables d'environnement à la session en cours :

source ~/.bashrc

Modifiez maintenant $HADOOP_HOME/etc/hadoop/hadoop-env.sh fichier et définissez la variable d'environnement JAVA_HOME :

export JAVA_HOME=/usr/jdk1.8.0_74/

Hadoop possède de nombreux fichiers de configuration, qui doivent être configurés selon les exigences de votre infrastructure Hadoop. Commençons par la configuration avec une configuration de cluster à nœud unique Hadoop de base :

cd $HADOOP_HOME/etc/hadoop

Modifier core-site.xml :

<configuration>
<property>
  <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

Modifier hdfs-site.xml :

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
  <name>dfs.name.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>

<property>
  <name>dfs.data.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

Modifier mapred-site.xml :

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

Modifier yarn-site.xml :

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

Formatez maintenant namenode à l'aide de la commande suivante, n'oubliez pas de vérifier le répertoire de stockage :

hdfs namenode -format

Démarrez tous les services Hadoop à l'aide de la commande suivante :

cd $HADOOP_HOME/sbin/
start-dfs.sh
start-yarn.sh

Vous devez observer la sortie pour vous assurer qu'elle essaie de démarrer datanode sur les nœuds esclaves un par un. Pour vérifier si tous les services sont bien démarrés, utilisez 'jps ' commande :

jps

Étape 5. Accéder à Apache Hadoop.

Apache Hadoop sera disponible sur le port HTTP 8088 et le port 50070 par défaut. Ouvrez votre navigateur préféré et accédez à http://your-domain.com:50070 ou http://server-ip:50070 . Si vous utilisez un pare-feu, veuillez ouvrir les ports 8088 et 50070 pour permettre l'accès au panneau de contrôle.

Félicitations ! Vous avez installé Apache Hadoop avec succès. Merci d'avoir utilisé ce didacticiel pour installer Apache Hadoop sur le système Ubuntu 16.04. Pour obtenir de l'aide supplémentaire ou des informations utiles, nous vous recommandons de consulter le site Web officiel d'Apache Hadoop.