Comment installer Apache Hadoop sur Ubuntu 14.04

Dans ce didacticiel, nous allons vous montrer comment installer Apache Hadoop sur Ubuntu 14.04. Pour ceux d'entre vous qui ne le savaient pas, Apache Hadoop est un framework logiciel open source écrit en Java pour processus de stockage et de distribution distribués, il gère une très grande taille d'ensembles de données en les répartissant sur des clusters d'ordinateurs. Plutôt que de s'appuyer sur le matériel pour fournir une haute disponibilité, la bibliothèque elle-même est conçue pour détecter et gérer les défaillances au niveau de la couche application, offrant ainsi un service hautement disponible sur un cluster d'ordinateurs, chacun pouvant être sujet à des pannes.

Cet article suppose que vous avez au moins des connaissances de base sur Linux, que vous savez utiliser le shell et, plus important encore, que vous hébergez votre site sur votre propre VPS. L'installation est assez simple et suppose que vous s'exécutent dans le compte root, sinon vous devrez peut-être ajouter 'sudo ‘ aux commandes pour obtenir les privilèges root. Je vais vous montrer l'installation étape par étape d'Apache Hadoop sur Ubuntu 14.04. Vous pouvez suivre les mêmes instructions pour toute autre distribution basée sur Debian comme Linux Mint.

Prérequis

Un serveur exécutant l'un des systèmes d'exploitation suivants :Ubuntu 14.04.
Il est recommandé d'utiliser une nouvelle installation du système d'exploitation pour éviter tout problème potentiel.
Accès SSH au serveur (ou ouvrez simplement Terminal si vous êtes sur un ordinateur).
Un non-root sudo user ou l'accès à l'root user . Nous vous recommandons d'agir en tant qu'non-root sudo user , cependant, car vous pouvez endommager votre système si vous ne faites pas attention lorsque vous agissez en tant que root.

Installer Apache Hadoop sur Ubuntu 14.04

Étape 1. Installez Java (OpenJDK).

Étant donné que Hadoop est basé sur Java, assurez-vous que Java JDK est installé sur le système. Si Java n'est pas installé sur votre système, utilisez le lien suivant pour l'installer en premier.

Installer Java JDK 8 sur Ubuntu 14.04

[email protected] ~# java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

Étape 2. Désactiver IPv6.

À l'heure actuelle, Hadoop ne prend pas en charge IPv6 et est testé pour fonctionner uniquement sur les réseaux IPv4. Si vous utilisez IPv6, vous devez changer les machines hôtes Hadoop pour utiliser IPv4 :

nano /etc/sysctl.conf

Ajoutez ces 3 lignes à la fin du fichier :

#disable ipv6; 
net.ipv6.conf.all.disable_ipv6 = 1 
net.ipv6.conf.default.disable_ipv6 = 1 
net.ipv6.conf.lo.disable_ipv6 = 1

Étape 3. Installez Apache Hadoop.

Pour éviter les problèmes de sécurité, nous vous recommandons de configurer un nouveau groupe d'utilisateurs Hadoop et un nouveau compte utilisateur pour gérer toutes les activités liées à Hadoop, en suivant la commande :

sudo addgroup hadoopgroup
sudo adduser —ingroup hadoopgroup hadoopuser

Après avoir créé un utilisateur, il a également dû configurer ssh basé sur une clé sur son propre compte. Pour ce faire, exécutez les commandes suivantes :

su - hadoopuser
ssh-keygen -t rsa -P ""
cat /home/hadoopuser/.ssh/id_rsa.pub >> /home/hadoopuser/.ssh/authorized_keys
chmod 600 authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub slave-1
ssh slave-1

Télécharger la dernière version stable d'Apache Hadoop, Au moment d'écrire cet article c'est la version 2.7.0 :

wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz
tar xzf hadoop-2.7.0.tar.gz
mv hadoop-2.7.0 hadoop

Étape 4. Configurez Apache Hadoop.

Configurer les variables d'environnement Hadoop. Modifier ~/.bashrc fichier et ajoutez les valeurs suivantes à la fin du fichier :

export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

Appliquez les variables d'environnement à la session en cours :

source ~/.bashrc

Modifiez maintenant $HADOOP_HOME/etc/hadoop/hadoop-env.sh fichier et définissez la variable d'environnement JAVA_HOME :

export JAVA_HOME=/usr/jdk1.8.0_45/

Hadoop possède de nombreux fichiers de configuration, qui doivent être configurés selon les exigences de votre infrastructure Hadoop. Commençons par la configuration avec la configuration de base du cluster à nœud unique Hadoop :

cd $HADOOP_HOME/etc/hadoop

Modifier core-site.xml :

<configuration>
<property>
  <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

Modifier hdfs-site.xml :

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
  <name>dfs.name.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>

<property>
  <name>dfs.data.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

Modifier mapred-site.xml :

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

Modifier yarn-site.xml :

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

Formatez maintenant namenode à l'aide de la commande suivante, n'oubliez pas de vérifier le répertoire de stockage :

hdfs namenode -format

Démarrez tous les services Hadoop à l'aide de la commande suivante :

cd $HADOOP_HOME/sbin/
start-dfs.sh
start-yarn.sh

Vous devez observer la sortie pour vous assurer qu'elle essaie de démarrer le nœud de données sur les nœuds esclaves un par un. Pour vérifier si tous les services sont bien démarrés, utilisez 'jps ' commande :

jps

Étape 5. Accéder à Apache Hadoop.

Apache Hadoop sera disponible sur le port HTTP 8088 et le port 50070 par défaut. Ouvrez votre navigateur préféré et accédez à http://your-domain.com:50070 ou http://server-ip:50070 . Si vous utilisez un pare-feu, veuillez ouvrir les ports 8088 et 50070 pour permettre l'accès au panneau de contrôle.

Parcourir l'interface Web pour le ResourceManager par défaut, il est disponible à http://your-domain.com:8088 ou http://server-ip:8088 :

Félicitations ! Vous avez installé Apache Hadoop avec succès. Merci d'avoir utilisé ce didacticiel pour l'installation d'Apache Hadoop sur le système Ubuntu 14.04. Pour obtenir de l'aide supplémentaire ou des informations utiles, nous vous recommandons de consulter le site Web officiel d'Apache Hadoop.