Dans ce tutoriel, nous allons vous montrer comment installer Apache Hadoop sur Ubuntu 18.04 LTS. Pour ceux d'entre vous qui ne le savaient pas, Apache Hadoop est un framework open-source utilisé pour le stockage distribué ainsi que le traitement distribué des mégadonnées sur des grappes d'ordinateurs qui s'exécutent sur du matériel de base. Hadoop stocke les données dans le système de fichiers distribués Hadoop (HDFS) et le traitement de ces données est effectué à l'aide de MapReduce. YARN fournit une API pour demander et allouer des ressources dans le cluster Hadoop.
Cet article suppose que vous avez au moins des connaissances de base sur Linux, que vous savez utiliser le shell et, plus important encore, que vous hébergez votre site sur votre propre VPS. L'installation est assez simple et suppose que vous s'exécutent dans le compte root, sinon vous devrez peut-être ajouter 'sudo ‘ aux commandes pour obtenir les privilèges root. Je vais vous montrer l'installation pas à pas d'Apache Hadoop sur un serveur Ubuntu 18.04 (Bionic Beaver).
Prérequis
- Un serveur exécutant l'un des systèmes d'exploitation suivants :Ubuntu 18.04 (Bionic Beaver).
- Il est recommandé d'utiliser une nouvelle installation du système d'exploitation pour éviter tout problème potentiel.
- Accès SSH au serveur (ou ouvrez simplement Terminal si vous êtes sur un ordinateur de bureau).
- Un
non-root sudo userou l'accès à l'root user. Nous vous recommandons d'agir en tant qu'non-root sudo user, cependant, car vous pouvez endommager votre système si vous ne faites pas attention lorsque vous agissez en tant que root.
Installer Apache Hadoop sur Ubuntu 18.04 LTS Bionic Beaver
Étape 1. Tout d'abord, assurez-vous que tous vos packages système sont à jour en exécutant les commandes apt-get suivantes dans le terminal.
sudo apt-get update sudo apt-get upgrade
Étape 2. Installation de Java (OpenJDK).
Étant donné que Hadoop est basé sur Java, assurez-vous que Java JDK est installé sur le système. Si Java n'est pas installé sur votre système, utilisez le lien suivant pour l'installer en premier.
- Installez Java JDK 8 sur Ubuntu :
[email protected] ~# java -version java version "1.8.0_192" Java(TM) SE Runtime Environment (build 1.8.0_192-b02) Java HotSpot(TM) 64-Bit Server VM (build 25.74-b02, mixed mode)
Étape 3. Installer Apache Hadoop sur Ubuntu 18.04.
Pour éviter les problèmes de sécurité, nous vous recommandons de configurer un nouveau groupe d'utilisateurs Hadoop et un nouveau compte utilisateur pour gérer toutes les activités liées à Hadoop, en suivant la commande :
sudo addgroup hadoopgroup sudo adduser —ingroup hadoopgroup hadoopuser
Après avoir créé l'utilisateur, il est également nécessaire de configurer ssh basé sur une clé sur son propre compte. Pour ce faire, exécutez les commandes suivantes :
su - hadoopuser ssh-keygen -t rsa -P "" cat /home/hadoopuser/.ssh/id_rsa.pub >> /home/hadoopuser/.ssh/authorized_keys chmod 600 authorized_keys ssh-copy-id -i ~/.ssh/id_rsa.pub slave-1 ssh slave-1
Télécharger la dernière version stable d'Apache Hadoop, Au moment d'écrire cet article c'est la version 3.1.1 :
wget http://www-us.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz tar xzf hadoop-3.1.1.tar.gz mv hadoop-3.1.1 hadoop
Étape 4. Configurez Apache Hadoop.
Configuration des variables d'environnement. Modifiez le fichier ~/.bashrc et ajoutez les valeurs suivantes à la fin du fichier :
export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
Appliquez les variables d'environnement à la session en cours :
source ~/.bashrc
Modifiez maintenant $HADOOP_HOME/etc/hadoop/hadoop-env.sh fichier et définissez la variable d'environnement JAVA_HOME :
export JAVA_HOME=/usr/jdk1.8.0_192/
Hadoop possède de nombreux fichiers de configuration, qui doivent être configurés selon les exigences de votre infrastructure Hadoop. Commençons par la configuration avec une configuration de cluster à nœud unique Hadoop de base :
cd $HADOOP_HOME/etc/hadoop
Modifier core-site.xml :
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration> Modifier hdfs-site.xml :
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration> Modifier mapred-site.xml :
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
Modifier yarn-site.xml :
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration> Formatez maintenant namenode à l'aide de la commande suivante, n'oubliez pas de vérifier le répertoire de stockage :
hdfs namenode -format
Démarrez tous les services Hadoop à l'aide de la commande suivante :
cd $HADOOP_HOME/sbin/ start-dfs.sh start-yarn.sh
Vous devez observer la sortie pour vous assurer qu'elle essaie de démarrer un nœud de données sur les nœuds esclaves un par un. Pour vérifier si tous les services sont bien démarrés en utilisant 'jps ' commande :
jps
Étape 5. Accéder à Apache Hadoop.
Apache Hadoop sera disponible sur le port HTTP 8088 et le port 50070 par défaut. Ouvrez votre navigateur préféré et accédez à http://your-domain.com:50070 ou http://server-ip:50070 . Si vous utilisez un pare-feu, veuillez ouvrir les ports 8088 et 50070 pour permettre l'accès au panneau de contrôle.
Félicitations ! Vous avez installé Hadoop avec succès. Merci d'avoir utilisé ce didacticiel pour l'installation d'Apache Hadoop sur le système Ubuntu 18.04 LTS. Pour obtenir de l'aide supplémentaire ou des informations utiles, nous vous recommandons de consulter le site Web officiel d'Apache Hadoop.