Dans ce tutoriel, nous allons vous montrer comment installer Apache Hadoop sur CentOS 7. Pour ceux d'entre vous qui ne le savaient pas, Apache Hadoop est un framework logiciel open source écrit en Java pour processus de stockage et de distribution distribués, il gère des ensembles de données de très grande taille en les distribuant sur des clusters d'ordinateurs.Plutôt que de s'appuyer sur du matériel pour offrir une haute disponibilité, la bibliothèque elle-même est conçue pour détecter et gérer les défaillances au niveau de la couche application, offrant ainsi un -service disponible sur un cluster d'ordinateurs, chacun pouvant être sujet à des pannes.
Cet article suppose que vous avez au moins des connaissances de base sur Linux, que vous savez utiliser le shell et, plus important encore, que vous hébergez votre site sur votre propre VPS. L'installation est assez simple. Je vais vous montrer l'installation étape par étape d'Apache Hadoop sur CentOS 7.
Prérequis
- Un serveur exécutant l'un des systèmes d'exploitation suivants :CentOS 7.
- Il est recommandé d'utiliser une nouvelle installation du système d'exploitation pour éviter tout problème potentiel.
- Accès SSH au serveur (ou ouvrez simplement Terminal si vous êtes sur un ordinateur de bureau).
- Un
non-root sudo userou l'accès à l'root user. Nous vous recommandons d'agir en tant qu'non-root sudo user, cependant, car vous pouvez endommager votre système si vous ne faites pas attention lorsque vous agissez en tant que root.
Installer Apache Hadoop sur CentOS 7
Étape 1. Installez Java.
Étant donné que Hadoop est basé sur Java, assurez-vous que Java JDK est installé sur le système. Si Java n'est pas installé sur votre système, utilisez le lien suivant pour l'installer en premier.
- Installer Java JDK 8 sur CentOS 7
[email protected] ~# java -version java version "1.8.0_45" Java(TM) SE Runtime Environment (build 1.8.0_45-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)
Étape 2. Installez Apache Hadoop.
Il est recommandé de créer un utilisateur normal pour configurer apache Hadoop, créez un utilisateur à l'aide de la commande suivante :
useradd hadoop passwd hadoop
Après avoir créé un utilisateur, il est également nécessaire de configurer ssh basé sur une clé pour son propre compte. Pour ce faire, exécutez les commandes suivantes :
su - hadoop ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys
Télécharger la dernière version stable d'Apache Hadoop, Au moment d'écrire cet article c'est la version 2.7.0 :
wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz tar xzf hadoop-2.7.0.tar.gz mv hadoop-2.7.0 hadoop
Étape 3. Configurez Apache Hadoop.
Configurez les variables d'environnement utilisées par Hadoop. Modifiez le fichier ~/.bashrc et ajoutez les valeurs suivantes à la fin du fichier :
export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
Appliquez les variables d'environnement à la session en cours :
source ~/.bashrc
Modifiez maintenant $HADOOP_HOME/etc/hadoop/hadoop-env.sh fichier et définissez la variable d'environnement JAVA_HOME :
export JAVA_HOME=/usr/jdk1.8.0_45/
Hadoop possède de nombreux fichiers de configuration, qui doivent être configurés selon les exigences de votre infrastructure Hadoop. Commençons par la configuration avec une configuration de cluster à nœud unique Hadoop de base :
cd $HADOOP_HOME/etc/hadoop
Modifier core-site.xml :
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
Modifier hdfs-site.xml :
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value> </property> </configuration>
Modifier mapred-site.xml :
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
Modifier yarn-site.xml :
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
Formatez maintenant namenode à l'aide de la commande suivante, n'oubliez pas de vérifier le répertoire de stockage :
hdfs namenode -format
Démarrez tous les services Hadoop à l'aide de la commande suivante :
cd $HADOOP_HOME/sbin/ start-dfs.sh start-yarn.sh
Pour vérifier si tous les services sont bien démarrés, utilisez 'jps ' commande :
jps
Étape 4. Accéder à Apache Hadoop.
Apache Hadoop sera disponible sur le port HTTP 8088 et le port 50070 par défaut. Ouvrez votre navigateur préféré et accédez à http://your-domain.com:50070 ou http://server-ip:50070 . Si vous utilisez un pare-feu, veuillez ouvrir les ports 8088 et 50070 pour permettre l'accès au panneau de contrôle.
Accédez maintenant au port 8088 pour obtenir les informations sur le cluster et toutes les applications :
Félicitations ! Vous avez installé Apache Hadoop avec succès. Merci d'avoir utilisé ce didacticiel pour l'installation d'Apache Hadoop sur le système CentOS 7. Pour obtenir de l'aide supplémentaire ou des informations utiles, nous vous recommandons de consulter le site Web officiel d'Apache Hadoop.