Hadoup a deux composants principaux qui sont HDFS et FIL . HDFS sert à stocker les Données , FIL est destiné au traitement des Données . HDFS est le système de fichiers distribué Hadoop , il a Namenode en tant que Service principal et Datanode en tant que service esclave .
Nom de nœud est le composant essentiel de Hadoop qui stocke les métadonnées des données stockées dans HDFS . Si le Namenode tombe en panne, l'ensemble du cluster ne sera pas accessible, c'est le point de défaillance unique (SPOF ). Ainsi, l'environnement de production bénéficiera de la haute disponibilité de Namenode pour éviter l'arrêt de production si un Namenode tombe en panne pour diverses raisons comme un crash de la machine, une activité de maintenance planifiée, etc.
Hadoop 2.x fournit la faisabilité où nous pouvons avoir deux Namenodes , l'un sera Active Namenode et un autre sera Standby Namenode .
- Noeud de nom actif – Il gère toutes les opérations du client.
- Nœud de nom de secours – Il est redondant de Active Namenode . Si NN actif s'éteint, puis Standby NN prendra toute la responsabilité de Active NN .
Activation de la haute disponibilité de Namenode nécessite Zookeeper qui est obligatoire pour le basculement automatique. ZKFC (Contrôleur de basculement Zookeeper ) est un gardien de zoo client utilisé pour maintenir l'état de Namenode .
Exigences
- Bonnes pratiques pour le déploiement d'un serveur Hadoop sur CentOS/RHEL 7 – Partie 1
- Configuration des prérequis Hadoop et renforcement de la sécurité – Partie 2
- Comment installer et configurer Cloudera Manager sur CentOS/RHEL 7 – Partie 3
- Comment installer CDH et configurer les emplacements de service sur CentOS/RHEL 7 – Partie 4
Dans cet article, nous allons activer la Haute Disponibilité Namenode dans Cloudera Manager .
Étape 1 :Installation de Zookeeper
1. Connectez-vous à Cloudera Manager .
http://Your-IP:7180/cmf/home
2. Dans le cluster (tecmint ), sélectionnez "Ajouter un service ”.
3. Sélectionnez le service "Zookeeper ”.
4. Sélectionnez les serveurs sur lesquels nous allons avoir Zookeeper installé.
5. Nous allons avoir 3 gardiens de zoo pour former le quorum des gardiens de zoo . Sélectionnez les serveurs comme indiqué ci-dessous.
6. Configurer le Gardien de zoo properties, nous avons ici celles par défaut. En temps réel, vous devez avoir des répertoires/points de montage séparés pour stocker Zookeeper Les données. Dans la Partie 1 , nous avons expliqué la configuration du stockage pour chaque service. Cliquez sur 'continuer ’ pour continuer.
7. L'installation commencera, une fois Zookeeper installé sera lancé. Vous pouvez voir les opérations en arrière-plan ici.
8. Après avoir réussi l'étape ci-dessus, le statut sera "Terminé '.
9. Maintenant, Gardien de zoo est installé et configuré avec succès. Cliquez sur "Terminer '.
10. Vous pouvez voir le Zookeeper service sur Cloudera Manager Tableau de bord.
Étape 2 :Activer la haute disponibilité de Namenode
11. Accédez à Gestionnaire Cloudera –> HDFS –> Actions –> Activer la haute disponibilité .
12. Saisissez le nom du service de noms comme "nameservice1 " - Il s'agit d'un espace de noms commun pour les nœuds de noms actifs et en veille.
13. Sélectionnez le Second Namenode où nous allons avoir en veille Namenode .
14. Ici, nous sélectionnons master2.tecmint.com pour le Namenode en veille .
15. Sélectionnez le Journal nœuds, ce sont des services obligatoires pour la synchronisation Active et veille Namenode .
16. Nous créons Quorum Journal en plaçant le Journal nœud dans 3 serveurs comme mentionné ci-dessous. Sélectionnez 3 serveurs et cliquez sur "OK".
17. Cliquez sur 'Continuer ’ pour continuer.
18. Entrez le nœud de journal chemin du répertoire. Il suffit de mentionner le chemin lors de l'installation de ce répertoire qui sera automatiquement créé par le service lui-même. Nous mentionnons comme ‘/jn’ . Cliquez sur 'Continuer ’ pour continuer.
19. Il commencera à activer la haute disponibilité .
20. Une fois tous les processus d'arrière-plan terminés, nous obtiendrons "Terminé ’ Statut.
21. Enfin, nous recevrons une notification "Haute disponibilité activée avec succès '. Cliquez sur 'Terminer '.
22. Vérifiez l'actif et nœud de nom de secours en allant dans Cloudera Manager –> HDFS –> Instances .
23. Ici, vous pouvez pipi deux Namenodes , l'un sera dans le champ "Actif ' et un autre sera en 'Veille ’ état.
Conclusion
Dans cet article, nous avons suivi le processus étape par étape pour activer la haute disponibilité de Namenode . Il est fortement recommandé d'avoir Namenode High Availability dans tous les clusters dans un environnement temps réel. Veuillez poster vos doutes si vous rencontrez une erreur lors de ce processus. Nous verrons la haute disponibilité du gestionnaire de ressources dans le prochain article.