Dans un article précédent, nous avons expliqué l'installation de Cloudera Manager, dans cet article, vous apprendrez comment installer et configurer CDH (Hadoop de distribution Cloudera ) dans RHEL/CentOS 7 .
Lors de l'installation du colis CDH, nous devons nous assurer que le Cloudera Manager et CDH compatibilité. La version Cloudera comporte 3 parties -
Par exemple, nous utilisons Cloudera Manager 6.3.1 et CDH 6.3.2 . Ici 6 est majeur et 3 est la version mineure. Majeur et Mineur doivent être identiques pour éviter les problèmes de compatibilité.
Exigences
- Bonnes pratiques pour le déploiement d'un serveur Hadoop sur CentOS/RHEL 7 – Partie 1
- Configuration des prérequis Hadoop et renforcement de la sécurité – Partie 2
- Comment installer et configurer Cloudera Manager sur CentOS/RHEL 7 – Partie 3
Nous prendrons les 2 nœuds ci-dessous pour installer CDH. Nous avons déjà installé Cloudera Manager dans master1 , nous utilisons également master1 en tant que serveur de dépôt.
master1.tecmint.com worker1.tecmint.com
Étape 1 :Téléchargez les colis CDH sur le serveur principal
1. Tout d'abord, connectez-vous à master1 serveur et télécharger CDH Colis fichiers dans /var/www/html/cloudera-repos/cdh répertoire. Nous devons télécharger les 3 fichiers mentionnés ci-dessous qui doivent être compatibles avec RHEL/CentOS 7 .
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Avant de télécharger ces fichiers, assurez-vous de créer un cdh répertoire sous /var/www/html/cloudera-repos/ emplacement.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Ensuite, téléchargez les 3 fichiers mentionnés ci-dessus à l'aide de la commande wget suivante.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Étape 2 :Configurer le référentiel Cloudera Manager sur les clients Worker
4. Maintenant, connectez-vous à worker serveurs et copiez le fichier référentiel (cloudera-manager.repo ) du serveur de dépôt (master1 ) à tous les serveurs de travail restants. Ce fichier référentiel garantit aux serveurs que tous les colis et RPM requis seront téléchargés à partir du serveur référentiel lors de l'installation.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Une fois le référentiel ajouté, répertoriez les référentiels activés pour vous assurer que le cloudera-manager le dépôt est activé.
$ yum repolist
Étape 3 :Installer les démons et l'agent Cloudera Manager sur les serveurs de travail
6. Maintenant, nous devons installer cloudera-manager-daemons et cloudera-manager-agent sur tous les serveurs restants.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Ensuite, vous devez configurer le Cloudera Manager agent pour signaler le Cloudera Manager serveur.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Remplacez le localhost avec Cloudera Manager adresse IP du serveur.
8. Démarrer Cloudera Manager Agent et vérifiez le statut.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Étape 4 :Installer et configurer CDH
Nous avons CDH colis dans master1 – serveur de dépôt. Assurez-vous que tous les serveurs disposent du fichier référentiel Cloudera Manager dans /etc/yum.repos.d/ si vous suivez l'installation automatique à l'aide de Cloudera Manager .
9. Connectez-vous à Cloudera Manager en utilisant l'URL ci-dessous au port 7180 et utilisez le nom d'utilisateur et le mot de passe par défaut de Cloudera Manager .
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Une fois connecté, vous serez accueilli par la page d'accueil. Vous trouverez ici les notes de version, les nouvelles fonctionnalités de Cloudera Manager.
11. Acceptez la licence et continuez.
12. Sélectionnez l'édition. La version d'essai est sélectionnée par défaut, nous pouvons continuer avec cela.
13. Maintenant, suivez les étapes d'installation du cluster. Continuer la page d'accueil.
14. Nommez le cluster et continuez, nous avons nommé "tecmint ”. Il existe 2 types de cluster que vous pouvez définir. Nous procédons avec un cluster régulier.
- Groupe standard :comprendra des nœuds de stockage, des nœuds de calcul et d'autres services nécessaires.
- Cluster de calcul :sera composé uniquement de nœuds de calcul. Le stockage externe peut être utilisé pour stocker des données.
15. Nous avons déjà installé les agents Cloudera Manager dans tous les serveurs. Vous pouvez trouver ces serveurs dans "Hôtes actuellement gérés ”. Pour une installation automatique, vous devez entrer le FQDN ou l'IP des serveurs dans le champ "Nouveaux hôtes ” et recherchez. Cloudera Manager détectera automatiquement les hôtes sur lesquels nous devons installer CDH.
Ici, cliquez sur "Hôtes actuellement gérés », sélectionnez tous les hôtes en sélectionnant « Nom d'hôte ' et continuez.
16. Sélectionnez le référentiel - en utilisant Parcel est la méthode recommandée. Cliquez sur "Plus d'options ' pour configurer le référentiel.
17. Entrez l'URL du référentiel local comme indiqué ci-dessous. Supprimez tous les référentiels publics restants qui pointent vers le Web (Cloudera Repositories ).
C'est le CDH URL du référentiel local que nous avons dans master1 .
http://104.211.95.96/cloudera-repos/cdh/
18. Une fois l'URL du référentiel saisie, cette page n'affichera que les colis disponibles. Continuez cette étape.
19. Maintenant, les colis sont téléchargés, distribués, déballés et activés sur tous les serveurs disponibles.
20. Une fois les Colis CDH sont activés, inspectez le cluster . Cette étape effectuera un bilan de santé du cluster. Ici, nous sautons et continuons.
Étape 5 :Configuration du cluster
21. Ici, nous devons sélectionner les services à installer dans Cluster . Certaines combinaisons emballées seront disponibles par défaut, nous allons avec des services personnalisés .
22. Dans Services personnalisés , nous n'installons que les composants principaux (HDFS et FIL ) à des fins de démonstration.
23. Attribuez les rôles au serveur. Nous pouvons personnaliser selon nos exigences. Trouvez le tableau ci-dessous qui décrit la répartition des rôles recommandée pour un petit cluster de base avec 5 à 20 nœuds avec haute disponibilité.
24. Sélectionnez le type de base de données, le nom d'hôte, le nom de la base de données, le nom d'utilisateur et le mot de passe. Comme nous utilisons Embedded PostgreSQL, il sera sélectionné par défaut. Testez la connexion, elle devrait réussir.
25. Cette page affichera les paramètres de configuration par défaut de HDFS et fil , y compris les répertoires de données. Passez en revue tous les détails de la configuration et vous pourrez apporter des modifications si nécessaire. Ensuite, continuez avec ceci.
26. Cette page affichera les détails de la "première exécution ' commande. Vous pouvez le développer pour voir les détails des commandes en cours d'exécution. S'il existe des problèmes de réseau ou d'autorisation dans le cluster, cette étape échouera. Habituellement, cette étape décide de la bonne installation du Cluster Building.
27. Une fois l'étape ci-dessus terminée, cliquez sur 'Terminer ' pour terminer l'installation. Ceci est le tableau de bord de Cloudera Manager après l'installation de CDH.
http://104.211.95.96:7180/cmf/home
Conclusion
Nous avons terminé le Cloudera Manager et CDH installation réussie. Dans le tableau de bord Cloudera Manager , vous pouvez trouver un ensemble prédéfini de graphiques où vous pouvez surveiller le processeur du cluster, les E/S de disque, etc. Nous pouvons gérer l'ensemble du cluster à l'aide de ce Cloudera Manager . Nous verrons toutes les opérations administratives dans les prochains articles.