Meilleures pratiques pour déployer le serveur Hadoop sur CentOS/RHEL 7 - Partie 1

Dans cette série d'articles, nous allons couvrir l'ensemble du Cloudera Hadoop Cluster Building construire avec le fournisseur et Industriel bonnes pratiques recommandées.

Partie 1  : Meilleures pratiques pour le déploiement d'un serveur Hadoop sur CentOS/RHEL 7Partie 2  :Configuration des prérequis Hadoop et renforcement de la sécuritéPartie 3 :Comment installer et configurer Cloudera Manager sur CentOS/RHEL 7Partie 4 :Comment installer CDH et configurer les emplacements de service sur CentOS/RHEL 7Partie 5  :Comment configurer la haute disponibilité pour NamenodePartie 6  :Comment configurer la haute disponibilité pour Resource ManagerPartie 7  :Comment installer et configurer Hive avec une haute disponibilitéPartie 8  :Comment installer et configurer Sentry (outil d'autorisation)Partie 9  :Comment installer Kerberos (Kerberiser le cluster) pour l'authentification HadoopPartie 10 :Comment régler le cluster (réglage du fil) sur CentOS/RHEL 7

SE installation et utilisation de OS Les prérequis de niveau sont les premières étapes pour créer un cluster Hadoop . Hadoup peut fonctionner sur les différentes versions de la plate-forme Linux :CentOS , RedHat , Ubuntu , Debian , SUSE etc., En production en temps réel, la plupart des clusters Hadoop sont construits sur RHEL/CentOS , nous utiliserons CentOS 7 pour démonstration dans cette série de didacticiels.

Dans une organisation, l'installation du système d'exploitation peut être effectuée à l'aide de kickstart . S'il s'agit d'un cluster de 3 à 4 nœuds, l'installation manuelle est possible mais si nous construisons un gros cluster avec plus de 10 nœuds, il est fastidieux d'installer les OS un par un. Dans ce scénario, la méthode Kickstart entre en scène, nous pouvons procéder à l'installation de masse à l'aide de kickstart.

Obtenir de bonnes performances à partir d'un environnement Hadoop Cela dépend de l'approvisionnement du bon matériel et logiciel. Donc, construire un cluster Hadoop de production implique beaucoup de considération concernant le matériel et les logiciels.

Dans cet article, nous passerons en revue divers points de repère sur l'installation du système d'exploitation et quelques bonnes pratiques pour déployer Cloudera Hadoop Cluster Server sur CentOS/RHEL 7 .

Considérations importantes et meilleures pratiques pour le déploiement du serveur Hadoop

Voici les meilleures pratiques pour configurer le déploiement de Cloudera Hadoop Cluster Server sur CentOS/RHEL 7 .

• Les serveurs Hadoop n'ont pas besoin de serveurs standard d'entreprise pour créer un cluster, ils nécessitent du matériel de base.
• Dans le cluster de production, il est recommandé d'avoir 8 à 12 disques de données. Selon la nature de la charge de travail, nous devons en décider. Si le cluster est destiné à des applications gourmandes en ressources de calcul, il est recommandé d'avoir 4 à 6 disques pour éviter les problèmes d'E/S.
• Les disques de données doivent être partitionnés individuellement, par exemple, en commençant par /data01 vers /data10 .
• La configuration RAID n'est pas recommandée pour les noeuds worker, car Hadoop fournit lui-même une tolérance aux pannes sur les données en répliquant les blocs en 3 par défaut. Alors JBOD est préférable pour les noeuds worker.
• Pour les serveurs maîtres, RAID 1 est la meilleure pratique.
• Le système de fichiers par défaut sur CentOS/RHEL 7.x est XFS . Hadoop prend en charge XFS, ext3 et ext4. Le système de fichiers recommandé est ext3 car il est testé pour de bonnes performances.
• Tous les serveurs doivent avoir la même version du système d'exploitation, au moins la même version mineure.
• Il est recommandé d'avoir un matériel homogène (tous les nœuds de travail doivent avoir les mêmes caractéristiques matérielles (RAM, espace disque et cœur, etc.).
• En fonction de la charge de travail du cluster (charge de travail équilibrée, calcul intensif, I/O intensif) et de la taille, la planification des ressources (RAM, CPU) par serveur sera différente.

Trouvez l'exemple ci-dessous pour le partitionnement de disque des serveurs de stockage de 24 To.

Installation de CentOS 7 pour le déploiement du serveur Hadoop

Ce que vous devez savoir avant d'installer CentOS 7 serveur pour Hadoop Server .

• Une installation minimale est suffisante pour les serveurs Hadoop (nœuds de travail ), dans certains cas, l'interface graphique peut être installée uniquement pour les serveurs maîtres ou les serveurs de gestion où nous pouvons utiliser des navigateurs pour les interfaces utilisateur Web des outils de gestion.
• La configuration des réseaux, du nom d'hôte et d'autres paramètres liés au système d'exploitation peut être effectuée après l'installation du système d'exploitation.
• En temps réel, les fournisseurs de serveurs disposeront de leur propre console pour interagir et gérer les serveurs. Par exemple, les serveurs Dell disposent d'iDRAC, qui est un périphérique intégré aux serveurs. À l'aide de cette interface iDRAC, nous pouvons installer le système d'exploitation en ayant une image du système d'exploitation dans notre système local.

Dans cet article, nous avons installé le système d'exploitation (CentOS 7 ) dans la machine virtuelle VMware. Ici, nous n'aurons pas plusieurs disques pour effectuer des partitions. CentOS est similaire à RHEL (même fonctionnalité), nous verrons donc les étapes pour installer CentOS .

1. Commencez par télécharger l'image ISO CentOS 7.x dans votre système Windows local et sélectionnez-la lors du démarrage de la machine virtuelle. Sélectionnez 'Installer CentOS 7 ‘ comme indiqué.

2. Sélectionnez la langue , la valeur par défaut sera English, et cliquez sur continuer .

3. Sélection de logiciels – Sélectionnez l'Installation minimale ' et cliquez sur 'Terminé ‘.

4. Définissez le mot de passe racine car il nous demandera de définir.

5. Destination d'installation – C'est l'étape importante pour être prudent. Nous devons sélectionner le disque sur lequel le système d'exploitation doit être installé, le disque dédié doit être sélectionné pour le système d'exploitation. Cliquez sur "Destination d'installation ' et sélectionnez le disque, en temps réel plusieurs disques seront là, nous devons sélectionner, de préférence 'sda ‘.

6. Autres options de stockage - Choisissez la deuxième option (je vais configurer le partitionnement) pour configurer le partitionnement lié au système d'exploitation comme /var , /var/log , /accueil , /tmp , /opt , /échanger .

7. Une fois terminé, lancez l'installation.

8. Une fois l'installation terminée, redémarrez le serveur.

9. Connectez-vous au serveur et définissez le nom d'hôte.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

Résumé

Dans cet article, nous avons parcouru les étapes d'installation du système d'exploitation et les meilleures pratiques pour le partitionnement du système de fichiers. Ce sont toutes des directives générales, selon la nature de la charge de travail, nous devrons peut-être nous concentrer sur plus de nuances pour obtenir les meilleures performances du cluster. La planification de cluster est un art pour Hadoop administrateur. Nous approfondirons les prérequis au niveau du système d'exploitation et le renforcement de la sécurité dans le prochain article.