Comment installer Apache Kafka dans CentOS/RHEL 7

Apache Kafka est un moteur de messagerie puissant, largement utilisé dans le BigData projets et les analyses de données cycle de vie. Il s'agit d'une plate-forme open source pour créer des pipelines de streaming de données en temps réel. Il s'agit d'une plate-forme distribuée de publication-abonnement offrant fiabilité, évolutivité et durabilité.

Nous pouvons avoir Kafka en mode autonome ou en cluster. Kafka stocke les données de diffusion, et elles peuvent être classées en tant que Sujets . Le sujet aura un certain nombre de partitions afin qu'il puisse gérer une quantité arbitraire de données. De plus, nous pouvons avoir plusieurs répliques pour la tolérance aux pannes comme nous l'avons dans HDFS . Dans un cluster Kafka, le courtier est un composant qui stocke les données publiées.

Zookeeper est un service obligatoire pour gérer un Kafka cluster, car il est utilisé pour gérer la coordination des courtiers Kafka. Zookeeper joue un rôle clé entre le producteur et le consommateur où il est responsable du maintien de l'état de tous les courtiers.

Dans cet article, nous allons vous expliquer comment installer Apache Kafka dans un seul nœud CentOS 7 ou RHEL 7 .

Installer Apache Kafka dans CentOS 7

1. Tout d'abord, vous devez installer Java sur votre système pour exécuter Apache Kafka sans aucune erreur. Alors, installez la version disponible par défaut de Java en utilisant la commande yum suivante et vérifiez le Java version comme indiqué.

# yum -y install java-1.8.0-openjdk# java -version

2. Ensuite, téléchargez la version stable la plus récente d'Apache Kafka depuis le site officiel ou utilisez la commande wget suivante pour le télécharger directement et l'extraire.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz # tar -xzf kafka_2.13-2.7.0.tgz 

3. Créer un lien symbolique pour kafka package, puis ajoutez le chemin de l'environnement Kafka à .bash_profile fichier, puis initialisez-le comme indiqué.

# ln -s kafka_2.13-2.7.0 kafka# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin">> ~/.bash_profile# source ~/.bash_profile 

 4. Ensuite, démarrez le Zookeeper , qui est intégré à Kafka emballer. Puisqu'il s'agit d'un cluster à nœud unique, vous pouvez démarrer le zookeeper avec les propriétés par défaut.
 
# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties
 

 5. Validez si le soigneur est accessible ou non par simple telnet au gardien du zoo port 2181 .
 
# telnet localhost 9092
  

 6. Ensuite, créez un exemple de sujet.
 
# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint
  

 7. Listez le sujet créé.
 
# kafka-topics.sh --zookeeper localhost:2181 --list
  
Conclusion
 

 Dans cet article, nous avons vu comment installer un cluster Kafka à nœud unique dans CentOS 7 . Nous verrons comment installer un cluster Kafka multinode dans le prochain article.