Dans ce tutoriel, nous allons vous montrer comment installer Apache Kafka sur CentOS 8. Pour ceux d'entre vous qui ne le savaient pas, Apache Kafka est un agent de messagerie distribué conçu pour gérer d'énormes volumes Contrairement aux agents traditionnels comme ActiveMQ et RabbitMQ, Kafka fonctionne comme un ensemble d'un ou plusieurs serveurs, ce qui le rend hautement évolutif et, en raison de sa nature distribuée, il intègre une tolérance aux pannes tout en offrant un débit supérieur à celui de son homologues.
Cet article suppose que vous avez au moins des connaissances de base sur Linux, que vous savez utiliser le shell et, plus important encore, que vous hébergez votre site sur votre propre VPS. L'installation est assez simple et suppose que vous s'exécutent dans le compte root, sinon vous devrez peut-être ajouter 'sudo ‘ aux commandes pour obtenir les privilèges root. Je vais vous montrer l'installation pas à pas d'Apache Kafka sur un serveur CentOS 8.
Prérequis
- Un serveur exécutant l'un des systèmes d'exploitation suivants :CentOS 8.
- Il est recommandé d'utiliser une nouvelle installation du système d'exploitation pour éviter tout problème potentiel.
- Un
non-root sudo userou l'accès à l'root user. Nous vous recommandons d'agir en tant qu'non-root sudo user, cependant, car vous pouvez endommager votre système si vous ne faites pas attention lorsque vous agissez en tant que root.
Installer Apache Kafka sur CentOS 8
Étape 1. Tout d'abord, commençons par nous assurer que votre système est à jour.
sudo dnf update
Étape 2. Installation de Java.
Apache Kafka nécessite l'installation de Java sur votre serveur. Vous pouvez installer OpenJDK sur votre machine en exécutant la commande suivante :
sudo dnf install java-11-openjdk
Vérifiez la version Java en exécutant la commande suivante :
java -version
Étape 3. Installation d'Apache Kafka sur CentOS 8.
Tout d'abord, téléchargez et extrayez Kafka depuis le site Web d'Apache. Vous pouvez utiliser wget pour télécharger Kafka :
wget http://www-us.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz
Puis extrayez le fichier archive :
tar xzf kafka_2.13-2.4.0.tgz mv kafka_2.13-2.4.0 /usr/local/kafka
Étape 4. Configurez les fichiers d'unité Kafka Systemd.
Tout d'abord, créez systemd fichier unit pour Zookeeper avec la commande ci-dessous :
nano /etc/systemd/system/zookeeper.service
Ajouter le contenu ci-dessous :
[Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Ensuite, pour créer un Kafka systemd fichier unité à l'aide de la commande suivante :
nano /etc/systemd/system/kafka.service
Ajoutez le contenu ci-dessous :
[Unit] Description=Apache Kafka Server Documentation=http://kafka.apache.org/documentation.html Requires=zookeeper.service [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk" ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh [Install] WantedBy=multi-user.target
Recharger le systemd démon pour appliquer les modifications :
systemctl daemon-reload
Étape 5. Démarrez le serveur Kafka.
Kafka a requis ZooKeeper donc commencez par démarrer un serveur ZooKeeper sur votre système :
sudo systemctl start zookeeper
Ensuite, démarrez le serveur Kafka et affichez l'état d'exécution :
sudo systemctl start kafka sudo systemctl status kafka
Étape 6. Création de sujets dans Apache Kafka.
Le "producteur" est le processus chargé de mettre les données dans notre Kafka. Le Kafka est livré avec un client en ligne de commande qui prendra l'entrée d'un fichier ou d'un standard saisissez-le et envoyez-le sous forme de messages au cluster Kafka :
cd /usr/local/kafka bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic Created topic NewTopic.
Vous pouvez créer plusieurs sujets en exécutant la même commande que ci-dessus. Après cela, vous pouvez voir les sujets créés sur Kafka en exécutant la commande ci-dessous :
bin/kafka-topics.sh --list --zookeeper localhost:2181 NewTopic KafkaonCentOS8 KafkaonCentOS8
Étape 7. Producteur et consommateur Apache Kafka.
Lançons le producteur, puis tapons quelques messages dans la console à envoyer au serveur :
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic >Welcome to kafka >This is my new topic >
Kafka dispose également d'un consommateur en ligne de commande pour lire les données du cluster Kafka et afficher les messages sur la sortie standard :
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning Welcome to kafka This is my new topic
Félicitations ! Vous avez installé Apache Kafka avec succès. Merci d'avoir utilisé ce didacticiel pour l'installation d'Apache Kafka dans le système CentOS 8. Pour obtenir de l'aide supplémentaire ou des informations utiles, nous vous recommandons de consulter le site Web officiel d'Apache Kafka .