Dans ce didacticiel, nous allons vous montrer comment installer Apache Kafka sur Ubuntu 16.04 LTS. Pour ceux d'entre vous qui ne le savaient pas, Apache Kafka est un agent de messagerie distribué conçu pour gérer d'énormes Contrairement aux agents traditionnels comme ActiveMQ et RabbitMQ, Kafka fonctionne comme un groupe d'un ou plusieurs serveurs, ce qui le rend hautement évolutif et, en raison de sa nature distribuée, il intègre une tolérance aux pannes tout en offrant un débit supérieur à celui de ses homologues.
Cet article suppose que vous avez au moins des connaissances de base sur Linux, que vous savez utiliser le shell et, plus important encore, que vous hébergez votre site sur votre propre VPS. L'installation est assez simple et suppose que vous s'exécutent dans le compte root, sinon vous devrez peut-être ajouter 'sudo ‘ aux commandes pour obtenir les privilèges root. Je vais vous montrer étape par étape l'installation d'Apache Kafka sur un serveur Ubuntu 16.04 Xenial Xerus.
Installer Apache Kafka sur Ubuntu 16.04 LTS
Étape 1. Tout d'abord, assurez-vous que tous vos packages système sont à jour en exécutant le suivant apt-get commandes dans le terminal.
sudo apt-get update sudo apt-get upgrade
Étape 2. Installation de Java.
Kafka est écrit en Java, vous devrez installer Java sur votre système :
add-apt-repository -y ppa:webupd8team/java
Une fois que vous avez terminé, exécutez la commande suivante pour installer Java :
apt-get update apt-get install oracle-java8-installer
Étape 3. Installation de Zookeeper.
Apache Kafka dépend de Zookeeper pour la gestion des clusters. Par conséquent, avant de démarrer Kafka, Zookeeper doit être démarré :
apt-get install zookeeperd
Une fois l'installation terminée, ZooKeeper sera automatiquement démarré en tant que démon. Par défaut, il écoutera sur le port 2181 :
netstat -ant | grep :2181
Étape 4. Installation du serveur Kafka.
Tout d'abord, téléchargez et extrayez Kafka depuis le site Web d'Apache. Vous pouvez utiliser wget pour télécharger Kafka :
mkdir /opt/Kafka cd /opt/Kafka wget http://ftp.jaist.ac.jp/pub/apache/kafka/0.10.0.0/kafka_2.11-0.10.0.0.tgz
Extraire l'archive téléchargée à l'aide de la commande tar dans /opt/Kafka :
tar -xvf kafka_2.11-0.10.0.0.tgz -C /opt/Kafka/
Configurer le serveur Kafka :
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-server-start.sh /opt/Kafka/kafka_2.11-0.10.0.0/config/server.properties
Vous pouvez utiliser nohup avec un script pour démarrer le serveur Kafka en arrière-plan :
sudo nohup /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-server-start.sh /opt/Kafka/kafka_2.11-0.10.0.0/config/server.properties /tmp/kafka.log 2>&1 &
Maintenant, il est temps de vérifier que le serveur Kafka fonctionne correctement :
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testing
Vous devriez voir le résultat suivant :
Created topic "testing".
Maintenant, demandez à Zookeeper de lister les sujets disponibles sur Apache Kafka :
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-topics.sh --list --zookeeper localhost:2181
Vous devriez voir le résultat suivant :
testing
Ensuite, publiez des exemples de messages dans le sujet Apache Kafka appelé testing en utilisant la commande de producteur suivante :
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testing
Enfin, utilisez la commande consommateur pour vérifier les messages sur Apache Kafka Topic appelé testing en exécutant la commande suivante :
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic testing --from-beginning
Vous devriez voir le résultat suivant :
Hi how are you? Where are you?
Eh bien, vous avez vérifié avec succès que vous disposez d'une configuration Apache Kafka valide avec Apache Zookeeper.
Félicitations ! Vous avez installé Apache Kafka avec succès. Merci d'avoir utilisé ce didacticiel pour installer Apache Kafka sur votre système Ubuntu 16.04. Pour obtenir de l'aide supplémentaire ou des informations utiles, nous vous recommandons de consulter la version officielle d'Apache Kafka site Web.