Dans ce didacticiel, nous allons vous montrer comment installer Apache Kafka sur Ubuntu 18.04 LTS. Pour ceux d'entre vous qui ne le savaient pas, Apache Kafka est un agent de messagerie distribué conçu pour gérer d'énormes Contrairement aux agents traditionnels comme ActiveMQ et RabbitMQ, Kafka fonctionne comme un groupe d'un ou plusieurs serveurs qui le rendent hautement évolutif et, en raison de sa nature distribuée, il intègre une tolérance aux pannes tout en offrant un débit supérieur par rapport à ses homologues.
Cet article suppose que vous avez au moins des connaissances de base sur Linux, que vous savez utiliser le shell et, plus important encore, que vous hébergez votre site sur votre propre VPS. L'installation est assez simple et suppose que vous s'exécutent dans le compte root, sinon vous devrez peut-être ajouter 'sudo ‘ aux commandes pour obtenir les privilèges root. Je vais vous montrer l'installation pas à pas d'Apache Kafka sur le serveur Ubuntu 18.04 LTS (Bionic Beaver).
Prérequis
- Un serveur exécutant l'un des systèmes d'exploitation suivants :Ubuntu 18.04 LTS (Bionic Beaver).
- Il est recommandé d'utiliser une nouvelle installation du système d'exploitation pour éviter tout problème potentiel.
- Accès SSH au serveur (ou ouvrez simplement Terminal si vous êtes sur un ordinateur).
- Un
non-root sudo userou l'accès à l'root user. Nous vous recommandons d'agir en tant qu'non-root sudo user, cependant, car vous pouvez endommager votre système si vous ne faites pas attention lorsque vous agissez en tant que root.
Installer Apache Kafka sur Ubuntu 18.04 LTS Bionic Beaver
Étape 1. Tout d'abord, assurez-vous que tous vos packages système sont à jour en exécutant le suivant apt-get commandes dans le terminal.
sudo apt-get update sudo apt-get upgrade
Étape 2. Installation de Java.
Apache Kafka nécessite l'installation de Java sur votre serveur. Par défaut, Java n'est pas disponible dans le référentiel d'Ubuntu. Ajoutez Oracle Java PPA à Apt avec la commande suivante :
add-apt-repository ppa:webupd8team/java apt-get update -y apt-get install oracle-java8-installer
Vérifiez la version Java en exécutant la commande suivante :
java -version
Étape 3. Installation de Zookeeper.
Apache Kafka dépend de Zookeeper pour la gestion des clusters. Par conséquent, avant de démarrer Kafka, Zookeeper doit être démarré :
apt-get install zookeeperd
Une fois l'installation terminée, ZooKeeper démarrera automatiquement en tant que démon. Par défaut, il écoutera sur le port 2181 :
netstat -ant | grep :2181
Vous pouvez exécuter la commande suivante pour vérifier si le gardien du zoo est en cours d'exécution :
systemctl status zookeeper
Étape 4. Téléchargez et installez Apache Kafka sur Ubuntu 18.04 LTS.
Tout d'abord, téléchargez et extrayez Kafka depuis le site Web d'Apache. Vous pouvez utiliser wget pour télécharger Kafka :
wget http://www-us.apache.org/dist/kafka/1.1.0/kafka_2.12-1.1.0.tgz
Puis extrayez le fichier archive :
tar xzf kafka_2.12-1.1.0.tgz mv kafka_2.12-1.1.0 /usr/local/kafka
Démarrez le serveur Kafka :
cd /usr/local/kafka bin/zookeeper-server-start.sh config/zookeeper.properties
Démarrez maintenant le serveur Kafka :
bin/kafka-server-start.sh config/server.properties ... [2018-06-26 10:59:45,989] INFO Kafka version : 1.0.1 (org.apache.kafka.common.utils.AppInfoParser) [2018-06-26 10:59:45,995] INFO Kafka commitId : c0518aa65f25317e (org.apache.kafka.common.utils.AppInfoParser) [2018-06-26 10:59:46,006] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)
Étape 5. Créez un sujet sur Kafka.
Créons un sujet nommé "NewTopic" avec une seule partition et une seule réplique :
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic NewTopic Created topic "NewTopic".
Vous pouvez maintenant voir le sujet créé sur Kafka en exécutant la commande list topic :
bin/kafka-topics.sh --list --zookeeper localhost:2181 NewTopic
Étape 6. Envoyer des messages à Kafka.
Le "producteur" est le processus responsable de l'insertion des données dans notre Kafka. Le Kafka est livré avec un client en ligne de commande qui prendra l'entrée d'un fichier ou d'un standard saisissez-le et envoyez-le sous forme de messages au cluster Kafka :
Lançons le producteur, puis tapons quelques messages dans la console à envoyer au serveur :
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic >Welcome to kafka >This is my new topic >
Étape 7. Utilisation de Kafka Consumer.
Kafka dispose également d'un consommateur en ligne de commande pour lire les données du cluster Kafka et afficher les messages sur la sortie standard :
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning Welcome to kafka This is my new topic
Félicitations ! Vous avez installé Apache Kafka avec succès. Merci d'avoir utilisé ce tutoriel pour installer Apache Kafka sur le système Ubuntu 18.04 LTS (Bionic Beaver). Pour obtenir de l'aide supplémentaire ou des informations utiles, nous vous recommandons de vérifier le site officiel d'Apache Kafka.