Dans ce didacticiel, nous allons vous montrer comment installer Apache Kafka sur Debian 10. Pour ceux d'entre vous qui ne le savaient pas, Apache Kafka est une plateforme de diffusion d'événements open source utilisée par des milliers d'entreprises pour les pipelines de données hautes performances, l'analyse de flux, l'intégration de données et les applications stratégiques.
Cet article suppose que vous avez au moins des connaissances de base sur Linux, que vous savez utiliser le shell et, plus important encore, que vous hébergez votre site sur votre propre VPS. L'installation est assez simple et suppose que vous s'exécutent dans le compte root, sinon vous devrez peut-être ajouter 'sudo ‘ aux commandes pour obtenir les privilèges root. Je vais vous montrer étape par étape l'installation d'Apache Kafka sur une Debian 10 (Buster).
Prérequis
- Un serveur exécutant l'un des systèmes d'exploitation suivants :Debian 10 (Buster).
- Il est recommandé d'utiliser une nouvelle installation du système d'exploitation pour éviter tout problème potentiel.
- Un
non-root sudo userou l'accès à l'root user. Nous vous recommandons d'agir en tant qu'non-root sudo user, cependant, car vous pouvez endommager votre système si vous ne faites pas attention lorsque vous agissez en tant que root.
Installer Apache Kafka sur Debian 10 Buster
Étape 1. Avant d'exécuter le didacticiel ci-dessous, il est important de vous assurer que votre système est à jour en exécutant le suivant apt commandes dans le terminal :
sudo apt update
Étape 2. Installation de Java.
Installez maintenant Java en utilisant la commande ci-dessous :
sudo apt install default-jdk
Vérifiez la version Java en exécutant la commande suivante :
java -version
Étape 3. Installer Apache Kafka sur Debian 10.
Nous exécutons maintenant la commande suivante pour télécharger les packages Apache Kafka depuis le site officiel :
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz
Ensuite, extrayez le fichier d'archive téléchargé :
tar xzf kafka_2.12-2.8.0.tgz mv kafka_2.12-2.8.0 /usr/local/kafka
Étape 4. Créer des fichiers d'unité Systemd.
Nous créons maintenant systemd fichiers d'unité pour le service Zookeeper et Kafka. Cela aidera à gérer les services Kafka pour démarrer ou arrêter d'utiliser le systemctl commande :
nano /etc/systemd/system/zookeeper.service
Ajoutez le fichier suivant :
[Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Ensuite, pour créer un Kafka systemd fichier unité à l'aide de la commande suivante :
nano /etc/systemd/system/kafka.service
Ajoutez le contenu ci-dessous :
[Unit] Description=Apache Kafka Server Documentation=http://kafka.apache.org/documentation.html Requires=zookeeper.service [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64" ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh [Install] WantedBy=multi-user.target
Enregistrez les fichiers et rechargez le systemd démon pour appliquer les nouvelles modifications :
sudo systemctl daemon-reload sudo systemctl start zookeeper sudo systemctl start kafka
Étape 5. Créez un sujet dans Kafka.
Tout d'abord, créez un sujet nommé "MakeTopic" avec une seule partition avec une seule réplique :
cd /usr/local/kafka bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic
Après cela, vous pouvez voir les sujets créés sur Kafka en exécutant la commande ci-dessous :
$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181 MakeTopic
Étape 6. Envoyer des messages à Kafka.
Maintenant, nous lançons le producteur, puis tapons quelques messages dans la console à envoyer au serveur :
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic >Welcome to kafka >This is my first topic >
Étape 7. Utilisation de Kafka Consumer.
Apache Kafka dispose également d'un consommateur de ligne de commande pour lire les données du cluster Kafka et afficher les messages sur la sortie standard.
$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning Welcome to kafka This is my first topic
Félicitations ! Vous avez installé Apache Kafka avec succès. Merci d'avoir utilisé ce didacticiel pour installer la dernière version d'Apache Kafka sur le système Debian. Pour obtenir de l'aide supplémentaire ou des informations utiles, nous vous recommandons de consulter le site officiel d'Apache Kafka.