Comment installer Apache Kafka sur Ubuntu 20.04 LTS

Dans ce didacticiel, nous allons vous montrer comment installer Apache Kafka sur Ubuntu 20.04 LTS. Pour ceux d'entre vous qui ne le savaient pas, Kafka est le logiciel open source le plus populaire qui fournit un framework pour le stockage, la lecture et l'analyse des données de streaming. Kafka a été développé à l'origine par LinkedIn et sera open-source début 2011 sous Apache Software Foundation.

Cet article suppose que vous avez au moins des connaissances de base sur Linux, que vous savez utiliser le shell et, plus important encore, que vous hébergez votre site sur votre propre VPS. L'installation est assez simple et suppose que vous s'exécutent dans le compte root, sinon vous devrez peut-être ajouter 'sudo ‘ aux commandes pour obtenir les privilèges root. Je vais vous montrer pas à pas l'installation d'Apache Kafka sur Ubuntu 20.04 (Focal Fossa). Vous pouvez suivre les mêmes instructions pour Ubuntu 18.04, 16.04 et toute autre distribution basée sur Debian comme Linux Mint.

Prérequis

• Un serveur exécutant l'un des systèmes d'exploitation suivants :Ubuntu 20.04, 18.04, 16.04 et toute autre distribution basée sur Debian comme Linux Mint.
• Il est recommandé d'utiliser une nouvelle installation du système d'exploitation pour éviter tout problème potentiel.
• Un non-root sudo user ou l'accès à l'root user . Nous vous recommandons d'agir en tant qu'non-root sudo user , cependant, car vous pouvez endommager votre système si vous ne faites pas attention lorsque vous agissez en tant que root.

Installer Apache Kafka sur Ubuntu 20.04 LTS Focal Fossa

Étape 1. Tout d'abord, assurez-vous que tous vos packages système sont à jour en exécutant le apt suivant commandes dans le terminal.

mises à jour de sudo aptmises à jour de sudo apt

Étape 2. Installation de Java.

Apache Kafka nécessite l'installation de Java sur votre serveur. Exécutez la commande suivante pour installer OpenJDK sur le système Ubuntu :

sudo apt install openjdk-11-jdk

Vérifiez la version Java en exécutant la commande suivante :

$ java -versionjava version "1.8.0_251"Java(TM) SE Runtime Environment (build 1.8.0_251-b07)Java HotSpot(TM) 64-Bit Server VM (build 25.251-b07, mixed mode)

Étape 3. Installer Apache Kafka sur Ubuntu 20.04.

Nous téléchargeons maintenant la dernière version de Kafka sur la page Web officielle :

wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz

Ensuite, décompressez le fichier d'archive et déplacez-le vers un autre emplacement :

sudo tar xzf kafka_2.13-2.6.0.tgzsudo mv kafka_2.13-2.6.0 /opt/kafka

Étape 4. Créez les fichiers d'unité Zookeeper et Kafka Systemd.

Créer le systemd fichier d'unité pour le service zookeeper :

sudo nano /etc/systemd/system/zookeeper.service

Ajoutez les lignes suivantes :

[Unit]Description=Apache Zookeeper serviceDocumentation=http://zookeeper.apache.orgRequires=network.target remote-fs.targetAfter=network.target remote-fs.target[Service]Type=simpleExecStart=/opt/kafka /bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.propertiesExecStop=/opt/kafka/bin/zookeeper-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.target 
Ensuite, créez le systemd fichier unité pour le service Kafka :
 
sudo nano /etc/systemd/system/kafka.service
 
Ajoutez les lignes suivantes :
 
[Unit]Description=Apache Kafka ServiceDocumentation=http://kafka.apache.org/documentation.htmlRequires=zookeeper.service[Service]Type=simpleEnvironment="JAVA_HOME=/opt/jdk/jdk1.8.0_251"ExecStart =/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.propertiesExecStop=/opt/kafka/bin/kafka-server-stop.sh[Install]WantedBy=multi-user.target 
 
Rechargez le démon pour prendre effet :
 
sudo systemctl daemon-reloadsudo systemctl enable --now zookeepersudo systemctl enable --now kafka
 

 Étape 5. Créer un sujet dans Kafka.
 
Nous allons maintenant créer un sujet nommé "idroot" avec un seul facteur de réplication et une seule partition :
 
cd /opt/kafkasudo bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-f
 
Pour envoyer des messages pour le sujet créé :
 
sudo bin/kafka-console-producer.sh --broker-list localhost:9092 --topic idoot
 
C'est une invite pour les messages à taper :
 
> Salut> Comment vas-tu ?
 
En utilisant la commande ci-dessous, nous pouvons voir la liste des messages :
 
sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic idroot --from-beginning
 

 Étape 6. Pour connecter Kafka à partir de machines distantes.
 
Pour vous connecter, créer un sujet et envoyer des messages depuis un serveur distant. Veuillez suivre les étapes ci-dessous :
 
cd /opt/kafka/config
 
Recherchez maintenant server.properties et apportez quelques modifications à la configuration :
 
sudo nano serveur.properties
 
listeners=PLAINTEXT://:9092advertised.listeners=PLAINTEXT://:9092
 
Félicitations ! Vous avez installé Apache Kafka avec succès. Merci d'avoir utilisé ce didacticiel pour l'installation d'Apache Kafka sur le système Ubuntu 20.04 LTS Focal Fossa. Pour obtenir de l'aide supplémentaire ou des informations utiles, nous vous recommandons de consulter le Site Web Apache Kafka.