Ubuntu 20.04 est un système d'exploitation robuste qui sert de base au déploiement de nombreuses infrastructures complexes telles qu'une transmission fluide et un traitement rapide et efficace des flux de données. Aujourd'hui, vous apprendrez à en déployer un car dans cet article, vous apprendrez à installer Apache Kafka sur Ubuntu 20.04.
Le logiciel Apache Kafka est une application multiplateforme open source développée par Apache Software Foundation et spécialisée dans le traitement de flux. Il vous permet de publier, de stocker, de traiter et de vous abonner à des flux de journaux en temps réel. Il est conçu pour gérer des flux de données provenant de diverses sources et les distribuer à divers utilisateurs.
Apache Kafka est l'alternative à un système de messagerie d'entreprise traditionnel. Tout a commencé comme un système interne développé par LinkedIn pour gérer 1,4 milliard de messages par jour.
Cette plate-forme a commencé à gagner en popularité grâce à de grandes entreprises telles que Netflix et Microsoft qui l'utilisent dans leurs architectures. Kafka est écrit en Java et Scala, il doit donc être présent dans le système pour s'exécuter.
Installer Apache Kafka sur Ubuntu 20.04
Apache Kafka est construit avec Java, nous devons donc l'installer avant de procéder à toute étape.
Alors, ouvrez un terminal ou connectez-vous à votre serveur via SSH et mettez à jour Ubuntu
sudo apt update sudo apt upgrade
Installez maintenant Java sur Ubuntu.
sudo apt install default-jdk default-jre
L'étape suivante consiste à ajouter un nouvel utilisateur au système afin que Kafka puisse être géré par lui.
sudo adduser kafka
L'utilisateur que vous avez créé doit être ajouté au sudo groupe afin que vous disposiez des autorisations suffisantes pour exécuter le programme.
sudo adduser kafka sudo
Maintenant que le kafka l'utilisateur est créé et prêt, vous pouvez vous connecter en utilisant le su commande
su -l kafka
Télécharger et installer Apache Kafka
Créez un nouveau dossier pour télécharger le programme. Je l'appellerai kafka mais vous pouvez choisir un autre nom.
mkdir kafka
Maintenant, accédez-y et à partir de là avec l'aide du wget commande, vous pouvez télécharger la dernière version stable du programme.
cd kafka wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz
Exemple de sortie :
--2021-04-15 23:13:07-- https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz Resolving downloads.apache.org (downloads.apache.org)... 2a01:4f8:10a:201a::2, 88.99.95.219 Connecting to downloads.apache.org (downloads.apache.org)|2a01:4f8:10a:201a::2|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 68583422 (65M) [application/x-gzip] Saving to: ‘kafka_2.13-2.7.0.tgz’ kafka_2.13-2.7.0.tgz 100%[=====================================================================================>] 65.41M 3.08MB/s in 20s 2021-04-15 23:13:27 (3.21 MB/s) - ‘kafka_2.13-2.7.0.tgz’ saved [68583422/68583422]
Après cela, décompressez-le en utilisant la commande tar .
tar -xvzf kafka_2.13-2.7.0.tgz --strip 1
Nous avons maintenant le binaire correctement sur le système. Nous devrons donc faire une configuration avant de pouvoir l'utiliser.
Configurer Apache Kafka avant de l'utiliser
Par défaut, Apache Kafka ne vous permettra pas de supprimer un sujet. Dans ce chaos, un sujet peut être une catégorie, un groupe ou un nom de flux pouvant être publié dans un message. C'est donc une bonne idée de changer cela.
Pour cela, ouvrez le server.properties fichier dans le config dossier
nano config/server.properties
Et localisez le delete.topic.enable directive et définissez-la sur true .
delete.topic.enable = true
Dans ce même fichier, vous pouvez modifier le dossier dans lequel Apache Kafka enregistre les journaux générés.
log.dirs=/home/kafka/logs
Dans ce cas, le dossier des journaux doit se trouver dans le même répertoire que le répertoire de base.
Une autre configuration que nous devons faire est de créer un service pour gérer Kafka comme s'il s'agissait d'un service système. Cela facilitera son démarrage, son arrêt et la vérification de son état.
Cependant, nous devons commencer par Zookeeper qui est un service avec lequel Kafka gère les configurations et l'état du cluster.
Pour ce faire, créez un nouveau fichier pour Zookeeper dans le répertoire où sont hébergés les services.
sudo nano /etc/systemd/system/zookeeper.service
Et ajoutez ce qui suit
[Unit] Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Enregistrez les modifications et fermez l'éditeur.
Faites maintenant la même chose pour kafka.
sudo nano /etc/systemd/system/kafka.service
Et ajoutez ce qui suit :
[Unit] Requires=zookeeper.service After=zookeeper.service [Service] Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Encore une fois, enregistrez les modifications et fermez l'éditeur.
Pour appliquer les modifications, il suffit d'actualiser la liste des démons système.
sudo systemctl daemon-reload
Et démarrez les services Kafka et Zookeeper.
sudo systemctl start kafka sudo systemctl enable kafka sudo systemctl enable zookeeper sudo systemctl start zookeeper
Cela terminera l'installation.
Conclusion
Apache Kafka est une solution open source professionnelle pour les grandes entreprises qui ont besoin d'une transmission de données efficace. Être open-source nous donne une référence sur sa puissance et sa facilité de gestion.
Alors, partagez cette publication et laissez-nous un commentaire.
Site Web de Kafka