Dans ce tutoriel, nous allons vous montrer comment installer et configurer Apache Kafka sur un VPS exécutant Ubuntu 18.04.
Kafka ou Apache Kafka est un système de messagerie distribué basé sur le principe du modèle pub-sub (publish-subscribe). Il nous permet de publier et de souscrire à un flux d'enregistrements qui peuvent être catégorisés. C'est un incroyablement rapide , hautement évolutif , tolérant aux pannes système, et il est conçu pour traiter de grandes quantités de données en temps réel . Apache Kafka peut également être utilisé comme alternative à un courtier de messages, ce qui nous permet de traiter/transformer un flux d'enregistrements. Kafka peut être utilisé comme système de messagerie, mais à une échelle assez incomparable. Dans l'ensemble, Apache Kafka est un outil très puissant lorsqu'il est utilisé correctement.
Prérequis
- Un serveur exécutant Ubuntu 18.04 avec au moins 4 Go de mémoire. Pour les besoins de ce didacticiel, nous utiliserons l'un de nos VPS Ubuntu 18.04 gérés.
- Accès SSH avec privilèges root, ou accès à l'utilisateur "root" lui-même
Étape 1 :Connectez-vous via SSH et mettez à jour le système
Connectez-vous à votre VPS Ubuntu 18.04 avec SSH en tant qu'utilisateur root :
ssh root@IP_Address -p Port_number
Remplacez "root" par un utilisateur disposant des privilèges sudo si nécessaire. De plus, remplacez "IP_Address" et "Port_Number" par l'adresse IP et le port SSH respectifs de votre serveur.
Une fois cela fait, vous pouvez vérifier si vous avez la bonne version d'Ubuntu installée sur votre serveur avec la commande suivante :
# lsb_release -a
Vous devriez obtenir ce résultat :
ID distributeur :UbuntuDescription :Ubuntu 18.04.2 LTSRelease :18.04Codename :bionic
Ensuite, exécutez la commande suivante pour vous assurer que tous les packages installés sur le serveur sont mis à jour vers leurs dernières versions disponibles :
# apt update &&apt upgrade
Étape 2 :Ajouter un utilisateur système
Créons un nouvel utilisateur appelé "kafka", après quoi nous ajouterons ce nouvel utilisateur en tant que sudoer.
# adduser kafka# usermod -aG sudo kafka
Étape 3 :Installer Java
Kafka est écrit en Java, donc une JVM est nécessaire pour le faire fonctionner. Dans ce tutoriel, nous utiliserons OpenJDK 11, car il s'agit de la version standard de Java fournie avec Ubuntu depuis septembre 2018.
# apt install default-jre
Étape 4 :Téléchargez Apache Kafka
Maintenant, téléchargeons Kafka, vous pouvez aller ici et télécharger la dernière version si nécessaire. Le dernier lien de téléchargement au moment de la rédaction a déjà été saisi dans l'exemple pour vous.
# su - kafka
wget https://www-us.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz -O kafka.tgz
Maintenant que le binaire Apache Kafka a été téléchargé, nous devons maintenant l'extraire dans notre répertoire utilisateur Kafka
$ tar -xzvf kafka.tgz --stripe 1
Étape 5 :Configurer Apache Kafka
Il est temps de configurer Apache Kafka. Par défaut, nous ne sommes pas autorisés à supprimer des sujets, des catégories ou des groupes dans lesquels des messages peuvent être publiés. Pour changer ce comportement, nous devons modifier la configuration par défaut.
$ nano ~/config/server.properties
Ajoutez la ligne suivante à la dernière ligne du fichier de configuration.
delete.topic.enable =vrai
Étape 6 :Créer un fichier d'unité système pour Apache Kafka
Zookeeper est requis pour exécuter Kafka. Kafka utilise zookeeper, nous devrons donc d'abord démarrer une instance du serveur Zookeeper avant de démarrer le service Apache Kafka. Dans ce didacticiel, nous utiliserons le script de commodité fourni avec Kafka pour obtenir une instance Zookeeper à nœud unique rapide et sale.
Ouvrez un nouveau fichier au chemin du fichier /etc/systemd/system/zookeeper.service , et ouvrez-le dans votre éditeur de texte préféré. Nous utiliserons nano pour ce tutoriel.
$ sudo nano /etc/systemd/system/zookeeper.service
Collez-y les lignes suivantes :
[Unit]Requires=network.target remote-fs.targetAfter=network.target remote-fs.target[Service]Type=simpleUser=kafkaExecStart=/home/kafka/bin/zookeeper-server-start.sh /home /kafka/config/zookeeper.propertiesExecStop=/home/kafka/bin/zookeeper-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.target
Maintenant, créons un fichier d'unité système pour kafka au chemin de fichier /etc/systemd/system/kafka.service :
$ sudo nano /etc/systemd/system/kafka.service
Collez les lignes suivantes dans le fichier :
[Unit]Requires=zookeeper.serviceAfter=zookeeper.service[Service]Type=simpleUser=kafkaExecStart=/bin/sh -c '/home/kafka/bin/kafka-server-start.sh /home/kafka/ config/server.properties> /home/kafka/kafka.log 2>&1'ExecStop=/home/kafka/bin/kafka-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.targetLes nouvelles unités système ont été ajoutées, laissons donc Apache Kafka s'exécuter automatiquement au démarrage, puis exécutons le service.
$ sudo systemctl enable kafka$ sudo systemctl start kafkaÉtape 7 :Créer un sujet
Dans cette étape, nous allons créer un sujet nommé "FirstTopic", avec une seule partition et un seul réplica :
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic FirstTopicCréation du sujet "FirstTopic".La valeur du facteur de réplication décrit le nombre de copies de données qui seront créées. Nous utilisons une seule instance, donc la valeur serait 1.
La valeur des partitions décrit le nombre de courtiers entre lesquels vous souhaitez partager vos données. Nous fonctionnons avec un seul courtier, donc la valeur serait 1.
Vous pouvez maintenant voir le sujet créé sur Kafka en exécutant la commande list topic :
$ bin/kafka-topics.sh --list --zookeeper localhost:2181FirstTopicÉtape 8 :Envoyer des messages à l'aide d'Apache Kafka
Apache Kafka est livré avec un client de ligne de commande qui prendra l'entrée d'un fichier ou d'une entrée standard et l'enverra sous forme de messages au cluster Kafka. Le « producteur » est le processus qui a la responsabilité de mettre des données dans notre service Kafka. Par défaut, Kafka envoie chaque ligne dans un message séparé.
Lançons le producteur, puis tapons quelques messages dans la console à envoyer au serveur.
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic FirstTopic>Bienvenue sur kafka>Voici le contenu de notre premier sujet>Gardez le terminal ouvert et passons à l'étape suivante.
Étape 9 :Utiliser Apache Kafka en tant que consommateur
Apache Kafka dispose également d'une ligne de commande permettant au consommateur de lire les données de Kafka, afin que le consommateur puisse utiliser Kafka pour afficher des messages dans une sortie standard.
Exécutez la commande suivante dans une nouvelle session SSH.
$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic --from-beginningBienvenue sur kafkaVoici le contenu de notre premier sujetC'est ça! Apache Kafka a été installé et configuré avec succès. Nous pouvons maintenant taper des messages sur le terminal producteur comme indiqué à l'étape précédente. Les messages seront immédiatement visibles sur notre terminal consommateur.
Bien sûr, vous n'avez pas besoin de savoir comment installer Apache Kafka sur Ubuntu 18.04 si vous avez un VPS Ubuntu 18.04 hébergé chez nous. Si vous le faites, vous pouvez simplement demander à notre équipe d'assistance d'installer Apache Kafka sur Ubuntu 18.04 pour vous. Ils sont disponibles 24h/24 et 7j/7 et pourront vous aider pour l'installation d'Apache Kafka, ainsi que pour toute exigence supplémentaire que vous pourriez avoir.
PS. Si vous aimez lire cet article de blog sur l'installation d'Apache Kafka sur Ubuntu 18.04, n'hésitez pas à le partager sur les réseaux sociaux en utilisant les raccourcis ci-dessous, ou laissez simplement un commentaire dans la section des commentaires. Merci.