Comment expédier vos journaux sur le serveur Bitnami ELK d'E2E via l'agent Filebeat

Introduction

Qu'est-ce que la pile ELK ?

« ELK » est l'acronyme de trois projets open source :Elasticsearch, Logstash et Kibana. Elasticsearch est un moteur de recherche et d'analyse. Logstash est un pipeline de traitement de données côté serveur qui ingère simultanément des données provenant de plusieurs sources, les transforme, puis les envoie à une « réserve » comme Elasticsearch. Kibana permet aux utilisateurs de visualiser les données avec des tableaux et des graphiques dans Elasticsearch.

Pourquoi utiliser la pile Bitnami ELK ?

La pile Bitnami ELK est toujours à jour et sécurisée. L'installation et la configuration de la pile sont entièrement automatisées, ce qui permet à tout le monde, y compris ceux qui ne sont pas très techniques, de les mettre en place et de les faire fonctionner.

Qu'est-ce que Filebeat ?

Filebeat est un expéditeur léger pour la transmission et la centralisation des données de journal. Installé en tant qu'agent sur vos serveurs, Filebeat surveille les fichiers journaux ou les emplacements que vous spécifiez, collecte les événements de journal et les transmet à Elasticsearch ou Logstash pour indexation.

Vous trouverez ci-dessous les étapes pour lancer un serveur Bitnami ELK à partir du portail E2E Myaccount et pour configurer l'agent filebeat sur votre serveur pour récupérer les journaux.

Prérequis

• Accès de connexion au portail E2E Myaccount. Si vous n'êtes pas encore inscrit à Myaccount, veuillez vous référer à cet article pour vous inscrire
• Accès Sudo à votre serveur d'agent pour configurer l'agent filebeat

Étapes pour créer un serveur Bitnami ELK à partir du portail E2E Myaccount

Étape 1 :Connectez-vous à votre portail E2E Myaccount avec l'e-mail et le mot de passe requis

Étape 2 :Sélectionnez les nœuds dans le panneau et procédez à la création de nœuds

Étape 3 :Dans la section Créer un nœud de calcul, cliquez sur la section "Déploiement en 1 clic" et sélectionnez la version ELK requise, les plans appropriés et cliquez sur Créer une machine virtuelle

Étape 4 :Entrez les détails du nœud, sélectionnez les options d'authentification et de sauvegarde et cliquez sur Créer mon nœud pour lancer un serveur Bitnami ELK d'E2E

Voilà, vous avez maintenant lancé le serveur Bitnami ELK, voici les étapes pour vous connecter à votre portail Kibana

Étapes pour se connecter au portail ELK Bitnami Kibana

Étape 5 :Nous avons d'abord besoin du nom d'utilisateur et du mot de passe pour le portail Kibana. Les informations d'identification racine de l'instance ELK seront envoyées à votre adresse e-mail enregistrée dès le lancement de l'instance ELK.

Les informations d'identification ELK sont stockées dans un fichier autonome. Pour obtenir les informations d'identification à tout moment, connectez-vous au nœud via SSH à l'aide des informations d'identification de l'utilisateur racine. Exécutez la commande suivante pour obtenir les informations d'identification de votre application

cat /home/bitnami/bitnami_credentials

vous obtiendrez une sortie comme ci-dessous

root@e2e-62-70:~# cat /home/bitnami/bitnami_credentialsBienvenue dans la pile Bitnami ELK Le nom d'utilisateur et le mot de passe par défaut sont 'user' et 'D2mYMa3Z9gMY'. Vous pouvez également utiliser ce mot de passe pour accéder aux bases de données et à tout autre composant inclus dans la pile. Veuillez vous référer à https://docs.bitnami.com/ pour plus de détails.

Étape 6 :Pour vous connecter à votre portail Kibana, utilisez l'URL http://your_server_IP et cliquez sur Connexion à la console d'administration. Entrez le nom d'utilisateur et le mot de passe lorsque vous y êtes invité.

Étapes pour configurer l'agent Filebeat

Étape 7 :Une fois que vous avez lancé le serveur et accédé au portail Kibana, il est maintenant temps de récupérer les journaux du serveur de l'agent via filebeat

Veuillez vous connecter à votre serveur d'agent à partir duquel vous devez récupérer les journaux, assurez-vous d'avoir un accès sudo au serveur

Étape 8 :Pour télécharger et installer Filebeat sur le serveur Linux, utilisez la commande ci-dessous selon vos distributions, puisque nous utilisons bitnami ELK, nous utiliserons la version oss filebeat

deb :

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.4.1-amd64.deb 
 sudo dpkg -i filebeat-oss-7.4.1-amd64.deb

tr/min :

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.4.1-x86_64.rpmsudo rpm -vi filebeat-oss-7.4.1-x86_64.rpm 

 Remarque :lors de la rédaction de cet article, filebeat-7.4.1 était la dernière version, vous pouvez obtenir la dernière version actuelle sur son site officiel
 

 Étape 9 :Une fois que vous avez installé Filebeat avec la commande mentionnée ci-dessus, vous devez modifier la configuration sur Filebeat.yml fichier pour récupérer les journaux sur votre serveur ELK, utilisez la commande ci-dessous pour modifier la configuration Filebeat.yml
 
vim /etc/filebeat/filebeat.yml
 

 Pour entrer en mode insertion, appuyez sur i et les modifications suivantes doivent être apportées à ce fichier
 

 1) Changez la configuration d'entrée filebeat en true comme "enabled:true" comme indiqué ci-dessous
 

 2) Modifiez le chemin des fichiers journaux qui doivent être récupérés. Actuellement, nous avons configuré pour récupérer /var/log/messages. Vous pouvez configurer le chemin du journal selon vos besoins.
  

 3) Modifiez la configuration des hôtes output.elasticsearch avec l'adresse IP de votre serveur ELK.
  

 Enregistrez le fichier en appuyant sur "ESC" et tapez :wq ! pour enregistrer et quitter
 

 Étape 10 :Vous devrez également vous assurer que votre serveur d'agent est capable de se connecter au serveur ELK pour le port Elasticsearch 9200
 

 Veuillez vous connecter à votre serveur ELK et utiliser la commande ci-dessous pour ouvrir le port 9200 pour votre serveur d'agent, veuillez vous assurer de changer l'adresse IP de votre serveur d'agent
 
sudo ufw allow from agent_server_ip  vers n'importe quel port 9200
 

 Puisque nous utilisons Debian 9 avec un pare-feu ufw, nous utilisons la commande ci-dessus. Si vous utilisez Iptable, veuillez consulter cet article pour ouvrir le port.
 

 Vérifiez, si vous pouvez vous connecter par telnet de votre serveur d'agent au serveur ELK en vous connectant à votre serveur d'agent et telnet avec la commande ci-dessous, vous obtiendrez la sortie comme ci-dessous
 
# telnet elk_sever_ip 9200Trying xx.xx.xx.xx…Connecté à xx.xx.xx.xxLe caractère d'échappement est '^]'.
 

 Étape 11 :Une fois la configuration ci-dessus et la vérification Telnet terminées, redémarrez le service Filebeat une fois avec la commande ci-dessous
 
redémarrage du service filebeat
 
Création d'un modèle d'index Kibana sur le portail Kibana pour afficher les données 
 

 Étape 12 :Pour récupérer des données à partir des index Elasticsearch pour des éléments tels que les visualisations dans le portail Kibana, nous devons créer un modèle d'index Kibana.
 

 Connectez-vous à votre portail Kibana -> allez dans le panneau de gestion -> et sélectionnez le modèle d'index
  

 Si votre configuration et la connectivité de l'agent filebeat et du serveur ELK fonctionnent correctement, vous verrez alors un modèle filebeat que nous venons de configurer comme indiqué ci-dessous.
 

 Entrez le nom du modèle d'index sous la forme filebeat-* et cliquez sur Étape suivante
  

 Sélectionnez @horodatage dans le nom du champ Filtre horaire et cliquez sur Créer un modèle d'index. Vous avez maintenant créé le modèle d'index avec succès et pouvez afficher les données sur le portail
  

 Étape 13 :Afficher les données sur le panneau Discover du portail Kibana
 

 Pour afficher les journaux expédiés depuis votre serveur d'agent, sélectionnez Découvrir dans le panneau de gauche du portail Kibana, où vous pouvez afficher les données Elasticsearch récupérées sur le portail Kibana. Une fois vos journaux récupérés avec succès, vous pouvez rechercher et parcourir vos journaux. Vous pouvez également personnaliser votre tableau de bord.
  
Conclusion
 

 Vous pouvez désormais récupérer vos journaux sur le serveur ELK à tout moment et les visualiser avec Kibana. Vous pouvez envoyer autant de journaux à récupérer sur ELK et filtrer davantage vos journaux sur le tableau de bord Kibana et avoir des visualisations structurées.
 

 Pour la FAQ sur le déploiement ELK, veuillez consulter cet article