La Suite Elastic — connue sous le nom d'ELK (Elasticsearch, Logstash et Kibana) — est une puissante plateforme open source pour l'analyse des données. Il offre un ensemble complet de fonctionnalités pour l'indexation, la recherche, la surveillance et l'analyse des données en temps réel.
La Suite Elastic peut être déployée sur site ou dans le cloud. Il est utilisé par les startups et les grandes entreprises, notamment Netflix, Facebook, Goldman Sachs, The Guardian et Thomson Reuters.
La Suite Elastic est composée de trois composants principaux :
- Elasticsearch :Un moteur de recherche et d'analyse qui indexe rapidement les données et fournit des résultats de recherche rapides.
- Logstash :outil de pipeline de journaux qui collecte, analyse et stocke les journaux provenant de plusieurs sources.
- Kibana :outil de visualisation et d'analyse des données qui vous permet de rechercher, d'afficher, d'analyser et de partager des données.
Chacun de ces composants offre des fonctionnalités et des avantages uniques.
Elasticsearch est un moteur de recherche et d'analyse rapide, évolutif et facile à utiliser qui indexe rapidement les données et fournit des résultats de recherche rapides. Il est parfait pour les applications en temps réel telles que la recherche de sites Web, les catalogues de produits, le support client et l'analyse des événements de sécurité.
Logstash est un outil de pipeline de journaux qui collecte, analyse et stocke les journaux de plusieurs sources. Il vous aide à obtenir vos données là où elles doivent aller, quand elles doivent y aller. Logstash peut également être utilisé pour surveiller votre système en temps quasi réel, afin que vous puissiez identifier et résoudre les problèmes avant qu'ils ne deviennent graves.
Kibana est un outil de visualisation et d'analyse de données qui vous permet de rechercher, afficher, analyser et partager des données. Avec Kibana, vous pouvez rapidement trouver des informations dans vos données et voir les performances de votre entreprise. Kibana facilite la création de tableaux de bord personnalisés, afin que vous puissiez suivre les métriques qui comptent le plus pour vous.
Elastic Stack est l'une des solutions de Big Data les plus populaires, et pour cause. Il est facile à configurer, évolutif et offre une multitude de fonctionnalités pour l'indexation, la recherche, la surveillance et l'analyse des données.
Si vous recherchez une plate-forme open source puissante pour analyser les données, la Suite Elastic vaut la peine d'être envisagée.
ELK Stack est conçu pour permettre aux développeurs d'obtenir rapidement des données dans un état consultable et analysable, sans avoir besoin d'une armée de consultants. Les utilisateurs peuvent prendre des données de n'importe quelle source et utiliser Kibana et/ou Logstash pour visualiser les données dans une série chronologique.
Elasticsearch est un moteur de recherche et d'analyse RESTful distribué qui indexe rapidement les données, fournissant des résultats de recherche rapides. Il est parfait pour les applications en temps réel telles que la recherche de sites Web, les catalogues de produits, le support client et l'analyse des événements de sécurité.
Dans ce didacticiel, nous vous guiderons à travers les étapes d'installation d'Elastic Stack sur le serveur Ubuntu 20.04.
Prérequis
- Installation minimale d'Ubuntu Server 20.04 LTS avec un accès SSH et un utilisateur non root avec des privilèges sudo.
- Minimum de 4 Go de RAM, 2 processeurs et 20 Go d'espace disque disponible.
Mise à jour du système
C'est une bonne pratique de garder vos packages de serveur à jour. Exécutez la commande suivante pour mettre à jour le cache de votre référentiel :
sudo apt update && sudo apt upgrade -y
Une fois la mise à jour terminée, exécutez la commande ci-dessous pour installer les dépendances requises.
sudo apt install wget apt-transport-https curl gnupg2 -y
Installer Java
Elasticsearch nécessite Java pour s'exécuter. Ubuntu 2.04 est livré avec Java 8 et Java 11, mais certains plugins peuvent ne pas être compatibles avec Java 11, nous allons donc installer Java 8.
Exécutez la commande suivante pour installer Java 8 sur votre système.
sudo apt install openjdk-8-jdk -y
Une fois l'installation terminée, vous pouvez vérifier la version de Java installée sur votre système en exécutant la commande suivante.
java -version
La sortie devrait ressembler à ceci.
Installer Elasticsearch
Le référentiel Ubuntu 20.04 par défaut ne contient pas Elasticsearch, mais il peut être facilement installé à l'aide d'APT après avoir ajouté le référentiel Elastic officiel de l'équipe de développeurs Elasticsearch.
Tout d'abord, téléchargez la clé de signature publique (Elasticsearch le fait automatiquement) à l'aide de la commande curl pour valider les packages. Les colis sont signés avec cette clé pour garantir leur authenticité. Nous utiliserons les arguments -fsSL pour indiquer à curl que nous voulons faire taire toute progression et permettre à cURL de faire une demande à l'URL spécifiée.
curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Vous recevrez un message OK si la clé a été ajoutée avec succès.
Ensuite, ajoutez le référentiel Elasticsearch à votre système en exécutant la commande suivante. Nous allons ajouter elastic-7.x.list au répertoire sources.list.d. Le répertoire sources.list.d est un répertoire spécial dans Ubuntu où vous pouvez ajouter des sources supplémentaires pour les logiciels. Le système APT utilise ces fichiers pour trouver les packages disponibles.
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
Ensuite, mettez à jour le cache de votre référentiel pour lire le nouveau référentiel Elasticsearch.
sudo apt update
Vous pouvez maintenant installer Elasticsearch en exécutant la commande suivante.
sudo apt install elasticsearch -y
Une fois l'installation terminée, nous devrons configurer Elasticsearch. Le fichier /etc/elasticsearch/elasticsearch.yml est le fichier de configuration principal pour tous les paramètres Elasticsearch. Par exemple, le paramètre network.host définit sur quelle adresse IP ou nom d'hôte lier le service Elasticsearch.
Ouvrons le fichier à l'aide de l'éditeur de texte nano.
sudo nano /etc/elasticsearch/elasticsearch.yml
La plupart de ces paramètres sont préconfigurés, mais vous pouvez les ajuster en fonction de vos besoins. Dans cet exemple, nous modifions uniquement le paramètre d'hôte réseau. Nous allons décommenter et changer l'hôte :en localhost afin qu'Elasticsearch puisse écouter sur n'importe quelle interface. Si vous souhaitez utiliser une interface spécifique, vous pouvez remplacer localhost par l'adresse IP ou le nom d'hôte spécifique.
Avant :
Après :
Une fois que vous avez terminé les modifications, enregistrez le fichier en appuyant sur CTRL + X, Y et Entrée. Démarrez maintenant Elasticsearch à l'aide de la commande suivante. Le processus de démarrage peut prendre quelques minutes, alors soyez patient.
sudo systemctl start elasticsearch
Pour permettre à Elasticsearch de démarrer automatiquement au démarrage, exécutez les commandes suivantes.
sudo systemctl enable elasticsearch
Vous pouvez maintenant tester l'installation en exécutant la commande suivante.
curl -X GET "localhost:9200"
Vous devriez voir la réponse suivante de votre nœud local.
Installer Kibana
Maintenant que Elasticsearch est opérationnel, nous pouvons installer Kibana. Kibana est une interface visuelle pour Elasticsearch qui nous permet de rechercher et de visualiser nos données.
Vous devez toujours installer le tableau de bord Kibana juste après avoir installé le serveur Elasticsearch. Cela garantira que tous les composants et paramètres de la Suite Elastic sont correctement en place.
Exécutez la commande suivante pour installer Kibana.
sudo apt install kibana -y
Une fois l'installation terminée, nous devrons configurer Kibana. Le fichier /etc/kibana/kibana.yml est le fichier de configuration principal pour tous les paramètres Kibana. Comme le port où lier le service Kibana, le paramètre elasticsearch.url définit sur quelle URL Elasticsearch doit pointer Kibana, et d'autres paramètres de sécurité.
Ouvrons ce fichier à l'aide de l'éditeur de texte nano.
sudo nano /etc/kibana/kibana.yml
Dans cet exemple, nous décommenterons ces lignes :server.port, server.host et elasticsearch.hosts afin que Kibana pointe vers la bonne URL Elasticsearch.
Avant de modifier :
Après modification :
Enregistrez maintenant le fichier en appuyant sur CTRL + X, Y et Entrée. Maintenant, démarrez et activez Kibana à l'aide de la commande suivante.
sudo systemctl start kibana && sudo systemctl enable kibana
Ouvrez maintenant votre navigateur Web préféré et accédez à l'URL suivante.
http://localhost:5601/app/kibana#/home
Vous serez redirigé vers l'écran d'accueil de Kibana. À partir de là, vous pouvez commencer à utiliser Kibana. Si vous obtenez une erreur « Le serveur Kibana n'est pas encore prêt », donnez-lui quelques minutes pour démarrer. Ou assurez-vous qu'Elasticsearch et Kibana sont opérationnels.
Installer Filebeat
Filebeat est un expéditeur de journaux léger qui peut envoyer des données à Elasticsearch. Vous pouvez installer Filebeat à l'aide de la commande suivante.
sudo apt install filebeat -y
Une fois l'installation terminée, vous devrez configurer Filebeat. Le fichier /etc/filebeat/filebeat.yml est le fichier de configuration principal pour tous les paramètres Filebeat.
Ouvrons ce fichier à l'aide de l'éditeur de texte nano.
sudo nano /etc/filebeat/filebeat.yml
Maintenant, décommentez la ligne output.logstash et la ligne host comme indiqué ci-dessous.
Avant de modifier :
Après modification :
Enregistrez maintenant le fichier en appuyant sur CTRL + X, Y et Entrée. Activez maintenant le module système Filebeat, chargez le modèle d'index et connectez Filebeat à Elasticsearch.
sudo filebeat modules enable system && sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
sudo filebeat setup -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601
Exemple de sortie :
Ensuite, exécutez la commande suivante pour démarrer et activer Filebeat.
sudo systemctl start filebeat && sudo systemctl enable filebeat
Enfin, exécutez la commande suivante pour vérifier qu'Elasticsearch reçoit des données de Filebeat,
curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'
Vous devriez voir les mêmes données que ce qui est montré dans l'image ci-dessous. Cette sortie confirme que Filebeat envoie des données à Elasticsearch.
Installer Logstash
Maintenant que vous avez réussi à configurer Elasticsearch et Kibana, la dernière étape consiste à installer Logstash.
Vous pouvez installer Logstash à l'aide de la commande suivante.
sudo apt install logstash -y
Une fois l'installation terminée, vous pouvez démarrer et activer Logstash à l'aide de la commande suivante.
sudo systemctl start logstash && sudo systemctl enable logstash
Pour vérifier si le Logstash est opérationnel, vous pouvez exécuter la commande suivante pour vérifier son état.
sudo systemctl status logstash
Vous obtiendrez la sortie suivante.
Maintenant que Logstash est installé, vous pouvez le configurer selon vos besoins. Vous pouvez vous référer à la documentation Logstash pour plus d'informations.
Une fois que vous avez terminé de configurer Logstash, revenez à l'interface Web Kibana que vous avez ouverte dans votre navigateur Web à l'étape précédente. À partir de là, vous pouvez commencer à gérer et à visualiser vos données. Toutes nos félicitations! Vous avez maintenant installé avec succès la Suite Elastic sur votre serveur Ubuntu 20.04.
Conclusion
Dans ce didacticiel, vous avez appris à installer Elasticsearch, Kibana et Logstash sur un serveur Ubuntu 20.04. Vous avez également appris à configurer les trois composants pour qu'ils communiquent entre eux.
Laissez vos commentaires, suggestions et questions ci-dessous. Si cet article vous a aidé de quelque manière que ce soit, veuillez cliquer sur les boutons de partage en haut de cette page pour les aider.