La pile ELK est l'acronyme de trois projets open source populaires :Elasticsearch, Logstash et Kibana. Il s'agit d'une plate-forme de gestion de journaux open source et l'une des plus populaires qui collecte, traite et visualise des données provenant de plusieurs sources de données. Il est principalement utilisé pour l'analyse des journaux dans les environnements informatiques. Il est très utile pour un administrateur système de rechercher et d'analyser un grand volume de données pour prendre des décisions en temps réel, tout le temps.
Elasticsearch :C'est un moteur de recherche utilisé pour stocker toutes les données collectées.
Kibana :Il fournit une interface Web utilisée pour rechercher et visualiser vos données.
Logstash :C'est une interface de traitement de données utilisée pour collecter des données provenant de plusieurs sources simultanément, puis envoie les données vers la réserve souhaitée.
Dans ce tutoriel, nous expliquerons comment installer et configurer la pile ELK sur le serveur Ubuntu 20.04.
Prérequis
- Un VPS Ubuntu 20.04 (nous utiliserons notre plan d'hébergement VPS NVMe 8)
- Accès au compte utilisateur root (ou accès à un compte administrateur avec privilèges root)
Se connecter au serveur et mettre à jour les packages du système d'exploitation du serveur
Tout d'abord, connectez-vous à votre serveur Ubuntu 20.04 via SSH en tant qu'utilisateur root :
ssh root@IP_Address -p Port_number
Vous devrez remplacer 'IP_Address' et 'Port_number' par l'adresse IP et le numéro de port SSH respectifs de votre serveur. De plus, remplacez "root" par le nom d'utilisateur du compte administrateur si nécessaire.
Avant de commencer, vous devez vous assurer que tous les packages du système d'exploitation Ubuntu installés sur le serveur sont à jour. Vous pouvez le faire en exécutant les commandes suivantes :
apt-get update -y apt-get upgrade -y
Installer les dépendances requises
Avant de commencer, vous devrez installer Java et les autres dépendances requises sur votre serveur. Vous pouvez tous les installer à l'aide de la commande suivante :
apt-get install openjdk-11-jdk wget apt-transport-https curl gnupg2 -y
Une fois tous les packages installés, vérifiez la version installée de Java avec la commande suivante :
java -version
Vous devriez obtenir le résultat suivant :
openjdk version "11.0.9.1" 2020-11-04 OpenJDK Runtime Environment (build 11.0.9.1+1-Ubuntu-0ubuntu1.20.04) OpenJDK 64-Bit Server VM (build 11.0.9.1+1-Ubuntu-0ubuntu1.20.04, mixed mode, sharing)
Installer Elasticsearch
Par défaut, Elasticsearch n'est pas disponible dans le référentiel standard Ubuntu. Vous devrez donc ajouter le référentiel Elasticsearch à votre système.
Commencez par ajouter la clé de signature Elasticsearch avec la commande suivante :
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add -
Ensuite, ajoutez le référentiel avec la commande suivante :
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | tee -a /etc/apt/sources.list.d/elastic-7.x.list
Une fois le référentiel ajouté, mettez à jour le référentiel et installez le package Elasticsearch avec la commande suivante :
apt-get update -y apt-get install elasticsearch -y
Une fois Elasticsearch installé, démarrez le service Elasticsearch et activez-le pour qu'il démarre au redémarrage du système :
systemctl start elasticsearch systemctl enable elasticsearch
À ce stade, Elasticsearch est démarré et écoute sur le port 9200. Vous pouvez le vérifier avec la commande suivante :
ss -antpl | grep 9200
Vous devriez obtenir le résultat suivant :
LISTEN 0 4096 [::ffff:127.0.0.1]:9200 *:* users:(("java",pid=27757,fd=257))
LISTEN 0 4096 [::1]:9200 [::]:* users:(("java",pid=27757,fd=256))
Vous pouvez également consulter Elasticsearch en envoyant une requête HTTP :
curl -X GET http://localhost:9200
Vous devriez obtenir le résultat suivant :
{
"name" : "ubuntu2004",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "LhG8-a_eQHyyoRAlQQXBTQ",
"version" : {
"number" : "7.10.0",
"build_flavor" : "default",
"build_type" : "deb",
"build_hash" : "51e9d6f22758d0374a0f3f5c6e8f3a7997850f96",
"build_date" : "2020-11-09T21:30:33.964949Z",
"build_snapshot" : false,
"lucene_version" : "8.7.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
Installer et configurer Logstash
Logstash est un logiciel d'analyse de journaux utilisé pour collecter les journaux et les stocker sur Elasticsearch. Vous pouvez l'installer facilement avec la commande suivante :
apt-get install logstash -y
Une fois le Logstash installé, vous devrez configurer les plugins d'entrée, de filtre et de sortie. Vous pouvez le configurer en créant un nouveau fichier de configuration dans le répertoire /etc/logstash/conf.d/ :
nano /etc/logstash/conf.d/logstash.conf
Ajoutez les lignes suivantes :
#Specify listening port for incoming logs from the beats
input {
beats {
port => 5044
}
}
# Used to parse syslog messages and send it to Elasticsearch for storing
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGLINE}" }
}
date {
match => [ "timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
}
# Specify an Elastisearch instance
output {
elasticsearch {
hosts => ["localhost:9200"]
index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
}
}
Enregistrez et fermez le fichier, puis démarrez le Logstash et activez-le pour qu'il démarre au redémarrage du système.
systemctl start logstash systemctl enable logstash
Installer et configurer Kibana
Kibana visualise les données stockées sur Elasticsearch via une interface Web. Vous pouvez l'installer avec la commande suivante :
apt-get install kibana -y
Par défaut, Kibana écoute sur localhost. Vous devrez donc le configurer pour un accès externe. Vous pouvez le configurer en éditant le fichier /etc/kibana/kibana.yml :
nano /etc/kibana/kibana.yml
Modifiez les lignes suivantes :
server.host: "your-server-ip" elasticsearch.hosts: ["http://localhost:9200"]
Enregistrez et fermez le fichier, puis démarrez le service Kibana et activez-le pour qu'il démarre au redémarrage du système :
systemctl start kibana systemctl enable kibana
Installer et configurer Filebeat
Filebeat est utilisé pour envoyer des journaux à Logstash ou Elasticsearch pour analyse. Dans cette section, nous allons installer le Filebeat et le configurer pour envoyer les journaux au Logstash.
Vous pouvez l'installer avec la commande suivante :
apt-get install filebeat -y
Une fois installé, modifiez le fichier de configuration principal de Filebeat et configurez-le pour envoyer les journaux au Logstash.
nano /etc/filebeat/filebeat.yml
Commentez les lignes suivantes :
#output.elasticsearch: # Array of hosts to connect to. # hosts: ["localhost:9200"]
Décommentez les lignes suivantes :
output.logstash: hosts: ["localhost:5044"]
Enregistrez et fermez le fichier, puis démarrez le service Filebeat et activez-le pour qu'il démarre au redémarrage du système :
systemctl start filebeat systemctl enable filebeat
Ensuite, activez le module système Filebeat, qui examinera les journaux système locaux :
filebeat modules enable system
Ensuite, chargez le modèle d'index avec la commande suivante :
filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
Enfin, vérifiez si Filebeat envoie les fichiers journaux à Logstash pour traitement. Une fois traitées, les données sont envoyées à Elasticsearch.
curl -XGET http://localhost:9200/_cat/indices?v
Vous devriez obtenir le résultat suivant :
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size yellow open filebeat-7.10.0-2020.12.06-000001 hkQTgSbhSKqwYV-L6Dirtg 1 1 0 0 208b 208b green open .apm-custom-link GZekuSDGSh2h3cyaUh-Kuw 1 0 0 0 208b 208b green open .kibana_task_manager_1 wsc1qi8-S6W7xiU6Gb8IUA 1 0 5 23 125.3kb 125.3kb green open .apm-agent-configuration OQ0CeuK0R7mXtevKccGjlQ 1 0 0 0 208b 208b green open .kibana-event-log-7.10.0-000001 qt1r0hCbRb6-vYd5UsJVGA 1 0 2 0 11kb 11kb green open .kibana_1 s7LrkbyERnSezRhyJf-GLw 1 0 9 0 10.3mb 10.3mb
Accéder à l'interface Web Kibana
Par défaut, Kibana écoute sur le port 5601 . Vous pouvez y accéder en utilisant l'URL http://your-server-ip:5601 . Vous devriez voir le tableau de bord Kibana dans l'écran suivant :
Maintenant, cliquez sur Explorer par moi-même . Vous devriez voir l'écran suivant :
Toutes nos félicitations! vous avez installé avec succès ELK Stack sur le serveur Ubuntu 20.04.
Bien sûr, vous n'avez rien à faire si vous utilisez l'un de nos services d'hébergement VPS Linux, auquel cas vous pouvez simplement demander à nos administrateurs Linux experts de le configurer pour vous. Ils sont disponibles 24h/24 et 7j/7 et prendront immédiatement en charge votre demande.
PS . Si vous avez aimé cet article, partagez-le avec vos amis sur les réseaux sociaux en utilisant les boutons à gauche ou laissez simplement une réponse ci-dessous. Merci.