Analysez visuellement les données collectées par le logiciel de moteur de recherche Elasticsearch en installant Kibana Dashboard sur Ubuntu 22.04 Jammy Jellyfish ou 20.04 Focal Fossa.
Elasticsearch est un logiciel de moteur de recherche d'entreprise populaire pour collecter des données, les indexer et les analyser. Le logiciel est open-source, donc distribué pour une utilisation gratuite. La principale caractéristique est qu'il peut examiner et indexer une grande variété de types de données qui peuvent être structurées ou non structurées. Par exemple, il peut s'agir de données textuelles, de données numériques, de données contenant des informations temporelles ou de données contenant des informations géographiques.
Mais cet Elastic Seach ne s'offre pas d'option graphique pour analyser les données, c'est pourquoi nous utilisons Kibana, une plateforme d'analyse et de visualisation open source. Avec Elasticsearch et Logstash, il forme la Suite Elastic et permet de visualiser les données collectées par Elasticsearch. Les utilisateurs peuvent disposer de différents types de représentations visuelles de leurs données, telles que des diagrammes linéaires, des graphiques à secteurs, des graphiques en anneau ou des histogrammes. Et permet l'affichage de séries chronologiques ou de données géographiques. Kibana peut être exploité à la fois sur site et dans le cloud.
Avec Elasticsearch et Logstash dans une pile ELK, Kibana est utilisé pour divers domaines d'application, voici quelques exemples :
• Identifiez rapidement les obstacles apparaissant dans la performance
• Pour obtenir des résultats de recherche géolocalisés sur une carte
• Aide à trouver les menaces de sécurité
• Analyse en temps réel des données
• Surveiller les applications et l'infrastructure informatique ou les réseaux
Étapes pour installer Kibana sur Ubuntu 22.04 ou 20.04 LTS Linux
Selon les développeurs de Kibana, avant l'installation, l'utilisateur doit déjà avoir installé l'instance Elastic Search. Hene, dans cet article, nous montrons également les étapes de configuration d'Elasticsearch. Les étapes indiquées ici seront les mêmes pour les autres systèmes basés sur Debian ou Ubuntu tels que Linux Mint, POP OS, MX Linux…
1. Exigences
Ubuntu 20.04 ou 22.04 serveur
4 Go de RAM et 2 processeurs
Un sudo non root utilisateur
OpenJDK 11
2. Mettre à jour APT et installer OpenJDK
Avant d'aller plus loin pour connaître les étapes de configuration de la recherche élastique, mettons à jour notre système et installons Java requis pour suivre ce tutoriel.
sudo apt update && sudo apt upgrade
sudo apt install default-jdk
3. Ajouter une clé GPG et un référentiel Elastic Search
Remarque : Si vous avez déjà un serveur installé ElasticSearch alors vous pouvez directement plonger à l'étape 6 de cet article, mais n'oubliez pas d'ajouter le référentiel Elastic.
Eh bien, les packages pour installer Elastic Search ne sont pas disponibles pour l'installation sur Ubuntu 22.04/20.04 en utilisant le référentiel système par défaut. Par conséquent, nous devons ajouter celui proposé par les développeurs Elastic pour les systèmes basés sur Debian.
Tout d'abord, ajoutez la clé GPG :
sudo apt-get install apt-transport-https
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Ajouter un référentiel
Ensuite, nous ajouterons le référentiel, la version stable actuelle est 7.x alors que celle de développement actuelle est 8.x. nous avons donné les deux référentiels ici, ajoutez celui selon votre choix,
Pour la version 7.x
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
Pour la version 8.x
echo "deb https://artifacts.elastic.co/packages/8.x-prerelease/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
Exécuter la mise à jour du système
Encore une fois pour actualiser le système et lui faire savoir quels sont les packages disponibles via le référentiel nouvellement ajouté.
sudo apt update
4. Installez ElasticSearch sur Ubuntu 22.04 | 20.04Linux
Une fois que vous avez ajouté le référentiel, nous pouvons simplement utiliser la commande du gestionnaire de packages APT pour installer la dernière version disponible d'ElasticSearch sur Ubuntu 20.04 ou 22.04 Server à l'aide de la commande ci-dessous.
sudo apt install elasticsearch
5. Démarrer les services ElasticSearch
Les services ElasticSearch ne démarreront pas automatiquement sur le système, nous devons le faire manuellement. Alors que, pour démarrer le service automatiquement avec le démarrage du système ou en cas de panne du service, nous devons également l'activer.
Recharger le démon :
sudo systemctl daemon-reload
Activer
sudo systemctl enable elasticsearch
Commencer
sudo systemctl start elasticsearch
Vérifier l'état
sudo systemctl status elasticsearch
Remarque – À l'avenir, pour arrêter le même service, vous pouvez utiliser ceci :
sudo systemctl stop elasticsearch
Vérifier qu'Elasticsearch fonctionne correctement
Maintenant que tout est opérationnel sur votre système pour ElasticSearch, il est temps de vérifier s'il fonctionne correctement ou non. Donc, pour le tester, nous utilisons CURL.
sudo apt-get install curl
Testez maintenant Elasticsearch en envoyant une requête HTTP avec le numéro de port 9200
curl -X GET "localhost:9200/"
6. Installez le tableau de bord Kibana sur Ubuntu 22.04 | 20.04
Pour installer et configurer Kibana Dashboard, nous n'avons pas besoin d'ajouter d'autre référentiel car les packages sont disponibles via ElasticSearch déjà ajouté. Par conséquent, utilisez simplement la commande donnée :
sudo apt install kibana
7. Activer et démarrer le service Kibana
Maintenant que le tableau de bord Kibana est installé sur notre Ubuntu 22.04 ou 20.04, commençons et activons ses services comme nous l'avons fait pour la recherche élastique.
Recharger le démon
sudo systemctl daemon-reload
Démarrer et activer :
sudo systemctl enable kibana sudo systemctl start kibana
Pour vérifier l'état :
sudo systemctl status kibana
8. Accéder à l'interface Web du tableau de bord Kibana
Accédez à l'interface Web du tableau de bord Kibana pour commencer à surveiller et à analyser visuellement les données générées par Elastic Search. Pour cela, ouvrez votre navigateur système et pointez sur localhost avec le numéro de port 5601 .
http://localhost:5601
Pour vérifier l'état du système, utilisez :
http://localhost:5601/status
9. Accéder à distance
Si vous souhaitez accéder à Kibana Dashboard à distance et non sur la même machine locale sur laquelle vous avez installé, nous devons installer Nginx pour créer un proxy inverse afin d'accéder facilement mais en toute sécurité à Kibana depuis un PC à distance.
Installer Nginx
Nous avons besoin de Nginx pour configurer un proxy inverse, installez-le :
sudo apt install nginx
Pour des raisons de sécurité, créez un nom d'utilisateur et un mot de passe pour le tableau de bord Kibana :
Créez un mot de passe et un nom d'utilisateur pour accéder en toute sécurité à Kibana sur le réseau. en utilisant htpasswd fichier.
echo "youruser:`openssl passwd -apr1`" | sudo tee -a /etc/nginx/.htpasswd
Remarque :Remplacez votreutilisateur avec un nom d'utilisateur fort que vous souhaitez utiliser. Le mot de passe (généré par OpenSSL) sera enregistré dans le fichier /etc/nginx/.htpasswd .
Créez un fichier de bloc de serveur Nginx :
Pour laisser indiquer au serveur Nginx où rechercher les fichiers à servir lorsque l'utilisateur l'appelle via le port HTTP/HTTPS, nous créons un fichier de configuration Nginx :
sudo nano /etc/nginx/sites-available/kibana.conf
Ajoutez les fichiers suivants. Ici, nous ajoutons également le chemin vers htpasswd fichier pour authentifier l'utilisateur lorsqu'il essaie d'accéder au tableau de bord Kibana.
Remarque :Si vous utilisez Apache ou le port 80 est lié à une autre application, modifiez-le en conséquence dans le fichier suivant.
server {
listen 80;
server_name your.domain.com;
#server_name server-ip-address;
#For autherntication remove the # from below two line:
#auth_basic "Restricted Access";
#auth_basic_user_file /etc/nginx/.htpasswd;
location / {
proxy_pass http://localhost:5601;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#upgrade to WebSocket protocol when requested
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "Upgrade";
}
}
Enregistrez le fichier en appuyant sur Ctrl+O , appuyez sur Entrée touche, puis Ctrl+X pour le quitter.
Autoriser le port 80 dans le pare-feu :
sudo ufw allow 'Nginx Full'
Conclusion :
jusqu'à présent, nous avons appris à utiliser la commande Ubuntu 20.04 ou 22.04 pour installer ElasticSearch et Kibana afin d'évaluer les données de localisation et de les visualiser sous diverses formes telles que des cartes ou des diagrammes vectoriels. Les séries chronologiques peuvent être analysées, transformées et visualisées, y compris l'exploration et la visualisation des relations entre les données Elasticsearch à l'aide de fonctions graphiques et peuvent être utilisées pour l'apprentissage automatique afin de détecter les anomalies.