Elasticsearch est un serveur de recherche distribué basé sur Lucene qui est disponible en tant que logiciel OpenSource. Il s'agit d'un moteur de recherche en texte intégral, écrit en Java, avec une interface Web HTTP et qui prend en charge les documents JSON de manière native. Elasticsearch peut être utilisé pour rechercher toutes sortes de documents et fournit une solution de recherche évolutive et de recherche en temps réel. Elasticsearch est utilisé par de nombreuses grandes organisations Mozilla, Netflix, Stack Exchange, etc.
Graylog2 est une infrastructure centralisée de gestion et d'analyse des journaux basée sur Elasticsearch et MongoDB. Il est capable d'analyser et d'accumuler les messages du journal provenant de différentes sources.
Dans ce tutoriel, je vais vous guider à travers l'installation de Graylog2, Elasticsearch et MongoDB. J'utiliserai Ubuntu 15.10 pour cette installation.
Prérequis
- Ubuntu 15.10 - 64 bits
- 4 Go de RAM
- Privilèges racine
Étape 1 - Installer MongoDB
MongoDB est une base de données NoSQL orientée document. Le schéma de document MongoDB est similaire à JSON, il s'appelle BSON. Nous allons installer MongoDB 3 à partir des dépôts Debian MongoDB.
Ajoutez le référentiel, mettez-le à jour et installez-le :
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10
echo "deb http://repo.mongodb.org/apt/debian wheezy/mongodb-org/3.0 main" > /etc/apt/sources.list.d/mongodb-org-3.0.list
apt-get update
Installez MongoDB avec la commande apt suivante :
apt-get install mongodb-org
Ensuite, démarrez mongodb et activez-le au démarrage :
systemctl start mongod
systemctl enable mongod
Étape 2 - Installer Java
Toutes les applications que nous allons utiliser dans ce tutoriel sont basées sur Java, nous devons donc l'installer maintenant :). Nous avons besoin de Java 7 ou supérieur pour l'installation de Graylog. Java 7 est disponible dans le référentiel ubuntu, alors installons-le avec cette commande apt :
apt-get install openjdk-7-jre
Vérifiez maintenant la version Java :
java -version
Et vous devriez obtenir la version Java :
java version "1.7.0_91"
OpenJDK Runtime Environment (IcedTea 2.6.3) (7u91-2.6.3-0ubuntu0.15.10.1)
OpenJDK 64-Bit Server VM (build 24.91-b01, mixed mode)
Étape 3 - Installer Elasticsearch
Nous allons installer elasticsearch version 1.7 dans ce tutoriel.
Téléchargez et ajoutez la clé GPG au système :
sudo wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Ajoutez maintenant le référentiel elasticsearch au répertoire sources.list.d et exécutez apt-get update :
echo "deb http://packages.elastic.co/elasticsearch/1.7/debian stable main" > /etc/apt/sources.list.d/elasticsearch.list
apt-get update
Installez maintenant l'elasticsearch :
sudo apt-get install elasticsearch
Et une fois l'installation terminée, démarrez le démon Elastcisearch et activez-le au démarrage :
sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch
L'installation d'Elastisearch est terminée et le démon a été lancé. Il est maintenant temps de le configurer.
Editez le fichier de configuration dans le répertoire "/etc/elasticsearch/" avec vim :
vim /etc/elasticsearch/elasticsearch.yml
Décommentez la ligne "cluster.name", et changez la valeur en "graylog2".
cluster.name = graylog2
Ajoutez la configuration ci-dessous pour les serveurs de production afin de désactiver les scripts dynamiques et d'éviter l'exécution à distance :
script.disable_dynamic: true
Enregistrez le fichier et quittez.
Redémarrez ensuite Elasticsearch et testez-le avec la commande curl :
systemctl restart elasticsearch
Je teste Elasticsearch avec une connexion curl au port 9200 :
curl -XGET 'http://localhost:9200/'
curl -XGET 'http://localhost:9200/_cluster/health?pretty=true'
Étape 4 - Installer le serveur Graylog2
L'étape suivante consiste à installer le serveur Graylog2. J'utiliserai Graylog 1.3.2 pour cette installation. Téléchargez graylog2 avec la commande wget, extrayez-le puis configurez-le.
Avant de commencer l'installation de pwgen, nous avons besoin de pwgen pour générer le mot de passe aléatoire.
Installer pwgen :
apt-get install pwgen
Générez maintenant le nouveau mot de passe avec la commande :
pwgen -N 1 -s 96
Mon code confidentiel :
GYXOjHVNjTv7EdDxUOYEvW9MFJHzqzJarjuar7bszkXr41xTA9Gb8ig8j9MbclWYdzVdis2BfggLbxGaMoxLw1FCZuPNo3Ua
et générez un nouveau hachage sha256 avec la commande ci-dessous :
echo -n mypassword | sha256sum
Voici mon mot de passe :
9235b36556923005015a6c2c18bf6f08a61daf54bfad653bde0ce6404000f0b1
Ensuite, allez dans le répertoire /opt/ et téléchargez graylog-server avec la commande wget :
cd /opt/
wget https://packages.graylog2.org/releases/graylog2-server/graylog-1.3.2.tgz
Extrayez graylog-server et renommez le répertoire en graylog2 :
tar -xzvf graylog-1.3.2.tgz
mv graylog-1.3.2/ graylog/
Graylog-server est téléchargé et nous utilisons le répertoire /opt/ pour son installation.
Pour configurer graylog-server, créez un nouveau répertoire graylog et copiez l'exemple de fichier de configuration graylog-server dans "server.conf".
mkdir -p /etc/graylog/server/
cp /opt/graylog/graylog.conf.example /etc/graylog/server/server.conf
Modifiez la configuration :
vim /etc/graylog/server/server.conf
Collez le mot de passe généré avec pwgen sur la ligne password_secret :
password_secret = GYXOjHVNjTv7EdDxUOYEvW9MFJHzqzJarjuar7bszkXr41xTA9Gb8ig8j9MbclWYdzVdis2BfggLbxGaMoxLw1FCZuPNo3Ua
Collez votre mot de passe sha256 généré, ce mot de passe est utilisé pour se connecter au tableau de bord d'administration graylog :
root_password_sha2 = 9235b36556923005015a6c2c18bf6f08a61daf54bfad653bde0ce6404000f0b1
Désactivez la recherche multidiffusion elasticsearch et ajoutez les hôtes monodiffusion.
elasticsearch_discovery_zen_ping_multicast_enabled = false
elasticsearch_discovery_zen_ping_unicast_hosts = 127.0.0.1:9300
Remplacez les fragments elasticsearch par 1, car nous installons tout sur ce serveur unique.
elasticsearch_shards = 1
elasticsearch_replicas = 0
Enregistrez et quittez le fichier.
Démarrez maintenant le serveur graylog en exécutant le fichier bin dans le répertoire graylog :
cd /opt/graylog/bin/
./graylogctl start
Vous pouvez maintenant voir le fichier journal du serveur graylog dans le répertoire des journaux, regardez-le avec la commande tail :
tail -f /opt/graylog/log/
Si vous devriez voir ceci dans le fichier journal :
Started REST API at <http://127.0.0.1:12900/>Graylog2 up and running.
Cela signifie que le serveur graylog a été démarré correctement.
Étape 5 - Installer Graylog-Web
Téléchargez l'interface Web graylog avec la commande wget dans le répertoire /opt/ :
cd /opt/
wget https://packages.graylog2.org/releases/graylog2-web-interface/graylog-web-interface-1.3.2.tgz
Extrayez l'interface web graylog et renommez-la en "graylog-web".
tar -xzvf graylog-web-interface-1.3.2.tgz
mv graylog-web-interface-1.3.2/ graylog-web/
Générez ensuite un nouveau code secret d'application pour graylog-web avec pwgen :
pwgen -N 1 -s 96
C'est mon secret :
zHg966Be4cBBLmasLiQm4mA0ziR5HziHq6RnfmgKIsjNtLCyHUvmxBMhzRkBclaE2IWyzJPJtPaQGEiLek0iJ3CaWh6kCDAE
Allez dans le répertoire graylog-web et éditez le fichier de configuration :
cd graylog-web/
vim graylog
Sur la ligne graylog2-server.uris, ajoutez l'adresse graylog2-server :
graylog2-server.uris="http://127.0.0.1:12900/"
Dans la ligne application.secret, collez le code secret généré avant :
application.secret="zHg966Be4cBBLmasLiQm4mA0ziR5HziHq6RnfmgKIsjNtLCyHUvmxBMhzRkBclaE2IWyzJPJtPaQGEiLek0iJ3CaWh6kCDAE"
Enregistrez le fichier et quittez.
Démarrez maintenant graylog-web :
cd /opt/graylog-web/bin/
./graylog-web-interface -Dhttp.port=8080
Graylog-web fonctionnera sur le port 8080.
Visitez votre serveur - http://myipaddress:8080/
Connectez-vous maintenant avec l'utilisateur "admin" et votre mot de passe sha256.
Le serveur Graylog2 avec l'interface Web Elasticsearch et Graylog a été installé.
Conclusion
Elasticsearch est un moteur de recherche de serveur distribué avec une interface HTTP et un support JSON. Nous pouvons l'utiliser pour rechercher dans tous les fichiers journaux d'un serveur lorsque vous l'utilisez avec Graylog. Graylog est un logiciel de gestion et d'analyse de journaux basé sur Elasticsearch et mongoDB. Nous pouvons utiliser Elasticsearch, Graylog et MongoDB pour créer un serveur de journaux distribué.