Stockage haute disponibilité avec GlusterFS sur Debian 8 - Mise en miroir sur deux serveurs de stockage

Ce tutoriel montre comment configurer un stockage haute disponibilité avec deux serveurs de stockage (Debian Jessie) qui utilise GlusterFS. Chaque serveur de stockage sera un miroir de l'autre serveur de stockage et les fichiers seront automatiquement répliqués sur les deux nœuds de stockage. Le système client (Debian 8 également) pourra accéder au stockage comme s'il s'agissait d'un système de fichiers local. GlusterFS est un système de fichiers en cluster capable d'évoluer jusqu'à plusieurs péta-octets. Il agrège diverses briques de stockage sur une interconnexion Infiniband RDMA ou TCP/IP dans un seul grand système de fichiers réseau parallèle. Les briques de stockage peuvent être constituées de n'importe quel matériel de base, tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.

1 Remarque préliminaire

Dans ce tutoriel, j'utiliserai trois systèmes, deux serveurs et un client :

• serveur1.exemple.com :adresse IP 192.168.1.100 (serveur)
• server2.example.com :adresse IP 192.168.1.101 (serveur)
• client1.example.com :adresse IP 192.168.1.102 (client)

Les trois systèmes doivent pouvoir résoudre les noms d'hôte des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts afin qu'il ressemble à ceci sur les trois systèmes :

nano /etc/hosts

127.0.0.1 localhost
192.168.1.100 serveur1.exemple.com serveur1
192.168.1.101 serveur2.exemple.com serveur2
192.168.1.102 client1.exemple.com client1
 

# Les lignes suivantes sont souhaitables pour les hôtes compatibles IPv6
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 routeurs IP6

(Il est également possible d'utiliser des adresses IP au lieu de noms d'hôte dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n'avez pas à vous soucier de savoir si les noms d'hôte peuvent être résolus ou non.)

2 Configuration des serveurs GlusterFS

serveur1.exemple.com/serveur2.exemple.com :

La dernière version de GlusterFS est disponible en tant que package Debian sur gluster.org. Nous pouvons l'installer comme suit :

Nous ajoutons la clé publique du dépôt Debian gluster.org sur les deux serveurs.

wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/rsa.pub | apt-clé ajouter -

Ajoutez ensuite le référentiel GlusterFS (la commande tient sur une ligne !)

echo deb http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/Debian/jessie/apt jessie main> /etc/apt/sources.list.d/gluster.list 

 et mettre à jour la liste des référentiels.
 
apt-obtenir la mise à jour
 

 Nous pouvons maintenant installer le logiciel serveur GlusterFS avec apt.
 
apt-get -y install glusterfs-server
 

 La commande
 
glusterfsd --version
 

 devrait maintenant afficher la version de GlusterFS que vous venez d'installer (3.7.9 dans ce cas) :
 
[email protected] :/# glusterfsd --version
glusterfs 3.7.9 créé le 23 mars 2016 à 05:24:49
Révision du référentiel :git://git.gluster.com/glusterfs .git
Copyright (c) 2006-2013 Red Hat, Inc. 
GlusterFS est livré avec ABSOLUMENT AUCUNE GARANTIE.
Il vous est concédé sous licence sous votre choix de la GNU Lesser
General Public License, version 3 ou toute version ultérieure (LGPLv3
ou ultérieure), ou de la GNU General Public License, version 2 (GPLv2),
dans tous cas publiés par la Free Software Foundation.
[email protected] :/#
 

 Si vous utilisez un pare-feu, assurez-vous que les ports TCP 111, 24007, 24008, 24009-(24009 + nombre de briques sur tous les volumes) sont ouverts sur server1.example.com et server2.example.com.
 

 Glusterfs stockera ses données dans le répertoire /data sur les serveurs. Cet emplacement peut être un répertoire normal si vous avez une installation plus petite ou si vous utilisez une partition de disque dur distincte et que vous la montez en tant que /data.
 

 Exécuter sur les deux serveurs :
 
mkdir /data
 

 pour créer le répertoire de données.
 

 Ensuite, nous devons ajouter server2.example.com au pool de stockage approuvé (veuillez noter que j'exécute toutes les commandes de configuration GlusterFS à partir de server1.example.com, mais vous pouvez également les exécuter à partir de server2.example.com car la configuration est répliqué entre les nœuds GlusterFS - assurez-vous simplement d'utiliser les bons noms d'hôte ou adresses IP) :
 

 serveur1.exemple.com :
 

 Sur server1.example.com, exécutez
 
sonde homologue gluster server2.example.com
 
[email protected] :/# gluster peer probe server2.example.com
peer probe :success.
[email protected] :/#
 

 L'état du pool de stockage approuvé devrait maintenant ressembler à ceci :
 
statut de pair gluster
 
[email protected] :/# statut de pair gluster
Nombre de pairs :1
 
Nom d'hôte :server2.example.com
Uuid :0f7ee46c-6a71-4a31-91d9-6076707eff95
État :Peer in Cluster (Connected)
[email protected] :/# 

 Ensuite, nous créons le partage nommé testvol avec deux répliques (veuillez noter que le nombre de répliques est égal au nombre de serveurs dans ce cas car nous voulons configurer la mise en miroir) sur server1.example.com et server2.example.com dans le Répertoire /data/testvol (celui-ci sera créé s'il n'existe pas) :
 
volume gluster créer testvol réplique 2 transport tcp server1.example.com:/data/testvol server2.example.com:/data/testvol force
 
[email protected] :/# gluster volume create testvol replica 2 transport tcp server1.example.com:/data/testvol server2.example.com:/data/testvol force
volume create :testvol :success :veuillez démarrer le volume pour accéder aux données
[email protected] :/#
 

 Démarrer le volume :
 
vol de démarrage du volume de gluster
 
[email protected] :/# gluster volume start testvol
démarrage du volume :testvol :success
[email protected] :/#
 

 Notre volume de test a démarré avec succès.
 

 Il est possible que la commande ci-dessus vous indique que l'action n'a pas abouti :
 
[email protected] :~# gluster volume start testvol
Le démarrage du volume testvol a échoué
[email protected] :~#
 

 Dans ce cas, vous devriez vérifier la sortie de...
 

 serveur1.exemple.com/serveur2.exemple.com :
 
netstat -tap | grep glusterfsd
 

 sur les deux serveurs.
 

 Si vous obtenez une sortie comme celle-ci...
 
[email protected] :/# netstat -tap | grep glusterfsd
tcp 0 0 *:49152 *:* LISTEN 8007/glusterfsd
tcp 0 0 server1.example.c:65533 server1.example.c:24007 ESTABLISHED 8007/glusterfsd
tcp 0 0 serveur1.exemple.c:49152 serveur2.exemple.c:65531 ÉTABLI 8007/glusterfsd
tcp 0 0 serveur1.exemple.c:49152 serveur1.exemple.c:65532 ÉTABLI 8007/glusterfsd
tcp 0 0 serveur1.exemple.c:49152 serveur1.exemple.c:65531 ÉTABLI 8007/glusterfsd
tcp 0 0 serveur1.exemple.c:49152 serveur2.exemple.c:65526 ​​ÉTABLI 8007/glusterfsd
[email protégé] :/#
 

 ... tout va bien, mais si vous n'obtenez aucune sortie...
 
[email protected] :~# netstat -tap | grep glusterfsd
[email protected] :~#
 

 ... redémarrez le démon GlusterFS sur le serveur correspondant (server1.example.com dans ce cas) :
 

 serveur2.exemple.com :
 
redémarrage du service glusterfs-server
 

 Vérifiez ensuite la sortie de...
 
netstat -tap | grep glusterfsd
 

 ... à nouveau sur ce serveur - il devrait maintenant ressembler à ceci :
 
[email protected] :/# netstat -tap | grep glusterfsd
tcp 0 0 *:49152 *:* LISTEN 7852/glusterfsd
tcp 0 0 server2.example.c:49152 server2.example.c:65532 ESTABLISHED 7852/glusterfsd
tcp 0 0 serveur2.exemple.c:49152 serveur1.exemple.c:65526 ​​ÉTABLI 7852/glusterfsd
tcp 0 0 serveur2.exemple.c:49152 serveur2.exemple.c:65525 ÉTABLI 7852/glusterfsd
tcp 0 0 serveur2.exemple.c:65533 serveur2.exemple.c:24007 ÉTABLI 7852/glusterfsd
tcp 0 0 serveur2.exemple.c:49152 serveur1.exemple.c:65524 ÉTABLI 7852/glusterfsd
[courriel protégé] :/#
 

 Revenons maintenant à server1.example.com :
 

 serveur1.exemple.com :
 

 Vous pouvez vérifier l'état du volume avec la commande
 
informations sur le volume de Gluster
 
[email protected] :/# informations sur le volume de gluster
 
Nom du volume :testvol
Type :Répliqué
ID du volume :3fc9af57-ca56-4a72-ad54-3d2ea03e5883
Statut :Démarré
Nombre de briques :1 x 2 =2 
Type de transport :tcp
Bricks :
Brick1 : server1.example.com:/data/testvol
Brick2 : server2.example.com:/data/testvol
Options reconfigurées :
performance.readdir-ahead :on
[email protected] :/#
 

 Par défaut, tous les clients peuvent se connecter au volume. Si vous souhaitez accorder l'accès à client1.example.com (=192.168.1.102) uniquement, exécutez :
 
ensemble de volume de gluster testvol auth.allow 192.168.1.102
 
[email protected] :/# gluster volume set testvol auth.allow 192.168.1.102
volume set :success
[email protected] :/#
 

 Veuillez noter qu'il est possible d'utiliser des caractères génériques pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple, 192.168.1.102,192.168.1.103).
 

 Les informations sur le volume devraient maintenant afficher l'état mis à jour :
 
informations sur le volume de Gluster
 

 [email protected] :/# informations sur le volume de gluster
 
Nom du volume :testvol
Type :Répliqué
ID du volume :3fc9af57-ca56-4a72-ad54-3d2ea03e5883
Statut :Démarré
Nombre de briques :1 x 2 =2 
Type de transport :tcp
Bricks :
Brick1 : server1.example.com:/data/testvol
Brick2 : server2.example.com:/data/testvol
Options reconfigurées :
auth.allow : 192.168.1.102
performance.readdir-ahead :on
[email protected] :/#
 

 
 
3 Configuration du client GlusterFS
 

 client1.exemple.com :
 

 Sur le système client, nous ajoutons d'abord la clé publique du référentiel Debian gluster.org.
 
wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/rsa.pub | apt-clé ajouter -
 

 Ajoutez ensuite le référentiel GlusterFS (la commande tient sur une ligne !)
 
echo deb http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/Debian/jessie/apt jessie main> /etc/apt/sources.list.d/gluster.list 

 et mettre à jour la liste des référentiels.
 
apt-obtenir la mise à jour
 

 Nous pouvons maintenant installer le client GlusterFS comme suit.
 
apt-get -y install glusterfs-client
 

 Ensuite, nous créons le répertoire suivant :
 
mkdir /mnt/glusterfs
 

 C'est ça! Nous pouvons maintenant monter le système de fichiers GlusterFS sur /mnt/glusterfs avec la commande suivante :
 
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
 

 (Au lieu de server1.example.com, vous pouvez également utiliser server2.example.com dans la commande ci-dessus !)
 

 Vous devriez maintenant voir la nouvelle part dans les sorties de...
 
monter
 
[email protected] :/# mount
sysfs sur /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc sur /proc type proc (rw,nosuid,nodev,noexec ,relatime)
udev sur /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=125556,mode=755)
devpts sur /dev/pts type devpts (rw,nosuid,noexec,relatime ,gid=5,mode=620,ptmxmode=000)
tmpfs sur /run type tmpfs (rw,nosuid,relatime,size=204220k,mode=755)
/dev/sda1 sur /type ext4 (rw,relatime,errors=remount-ro,data=ordered)
securityfs sur /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs sur /dev/shm tapez tmpfs (rw,nosuid,nodev)
tmpfs sur /run/lock tapez tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs sur /sys/fs/cgroup tapez tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup sur /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd -cgroups-agent,name=systemd)
pstore sur /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,rel atime)
cgroup sur /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup sur /sys/fs/cgroup/cpu,cpuacct type cgroup ( rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup sur /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup sur / sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime ,net_cls,net_prio)
cgroup sur /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup sur /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
systemd-1 sur /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=23,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)
mqueue sur /dev/mqueue type mqueue (rw,relatime)
debugfs sur /sys/kernel/debug type debugfs (rw,relatime)
hugetlbfs sur /dev/hugepages type hugetlbfs (rw,relatime)
rpc_pipefs sur /run/ rpc_pipefs type rpc_pipefs (rw,relatime)
fusectl sur /sys/fs/fuse/connections type fusectl (rw,relatime)
server1.example.com:/testvol sur /mnt/glusterfs type fuse.glusterfs (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072)
[email protected] :/#
 

 ... et...
 
df -h
 
[email protected] :/# df -h
Taille du système de fichiers utilisé % d'utilisation disponible monté sur
/dev/sda1 57G 1.1G 53G 2% /
udev 10M 0 10M 0% /dev
tmpfs 200M 4.6M 195M 3% /run
tmpfs 499M 0 499M 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 499M 0 499M 0% /sys/fs/cgroup
server1.example.com:/testvol 57G 21G 34G 39% /mnt/glusterfs
[email protected] :/#
 

 Au lieu de monter le partage GlusterFS manuellement sur le client, vous pouvez modifier /etc/fstab afin que le partage soit monté automatiquement au démarrage du client.
 

 Ouvrez /etc/fstab et ajoutez la ligne suivante :
 
nano /etc/fstab
 
[...]server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0
 

 (Encore une fois, au lieu de server1.example.com, vous pouvez également utiliser server2.example.com !)
 

 Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :
 
redémarrer
 

 Après le redémarrage, vous devriez retrouver le partage dans les sorties de...
 
df-h
 

 ... et...
 
monter
 

 
 
4 Test de la réplication GlusterFS
 

 Créons maintenant des fichiers de test sur le partage GlusterFS :
 

 client1.exemple.com :
 
appuyez sur /mnt/glusterfs/test1
appuyez sur /mnt/glusterfs/test2
 

 Vérifions maintenant le répertoire /data sur server1.example.com et server2.example.com. Les fichiers test1 et test2 doivent être présents sur chaque nœud :
 

 serveur1.exemple.com/serveur2.exemple.com :
 
ls -l /data/testvol
 
[email protected] :/# ls -l /data/testvol/
total 0
-rw-r--r-- 2 root root 0 23 mars 2016 test1
- rw-r--r-- 2 racine racine 0 23 mars 2016 test2
 

 Maintenant, nous fermons server1.example.com et ajoutons/supprimons des fichiers sur le partage GlusterFS sur client1.example.com.
 

 serveur1.exemple.com :
 
fermer -h maintenant
 

 client1.exemple.com :
 
appuyez sur /mnt/glusterfs/test3
appuyez sur /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2
 

 Les modifications doivent être visibles dans le répertoire /data/testvol sur server2.example.com :
 

 serveur2.exemple.com :
 
ls -l /data/testvol
 
[email protected] :/# ls -l /data/testvol
total 8
-rw-r--r-- 2 root root 0 Mar 23 08:06 test1
 -rw-r--r-- 2 root root 0 23 mars 08:09 test3
-rw-r--r-- 2 root root 0 23 mars 08:09 test4
[email protected] :/#
 

 Redémarrons server1.example.com et regardons le répertoire /data :
 

 serveur1.exemple.com :
 
ls -l /data/testvol
 
[email protected] :/# ls -l /data/testvol
total 0
-rw-r--r-- 2 root root 0 Mar 23 08:06 test1
 -rw-r--r-- 2 root root 0 23 mars 08:09 test3
-rw-r--r-- 2 root root 0 23 mars 08:09 test4
[email protected] :/#
 

 Comme vous le voyez, server1.example.com a automatiquement synchronisé les modifications. Dans le cas où la modification n'a pas encore été synchronisée, cela est facile à corriger, tout ce que nous avons à faire est d'invoquer une commande de lecture sur le partage GlusterFS sur client1.example.com, par exemple :
 

 client1.exemple.com :
 
ls -l /mnt/glusterfs/
 
[email protected] :/# ls -l /mnt/glusterfs/
total 0
-rw-r--r-- 1 root root 0 Mar 23 08:06 test1
-rw-r--r-- 1 root root 0 23 mars 08:09 test3
-rw-r--r-- 1 root root 0 23 mars 08:09 test4
[email protected ] :/#
 

 
 
5 liens
 
 
GlusterFS :http://www.gluster.org/
 
Documentation GlusterFS : http://gluster.readthedocs.org/en/latest/
 
Debian :http://www.debian.org/