Réplication automatique de fichiers (miroir) sur deux serveurs de stockage avec GlusterFS 3.2.x sur Ubuntu 12.10

Ce tutoriel montre comment configurer un stockage haute disponibilité avec deux serveurs de stockage (Ubuntu 12.10) qui utilisent GlusterFS. Chaque serveur de stockage sera un miroir de l'autre serveur de stockage et les fichiers seront automatiquement répliqués sur les deux serveurs de stockage. Le système client (Ubuntu 12.10 également) pourra accéder au stockage comme s'il s'agissait d'un système de fichiers local. GlusterFS est un système de fichiers en cluster capable d'évoluer jusqu'à plusieurs péta-octets. Il agrège diverses briques de stockage sur une interconnexion Infiniband RDMA ou TCP/IP dans un seul grand système de fichiers réseau parallèle. Les briques de stockage peuvent être constituées de n'importe quel matériel de base, tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.

Je n'émets aucune garantie que cela fonctionnera pour vous !

1 Remarque préliminaire

Dans ce tutoriel, j'utilise trois systèmes, deux serveurs et un client :

• server1.example.com :adresse IP 192.168.0.100 (serveur)
• server2.example.com :adresse IP 192.168.0.101 (serveur)
• client1.example.com :adresse IP 192.168.0.102 (client)

Étant donné que nous exécuterons toutes les étapes de ce didacticiel avec les privilèges root, nous pouvons soit ajouter la chaîne sudo à toutes les commandes de ce didacticiel, soit nous devenons root dès maintenant en tapant

sudo su

Les trois systèmes doivent pouvoir résoudre les noms d'hôte des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts afin qu'il ressemble à ceci sur les trois systèmes :

vi /etc/hosts

127.0.0.1 localhost.localdomain localhost192.168.0.100 serveur1.exemple.com serveur1192.168.0.101 serveur2.exemple.com serveur2192.168.0.102 client1.example.com client1# Les lignes suivantes sont souhaitables pour les hôtes compatibles IPv6 ::1 localhost ip6-localhost ip6-loopbackfe00::0 ip6-localnetff00::0 ip6-mcastprefixff02 ::1 ip6-allnodesff02 ::2 ip6-allroutersff02 ::3 ip6-allhosts

(Il est également possible d'utiliser des adresses IP au lieu de noms d'hôte dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n'avez pas à vous soucier de savoir si les noms d'hôte peuvent être résolus ou non.)

2 Configuration des serveurs GlusterFS

serveur1.exemple.com/serveur2.exemple.com :

GlusterFS est disponible sous forme de package pour Ubuntu 12.10, nous pouvons donc l'installer comme suit :

apt-get install glusterfs-server

La commande

glusterfsd --version

devrait maintenant afficher la version de GlusterFS que vous venez d'installer (3.2.5 dans ce cas) :

[email protected] :~# glusterfsd --version
 glusterfs 3.2.5 construit le 31 janvier 2012 07:39:58
 Révision du référentiel :git://git.gluster.com/glusterfs .git
 Copyright (c) 2006-2011 Gluster Inc. 
 GlusterFS est livré avec ABSOLUMENT AUCUNE GARANTIE.
 Vous pouvez redistribuer des copies de GlusterFS sous la termes de la licence publique générale GNU.
 [email protected] :~#

Si vous utilisez un pare-feu, assurez-vous que les ports TCP 111, 24007, 24008, 24009-(24009 + nombre de briques sur tous les volumes) sont ouverts sur server1.example.com et server2.example.com.

Ensuite, nous devons ajouter server2.example.com au pool de stockage approuvé (veuillez noter que j'exécute toutes les commandes de configuration GlusterFS à partir de server1.example.com, mais vous pouvez également les exécuter à partir de server2.example.com car la configuration est répliqué entre les nœuds GlusterFS - assurez-vous simplement d'utiliser les bons noms d'hôte ou adresses IP) :

serveur1.exemple.com :

Sur server1.example.com, exécutez

sonde homologue gluster server2.example.com

[email protected] :~# gluster peer probe server2.example.com
 Sondage réussi
 [email protected] :~#

L'état du pool de stockage approuvé devrait maintenant ressembler à ceci :

statut de pair gluster

[email protected] :~# statut de pair gluster
 Nombre de pairs :1

Nom d'hôte :server2.example.com
 Uuid :7cd93007-fccb-4fcb-8063-133e6ba81cd9
 État :Peer in Cluster (Connected)
 [email protected] :~# 

 Ensuite, nous créons le partage nommé testvol avec deux répliques (veuillez noter que le nombre de répliques est égal au nombre de serveurs dans ce cas car nous voulons configurer la mise en miroir) sur server1.example.com et server2.example.com dans le /répertoire de données (celui-ci sera créé s'il n'existe pas) :
 
le volume de gluster crée testvol réplique 2 transport tcp server1.example.com:/data server2.example.com:/data
 
[email protected] :~# gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data
 La création du volume testvol a réussi. Veuillez démarrer le volume pour accéder aux données.
 [email protected] :~#
 

 Démarrer le volume :
 
vol de démarrage du volume de gluster
 

 Il est possible que la commande ci-dessus vous indique que l'action n'a pas abouti :
 
[email protected] :~# gluster volume start testvol
 Le démarrage du volume testvol a échoué
 [email protected] :~#
 

 Dans ce cas, vous devriez vérifier la sortie de...
 

 serveur1.exemple.com/serveur2.exemple.com :
 
netstat -tap | grep glusterfsd
 

 sur les deux serveurs.
 

 Si vous obtenez une sortie comme celle-ci...
 
[email protected] :~# netstat -tap | Grep Glusterfsd 
 TCP 0 0 *:24009 *:* Écoutez 1548 / Glusterfsd 
 TCP 0 0 LocalHost.Localdom:1019 LocalHost.Localdo:24007 établi 1548 / Glusterfsd 
 [Protégé par e-mail]:~ #
 

 ... tout va bien, mais si vous n'obtenez aucune sortie...
 
[email protected] :~# netstat -tap | grep glusterfsd
 [protégé par e-mail] :~#
 

 ... redémarrez le démon GlusterFS sur le serveur correspondant (server2.example.com dans ce cas) :
 

 serveur2.exemple.com :
 
/etc/init.d/glusterfs-server restart
 

 Vérifiez ensuite la sortie de...
 
netstat -tap | grep glusterfsd
 

 ... à nouveau sur ce serveur - il devrait maintenant ressembler à ceci :
 
[email protected] :~# netstat -tap | Grep Glusterfsd 
 TCP 0 0 *:24010 *:* Écoutez 1458 / Glusterfsd 
 TCP 0 0 localhost.localdom:1021 localhost.localdo:24007 établi 1458 / Glusterfsd 
 [Protégé par e-mail]:~ #
 

 Revenons maintenant à server1.example.com :
 

 serveur1.exemple.com :
 

 Vous pouvez vérifier l'état du volume avec la commande
 
informations sur le volume de Gluster
 
[email protected] :~# informations sur le volume de gluster
 
Nom du volume :testvol
 Type :Répliqué
 Statut :Démarré
 Nombre de briques :2
 Type de transport :tcp
 Briques :
 Brick1 :server1.example.com:/data
 Brick2 :server2.example.com:/data
 [email protected] :~#
 

 Par défaut, tous les clients peuvent se connecter au volume. Si vous souhaitez accorder l'accès à client1.example.com (=192.168.0.102) uniquement, exécutez :
 
ensemble de volumes de gluster testvol auth.allow 192.168.0.102
 

 Veuillez noter qu'il est possible d'utiliser des caractères génériques pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple, 192.168.0.102,192.168.0.103).
 

 Les informations sur le volume devraient maintenant afficher l'état mis à jour :
 
informations sur le volume de Gluster
 
[email protected] :~# informations sur le volume de gluster
 
Nom du volume :testvol
 Type :Répliqué
 Statut :Démarré
 Nombre de briques :2
 Type de transport :tcp
 Briques :
 Brick1 :server1.example.com:/data
 Brick2 :server2.example.com:/data
 Options reconfigurées :
 auth.allow :192.168.0.102
 [email protected] :~#
 

 
 
3 Configuration du client GlusterFS
 

 client1.exemple.com :
 

 Sur le client, nous pouvons installer le client GlusterFS comme suit :
 
apt-get install glusterfs-client
 

 Ensuite, nous créons le répertoire suivant :
 
mkdir /mnt/glusterfs
 

 C'est ça! Nous pouvons maintenant monter le système de fichiers GlusterFS sur /mnt/glusterfs avec la commande suivante :
 
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
 

 (Au lieu de server1.example.com, vous pouvez également utiliser server2.example.com dans la commande ci-dessus !)
 

 Vous devriez maintenant voir la nouvelle part dans les sorties de...
 
monter
 
[email protected] :~# mount
 /dev/mapper/server3-root on / type ext4 (rw,errors=remount-ro)
 proc on /proc type proc (rw,noexec ,nosuid,nodev)
 sysfs sur /sys type sysfs (rw,noexec,nosuid,nodev)
 fusectl sur /sys/fs/fuse/connections type fusectl (rw)
 aucun sur / sys/kernel/debug type debugfs (rw)
 aucun sur /sys/kernel/security type securityfs (rw)
 udev sur /dev type devtmpfs (rw,mode=0755)
 devpts sur /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
 tmpfs sur /run type tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
 aucun sur /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
 aucun sur /run/shm type tmpfs (rw,nosuid,nodev)
 /dev/sda1 sur /boot type ext2 (rw)
 server1.example.com:/testvol on /mnt/glusterfs type fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
 [email protected] :~# 
 

 ... et...
 
df-h
 
[email protected] :~# df -h
 Système de fichiers            Taille  Utilisé Disponible Utilisation % Monté sur
 /dev/mapper/server3-root
                        29G  1.1G   27G   4 % /
 /dev/sda1             228M   24M  193M  11 % /boot
 server1.example.com:/testvol
                       29G  1.1G    27G   4 % /mnt//> [courriel
 protégé] :~#
 

 Au lieu de monter le partage GlusterFS manuellement sur le client, vous pouvez modifier /etc/fstab afin que le partage soit monté automatiquement au démarrage du client.
 

 Ouvrez /etc/fstab et ajoutez la ligne suivante :
 
vi /etc/fstab
 
[...]server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0
 
 
 
 
 

 (Encore une fois, au lieu de server1.example.com, vous pouvez également utiliser server2.example.com !)
 

 Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :
 
redémarrer
 

 Après le redémarrage, vous devriez retrouver le partage dans les sorties de...
 
df-h
 

 ... et...
 
monter
 

 
 
4 Tests
 

 Créons maintenant des fichiers de test sur le partage GlusterFS :
 

 client1.exemple.com :
 
appuyez sur /mnt/glusterfs/test1
 appuyez sur /mnt/glusterfs/test2
 

 Vérifions maintenant le répertoire /data sur server1.example.com et server2.example.com. Les fichiers test1 et test2 doivent être présents sur chaque nœud :
 

 serveur1.exemple.com/serveur2.exemple.com :
 
ls -l /data
 
[email protected] :~# ls -l /data
 total 8
 -rw-r--r-- 1 root root 0 2012-12-17 11:17 test1
 -rw-r--r-- 1 root root 0 2012-12-17 11:17 test2
 [email protected] :~#
 

 Maintenant, nous fermons server1.example.com et ajoutons/supprimons des fichiers sur le partage GlusterFS sur client1.example.com.
 

 serveur1.exemple.com :
 
fermer -h maintenant
 

 client1.exemple.com :
 
appuyez sur /mnt/glusterfs/test3
 appuyez sur /mnt/glusterfs/test4
 rm -f /mnt/glusterfs/test2
 

 Les modifications doivent être visibles dans le répertoire /data sur server2.example.com :
 

 serveur2.exemple.com :
 
ls -l /data
 
[email protected] :~# ls -l /data
 total 8
 -rw-r--r-- 1 root root 0 2012-12-17 11:17 test1
 -rw-r--r-- 1 racine racine 0 2012-12-17 11:38 test3
 -rw-r--r-- 1 racine racine 0 2012-12-17 11:38 test4
 [protégé par e-mail] :~#
 

 Redémarrons server1.example.com et regardons le répertoire /data :
 

 serveur1.exemple.com :
 
ls -l /data
 
[email protected] :~# ls -l /data
 total 8
 -rw-r--r-- 1 root root 0 2012-12-17 11:17 test1
 -rw-r--r-- 1 root root 0 2012-12-17 11:17 test2
 [email protected] :~#
 

 Comme vous le voyez, server1.example.com n'a pas remarqué les changements qui se sont produits pendant qu'il était en panne. C'est facile à corriger, tout ce que nous avons à faire est d'invoquer une commande de lecture sur le partage GlusterFS sur client1.example.com, par exemple :
 

 client1.exemple.com :
 
ls -l /mnt/glusterfs/
 
[email protected] :~# ls -l /mnt/glusterfs/
 total 8
 -rw-r--r-- 1 root root 0 2012-12-17 11:17 test1 
 -rw-r--r-- 1 racine racine 0 2012-12-17 11:38 test3
 -rw-r--r-- 1 racine racine 0 2012-12-17 11 :38 test4
 [protégé par e-mail] :~#
 

 Examinez à nouveau le répertoire /data sur server1.example.com et vous devriez voir que les modifications ont été répliquées sur ce nœud :
 

 serveur1.exemple.com :
 
ls -l /data
 
[email protected] :~# ls -l /data
 total 4
 -rw-r--r-- 1 root root 0 2012-12-17 11:17 test1
 -rw-r--r-- 1 racine racine 0 2012-12-17 11:38 test3
 -rw-r--r-- 1 racine racine 0 2012-12-17 11:38 test4
 [protégé par e-mail] :~#
 

 
 
5 liens
 
 
GlusterFS :http://www.gluster.org/
 
Documentation GlusterFS 3.2 :http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
 
Ubuntu :http://www.ubuntu.com/