Stockage répliqué distribué sur quatre nœuds de stockage avec GlusterFS 3.2.x sur Ubuntu 12.10

Ce tutoriel montre comment combiner quatre serveurs de stockage uniques (exécutant Ubuntu 12.10) à un stockage répliqué distribué avec GlusterFS. Les nœuds 1 et 2 (réplication1) ainsi que 3 et 4 (réplication2) se mettront en miroir, et la réplication1 et la réplication2 seront combinées sur un serveur de stockage plus grand (distribution). Fondamentalement, il s'agit de RAID10 sur le réseau. Si vous perdez un serveur de réplication1 et un de réplication2, le volume distribué continue de fonctionner. Le système client (Ubuntu 12.10 également) pourra accéder au stockage comme s'il s'agissait d'un système de fichiers local. GlusterFS est un système de fichiers en cluster capable d'évoluer jusqu'à plusieurs péta-octets. Il agrège diverses briques de stockage sur une interconnexion Infiniband RDMA ou TCP/IP dans un seul grand système de fichiers réseau parallèle. Les briques de stockage peuvent être constituées de n'importe quel matériel de base, tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.

Je n'émets aucune garantie que cela fonctionnera pour vous !

1 Remarque préliminaire

Dans ce tutoriel, j'utilise cinq systèmes, quatre serveurs et un client :

server1.example.com :adresse IP 192.168.0.100 (serveur)
server2.example.com :adresse IP 192.168.0.101 (serveur)
server3.example.com :adresse IP 192.168.0.102 (serveur)
server4.example.com :adresse IP 192.168.0.103 (serveur)
client1.exemple.com :adresse IP 192.168.0.104 (client)

Étant donné que nous exécuterons toutes les étapes de ce didacticiel avec les privilèges root, nous pouvons soit ajouter la chaîne sudo à toutes les commandes de ce didacticiel, soit nous devenons root dès maintenant en tapant

sudo su

Les cinq systèmes doivent pouvoir résoudre les noms d'hôte des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts afin qu'il ressemble à ceci sur les cinq systèmes :

vi /etc/hosts

127.0.0.1       localhost.localdomain   localhost
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   server3.example.com     server3
192.168.0.103   server4.example.com     server4
192.168.0.104   client1.example.com     client1

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

(Il est également possible d'utiliser des adresses IP au lieu de noms d'hôte dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n'avez pas à vous soucier de savoir si les noms d'hôte peuvent être résolus ou non.)

2 Configuration des serveurs GlusterFS

serveur1.exemple.com/serveur2.exemple.com/serveur3.exemple.com/serveur4.exemple.com :

GlusterFS est disponible sous forme de package pour Ubuntu 12.10, nous pouvons donc l'installer comme suit :

apt-get install glusterfs-server

La commande

glusterfsd --version

devrait maintenant afficher la version de GlusterFS que vous venez d'installer (3.2.5 dans ce cas) :

[email protected] :~# glusterfsd --version
glusterfs 3.2.5 construit le 31 janvier 2012 07:39:58
Révision du référentiel :git://git.gluster.com/glusterfs.git
Copyright (c) 2006-2011 Gluster Inc.
GlusterFS est livré avec ABSOLUMENT AUCUNE GARANTIE.
Vous pouvez redistribuer des copies de GlusterFS selon les termes du Licence publique générale GNU.
[email protected] :~#

Si vous utilisez un pare-feu, assurez-vous que les ports TCP 111, 24007, 24008, 24009-(24009 + nombre de briques sur tous les volumes) sont ouverts sur server1.example.com, server2.example.com, server3.example.com et serveur4.exemple.com.

Ensuite, nous devons ajouter server2.example.com, server3.example.com et server4.example.com au pool de stockage approuvé (veuillez noter que j'exécute toutes les commandes de configuration GlusterFS à partir de server1.example.com, mais vous pouvez aussi bien exécutez-les depuis server2.example.com ou server3.example.com ou server4.example.com car la configuration est répliquée entre les nœuds GlusterFS - assurez-vous simplement d'utiliser les bons noms d'hôte ou adresses IP) :

serveur1.exemple.com :

Sur server1.example.com, exécutez

gluster peer probe server2.example.com
gluster peer probe server3.example.com
gluster peer probe server4.example.com

La sortie doit être la suivante :

[email protected] :~# gluster peer probe server2.example.com
Sonde réussie
[email protected] :~#

L'état du pool de stockage approuvé devrait maintenant ressembler à ceci :

gluster peer status

[email protected] :~# statut de pair gluster
Nombre de pairs :3

Nom d'hôte :server2.example.com
Uuid :600ff607-f7fd-43f6-af8d-419df703376d
État :pair dans le cluster (connecté)

Nom d'hôte :server3.example.com
Uuid :1d6a5f3f-c2dd-4727-a050-0431772cc381
État :pair dans le cluster (connecté)

Nom d'hôte :server4.example.com
Uuid :0bd9d445-0b5b-4a91-be6f-02b13c41d5d6
État :Peer in Cluster (Connected)
[email protected] :~#

Ensuite, nous créons le partage répliqué distribué nommé testvol avec deux répliques (veuillez noter que le nombre de répliques est la moitié du nombre de serveurs dans ce cas car nous voulons configurer la réplication distribuée) sur server1.example.com, server2.example.com , server3.example.com et server4.example.com dans le répertoire /data (celui-ci sera créé s'il n'existe pas) :

gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data

[email protected] :~# gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
La création du volume testvol a réussi. Veuillez démarrer le volume pour accéder aux données.
[email protected] :~#

Démarrer le volume :

gluster volume start testvol

Il est possible que la commande ci-dessus vous indique que l'action n'a pas abouti :

[email protected] :~# gluster volume start testvol
Le démarrage du volume testvol a échoué
[email protected] :~#

Dans ce cas, vous devriez vérifier la sortie de...

serveur1.exemple.com/serveur2.exemple.com/serveur3.exemple.com/serveur4.exemple.com :

netstat -tap | grep glusterfsd

sur les deux serveurs.

Si vous obtenez une sortie comme celle-ci...

[email protected] :~# netstat -appuyez | Grep Glusterfsd
TCP 0 0 *:24009 *:* Écoutez 1110 / Glusterfsd
TCP 0 0 LocalHost.Localdom:1019 LocalHost.Localdo:24007 établi 1110 / Glusterfsd
[Protégé de messagerie]:~ #

... tout va bien, mais si vous n'obtenez aucune sortie...

[protégé par e-mail] :~# netstat -tap | grep glusterfsd
[email protected] :~#

... redémarrez le démon GlusterFS sur le serveur correspondant (server2.example.com, server3.example.com et server4.example.com dans ce cas) :

serveur2.exemple.com/serveur3.exemple.com/serveur4.exemple.com :

/etc/init.d/glusterfs-server restart

Vérifiez ensuite la sortie de...

netstat -tap | grep glusterfsd

... à nouveau sur ces serveurs - cela devrait maintenant ressembler à ceci :

[email protected] :~# netstat -appuyez | Grep Glusterfsd
TCP 0 0 *:24009 *:* Écoutez 1152 / Glusterfsd
TCP 0 0 LocalHost.Localdom:1018 LocalHost.Localdo:24007 CONTITÉ 1152 / GLUSTERFSD
[Protégé de messagerie]:~ #

[email protected] :~# netstat -tap | Grep Glusterfsd
TCP 0 0 *:24009 *:* Écoutez 1311 / Glusterfsd
TCP 0 0 LocalHost.Localdom:1018 LocalHost.Localdo:24007 établi 1311 / Glusterfsd
[Protégé de messagerie]:~ #

[email protected] :~# netstat -tap | Grep Glusterfsd
TCP 0 0 *:24009 *:* Écoutez 1297 / Glusterfsd
TCP 0 0 LocalHost.Localdom:1019 LocalHost.Localdo:24007 établi 1297 / Glusterfsd
[Protégé par e-mail]:~ #

Revenons maintenant à server1.example.com :

serveur1.exemple.com :

Vous pouvez vérifier l'état du volume avec la commande

gluster volume info

[email protected]:~# gluster volume info

Nom du volume :testvol
Type :Distribué-Répliqué
Statut :Démarré
Nombre de briques :2 x 2 =4
Type de transport :tcp
Briques :
Brique1 : serveur1.exemple.com :/données
Brique2 : serveur2.exemple.com :/données
Brique3 : serveur3.exemple.com :/données
Brique4 : serveur4.exemple. com:/data
[email protected] :~#

Par défaut, tous les clients peuvent se connecter au volume. Si vous souhaitez accorder l'accès à client1.example.com (=192.168.0.104) uniquement, exécutez :

gluster volume set testvol auth.allow 192.168.0.104

Veuillez noter qu'il est possible d'utiliser des caractères génériques pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple 192.168.0.104,192.168.0.105).

Les informations sur le volume devraient maintenant afficher l'état mis à jour :

gluster volume info

[email protected]:~# gluster volume info

3 Configuration du client GlusterFS

client1.exemple.com :

Sur le client, nous pouvons installer le client GlusterFS comme suit :

apt-get install glusterfs-client

Ensuite, nous créons le répertoire suivant :

mkdir /mnt/glusterfs

C'est ça! Nous pouvons maintenant monter le système de fichiers GlusterFS sur /mnt/glusterfs avec la commande suivante :

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(Au lieu de server1.example.com, vous pouvez également utiliser server2.example.com ou server3.example.com ou server4.example.com dans la commande ci-dessus !)

Vous devriez maintenant voir la nouvelle part dans les sorties de...

mount

[email protected] :~# mount
/dev/mapper/server5-root on / type ext4 (rw,errors=remount-ro)
proc on /proc type proc (rw,noexec,nosuid, nodev)
sysfs sur /sys type sysfs (rw,noexec,nosuid,nodev)
fusectl sur /sys/fs/fuse/connections type fusectl (rw)
aucun sur /sys/kernel /debug type debugfs (rw)
aucun sur /sys/kernel/security type securityfs (rw)
udev sur /dev type devtmpfs (rw,mode=0755)
devpts sur /dev/ pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
tmpfs sur /run type tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
aucun sur /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
aucun sur /run/shm type tmpfs (rw,nosuid,nodev)
/dev/sda1 sur /boot type ext2 (rw)
server1.example.com :/testvol sur /mnt/glusterfs tapez fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[email protected] :~#

... et...

df -h

[email protected] :~# df -h
Système de fichiers            Taille  Utilisé Disponible Utilisation % Monté sur
/dev/mapper/server5-root
                      29G  1.1G    27G    4 % /
udev 238m 4,0k 238m 1% / dev
TMPFS 99M 212K 99M 1% / Run
Aucun 5,0m 0 5,0m 0% / Run / Lock
Aucun 247m 0 247m 0% / Run / Shm / Shm
/dev/sda1             228M   24M  193M  11 % /boot
server1.example.com:/testvol
                      58G  2.1G   53G   4 % /mnt/glusterfsprotected
] :~#

Au lieu de monter manuellement le partage GlusterFS sur le client, vous pouvez modifier /etc/fstab afin que le partage soit monté automatiquement au démarrage du client.

Ouvrez /etc/fstab et ajoutez la ligne suivante :

vi /etc/fstab

[...]
server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0

(Encore une fois, au lieu de server1.example.com, vous pouvez également utiliser server2.example.com ou server3.example.com ou server4.example.com !)

Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :

reboot

Après le redémarrage, vous devriez retrouver le partage dans les sorties de...

df -h

... et...

mount

4 Tests

Créons maintenant des fichiers de test sur le partage GlusterFS :

client1.exemple.com :

appuyez sur /mnt/glusterfs/test1
appuyez sur /mnt/glusterfs/test2
appuyez sur /mnt/glusterfs/test3
appuyez sur /mnt/glusterfs/test4
appuyez sur /mnt/glusterfs/ test5
appuyez sur /mnt/glusterfs/test6

Vérifions maintenant le répertoire /data sur server1.example.com, server2.example.com, server3.example.com et server4.example.com. Vous remarquerez que la réplication1 ainsi que la réplication2 ne contiennent qu'une partie des fichiers/répertoires qui composent le partage GlusterFS sur le client, mais les nœuds qui composent la réplication1 (serveur1 et serveur2) ou la réplication2 (serveur3 et serveur4) contiennent le même fichiers (miroir):

serveur1.exemple.com :

ls -l /data

[email protected] :~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
-rw -r--r-- 1 racine racine 0 2012-12-17 15:49 test2
-rw-r--r-- 1 racine racine 0 2012-12-17 15:49 test4
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test5
[email protected] :~#

serveur2.exemple.com :

ls -l /data

serveur3.exemple.com :

ls -l /data

[email protected] :~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
-rw -r--r-- 1 root root 0 2012-12-17 15:49 test6
[email protected] :~#

serveur4.exemple.com :

ls -l /data

[email protected] :~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
-rw -r--r-- 1 root root 0 2012-12-17 15:49 test6
[email protected] :~#

Maintenant, nous fermons server1.example.com et server4.example.com et ajoutons/supprimons des fichiers sur le partage GlusterFS sur client1.example.com.

serveur1.exemple.com/serveur4.exemple.com :

shutdown -h now

client1.exemple.com :

rm -f /mnt/glusterfs/test5
rm -f /mnt/glusterfs/test6

Les modifications doivent être visibles dans le répertoire /data sur server2.example.com et server3.example.com :

serveur2.exemple.com :

ls -l /data

serveur3.exemple.com :

ls -l /data

[email protected] :~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
[email protégé] :~#

Redémarrons server1.example.com et server4.example.com et regardons le répertoire /data :

serveur1.exemple.com :

ls -l /data

serveur4.exemple.com :

ls -l /data

[email protected] :~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
-rw -r--r-- 1 root root 0 2012-12-17 15:49 test6
[email protected] :~#

Comme vous le voyez, server1.example.com et server4.example.com n'ont pas remarqué les changements qui se sont produits pendant qu'ils étaient en panne. C'est facile à corriger, tout ce que nous avons à faire est d'invoquer une commande de lecture sur le partage GlusterFS sur client1.example.com, par exemple :

client1.exemple.com :

ls -l /mnt/glusterfs/

[email protected] :~# ls -l /mnt/glusterfs/
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test1
-rw-r--r-- 1 racine racine 0 2012-12-17 15:49 test2
-rw-r--r-- 1 racine racine 0 2012-12-17 15:49 test3
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test4
[email protected] :~#

Examinez à nouveau le répertoire /data sur server1.example.com et server4.example.com, et vous devriez voir que les modifications ont été répliquées sur ces nœuds :

serveur1.exemple.com :

ls -l /data

serveur4.exemple.com :

ls -l /data

[email protected] :~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 2012-12-17 15:49 test3
[email protégé] :~#

5 liens

GlusterFS :http://www.gluster.org/
Documentation GlusterFS 3.2 :http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
Ubuntu :http://www.ubuntu.com/