Stockage répliqué distribué sur quatre nœuds de stockage avec GlusterFS sur CentOS 5.4

Ce didacticiel montre comment combiner quatre serveurs de stockage uniques (exécutant CentOS 5.4) à un stockage répliqué distribué avec GlusterFS. Les nœuds 1 et 2 (réplication1) ainsi que 3 et 4 (réplication2) se mettront en miroir, et la réplication1 et la réplication2 seront combinées sur un serveur de stockage plus grand (distribution). Fondamentalement, il s'agit de RAID10 sur le réseau. Si vous perdez un serveur de réplication1 et un de réplication2, le volume distribué continue de fonctionner. Le système client (CentOS 5.4 également) pourra accéder au stockage comme s'il s'agissait d'un système de fichiers local. GlusterFS est un système de fichiers en cluster capable d'évoluer jusqu'à plusieurs péta-octets. Il agrège diverses briques de stockage sur une interconnexion Infiniband RDMA ou TCP/IP dans un seul grand système de fichiers réseau parallèle. Les briques de stockage peuvent être constituées de n'importe quel matériel de base, tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.

Je n'émets aucune garantie que cela fonctionnera pour vous !

1 Remarque préliminaire

Dans ce tutoriel, j'utilise cinq systèmes, quatre serveurs et un client :

server1.example.com :adresse IP 192.168.0.100 (serveur)
server2.example.com :adresse IP 192.168.0.101 (serveur)
server3.example.com :adresse IP 192.168.0.102 (serveur)
server4.example.com :adresse IP 192.168.0.103 (serveur)
client1.exemple.com :adresse IP 192.168.0.104 (client)

Les cinq systèmes doivent pouvoir résoudre les noms d'hôte des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts afin qu'il contienne les lignes suivantes sur les cinq systèmes :

vi /etc/hosts

[...]
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   server3.example.com     server3
192.168.0.103   server4.example.com     server4
192.168.0.104   client1.example.com     client1
[...]

(Il est également possible d'utiliser des adresses IP au lieu de noms d'hôte dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n'avez pas à vous soucier de savoir si les noms d'hôte peuvent être résolus ou non.)

2 Configuration des serveurs GlusterFS

serveur1.exemple.com/serveur2.exemple.com/serveur3.exemple.com/serveur4.exemple.com :

GlusterFS n'est pas disponible en tant que package pour CentOS 5.4, nous devons donc le construire nous-mêmes. Nous installons d'abord les prérequis :

yum groupinstall 'Development Tools'

yum groupinstall 'Development Libraries'

yum install libibverbs-devel fuse-devel

Ensuite, nous téléchargeons la dernière version de GlusterFS à partir de http://www.gluster.org/download.php et la construisons comme suit :

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.9.tar.gz
tar xvfz glusterfs-2.0.9.tar .gz
cd glusterfs-2.0.9
./configure

À la fin de la commande ./configure, vous devriez voir quelque chose comme ceci :

[...]
Résumé de la configuration de GlusterFS
==================================
FUSE client        :oui
Infiniband verbes   : oui
epoll IO multiplex : oui
Berkeley-DB        :  oui
libglusterfsclient : oui
argp-standalone    : non

[[email protected] glusterfs-2.0.9]#

make &&make install
ldconfig

Vérifiez ensuite la version de GlusterFS (devrait être 2.0.9) :

glusterfs --version

[[email protected] glusterfs-2.0.9]# glusterfs --version
glusterfs 2.0.9 construit le 1er mars 2010 15:34:50
Révision du référentiel :v2.0.9
Copyright ( c) 2006-2009 Gluster Inc.
GlusterFS est livré avec ABSOLUMENT AUCUNE GARANTIE.
Vous pouvez redistribuer des copies de GlusterFS selon les termes de la licence publique générale GNU.
[[email protected] glusterfs-2.0.9]#

Ensuite, nous créons quelques répertoires :

mkdir /data/
mkdir /data/export
mkdir /data/export-ns
mkdir /etc/glusterfs

Nous créons maintenant le fichier de configuration du serveur GlusterFS /etc/glusterfs/glusterfsd.vol qui définit quel répertoire sera exporté (/data/export) et quel client est autorisé à se connecter (192.168.0.104 =client1.example.com) :

vi /etc/glusterfs/glusterfsd.vol

volume posix
  type storage/posix
  option directory /data/export
end-volume

volume locks
  type features/locks
  subvolumes posix
end-volume

volume brick
  type performance/io-threads
  option thread-count 8
  subvolumes locks
end-volume

volume server
  type protocol/server
  option transport-type tcp
  option auth.addr.brick.allow 192.168.0.104
  subvolumes brick
end-volume

Veuillez noter qu'il est possible d'utiliser des caractères génériques pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple 192.168.0.104,192.168.0.105).

Ensuite, nous créons le lien symbolique suivant...

ln -s /usr/local/sbin/glusterfsd /sbin/glusterfsd

... puis les liens de démarrage du système pour le serveur GlusterFS et démarrez-le :

chkconfig --levels 35 glusterfsd on
/etc/init.d/glusterfsd start

3 Configuration du client GlusterFS

client1.exemple.com :

GlusterFS n'est pas disponible en tant que package pour CentOS 5.4, nous devons donc le construire nous-mêmes. Nous installons d'abord les prérequis :

yum groupinstall 'Development Tools'

yum groupinstall 'Development Libraries'

yum install libibverbs-devel fuse-devel

Ensuite, nous chargeons le module fuse kernel...

modprobe fuse

... et créez le fichier /etc/rc.modules avec le contenu suivant afin que le module fusible du noyau soit chargé automatiquement à chaque démarrage du système :

vi /etc/rc.modules

modprobe fuse

Rendre le fichier exécutable :

chmod +x /etc/rc.modules

Ensuite, nous téléchargeons les sources de GlusterFS 2.0.9 (veuillez noter qu'il s'agit de la même version qui est installée sur le serveur !) et construisons GlusterFS comme suit :

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.9.tar.gz
tar xvfz glusterfs-2.0.9.tar .gz
cd glusterfs-2.0.9
./configure

À la fin de la commande ./configure, vous devriez voir quelque chose comme ceci :

make &&make install
ldconfig

Vérifiez ensuite la version de GlusterFS (devrait être 2.0.9) :

glusterfs --version

[[email protected] glusterfs-2.0.9]# glusterfs --version
glusterfs 2.0.9 construite le 1er mars 2010 15:58:06
Révision du référentiel :v2.0.9
Copyright ( c) 2006-2009 Gluster Inc.
GlusterFS est livré avec ABSOLUMENT AUCUNE GARANTIE.
Vous pouvez redistribuer des copies de GlusterFS selon les termes de la licence publique générale GNU.
[[email protected] glusterfs-2.0.9]#

Ensuite, nous créons les deux répertoires suivants :

mkdir /mnt/glusterfs
mkdir /etc/glusterfs

Ensuite, nous créons le fichier /etc/glusterfs/glusterfs.vol :

vi /etc/glusterfs/glusterfs.vol

volume remote1
  type protocol/client
  option transport-type tcp
  option remote-host server1.example.com
  option remote-subvolume brick
end-volume

volume remote2
  type protocol/client
  option transport-type tcp
  option remote-host server2.example.com
  option remote-subvolume brick
end-volume

volume remote3
  type protocol/client
  option transport-type tcp
  option remote-host server3.example.com
  option remote-subvolume brick
end-volume

volume remote4
  type protocol/client
  option transport-type tcp
  option remote-host server4.example.com
  option remote-subvolume brick
end-volume

volume replicate1
  type cluster/replicate
  subvolumes remote1 remote2
end-volume

volume replicate2
  type cluster/replicate
  subvolumes remote3 remote4
end-volume

volume distribute
  type cluster/distribute
  subvolumes replicate1 replicate2
end-volume

volume writebehind
  type performance/write-behind
  option window-size 1MB
  subvolumes distribute
end-volume

volume cache
  type performance/io-cache
  option cache-size 512MB
  subvolumes writebehind
end-volume

Assurez-vous d'utiliser les bons noms d'hôte ou adresses IP de serveur dans l'option lignes d'hôte distant !

C'est ça! Nous pouvons maintenant monter le système de fichiers GlusterFS sur /mnt/glusterfs avec l'une des deux commandes suivantes :

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Vous devriez maintenant voir la nouvelle part dans les sorties de...

mount

[[email protected] ~]# mount
/dev/mapper/VolGroup00-LogVol00 sur / type ext3 (rw)
proc sur /proc type proc (rw)
sysfs sur /sys type sysfs (rw)
devpts sur /dev/pts type devpts (rw,gid=5,mode=620)
/dev/sda1 sur /boot type ext3 (rw)
tmpfs sur / dev/shm type tmpfs (rw)
aucun sur /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
sunrpc sur /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
glusterfs#/etc/glusterfs/glusterfs.vol sur le fusible de type /mnt/glusterfs (rw,allow_other,default_permissions,max_read=131072)
[[email protected] ~]#

... et...

df -h

[[email protected] ~]# df -h
Système de fichiers Taille Utilisé Disponible Utilisation % Monté sur
/dev/mapper/VolGroup00-LogVol00
29G 2.2G 25G 9/> % /
/ dev / sda1 99m 13m 82m 14% / démarrage
TMPFS 187M 0 187M 0% / dev / shm
Glusterfs # / etc / glusterfs / glusterfs.vol
56g 2.3g 54g 4% / mnt/glusterfs
[[email protected] ~]#

(La taille du stockage distribué est calculée par réplication1 + réplication2, où les deux volumes de réplication sont aussi grands que la plus petite brique.)

Au lieu de monter manuellement le partage GlusterFS sur le client, vous pouvez modifier /etc/fstab afin que le partage soit monté automatiquement au démarrage du client.

Ouvrez /etc/fstab et ajoutez la ligne suivante :

vi /etc/fstab

[...]
/etc/glusterfs/glusterfs.vol  /mnt/glusterfs  glusterfs  defaults  0  0

Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :

reboot

Après le redémarrage, vous devriez retrouver le partage dans les sorties de...

df -h

... et...

mount

4 Tests

Créons maintenant des fichiers de test sur le partage GlusterFS :

client1.exemple.com :

appuyez sur /mnt/glusterfs/test1
appuyez sur /mnt/glusterfs/test2
appuyez sur /mnt/glusterfs/test3
appuyez sur /mnt/glusterfs/test4
appuyez sur /mnt/glusterfs/ test5
appuyez sur /mnt/glusterfs/test6

Vérifions maintenant le répertoire /data/export sur server1.example.com, server2.example.com, server3.example.com et server4.example.com. Vous remarquerez que la réplication1 ainsi que la réplication2 ne contiennent qu'une partie des fichiers/répertoires qui composent le partage GlusterFS sur le client, mais les nœuds qui composent la réplication1 (serveur1 et serveur2) ou la réplication2 (serveur3 et serveur4) contiennent le même fichiers (miroir):

serveur1.exemple.com :

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test1
-rw-r--r-- 1 racine racine 0 2010-02-23 15:41 test2
-rw-r--r-- 1 racine racine 0 2010-02-23 15:41 test4
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test5
[[email protected] ~]#

serveur2.exemple.com :

ls -l /data/export

serveur3.exemple.com :

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test3
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test6
[[email protected] ~]#

serveur4.exemple.com :

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test3
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test6
[[email protected] ~]#

Maintenant, nous fermons server1.example.com et server4.example.com et ajoutons/supprimons des fichiers sur le partage GlusterFS sur client1.example.com.

serveur1.exemple.com/serveur4.exemple.com :

shutdown -h now

client1.exemple.com :

rm -f /mnt/glusterfs/test5
rm -f /mnt/glusterfs/test6

Les modifications doivent être visibles dans le répertoire /data/export sur server2.example.com et server3.example.com :

serveur2.exemple.com :

ls -l /data/export

serveur3.exemple.com :

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test3
[[email protected] ~]#

Redémarrons server1.example.com et server4.example.com et regardons le répertoire /data/export :

serveur1.exemple.com :

ls -l /data/export

serveur4.exemple.com :

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test3
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test6
[[email protected] ~]#

Comme vous le voyez, server1.example.com et server4.example.com n'ont pas remarqué les changements qui se sont produits pendant qu'ils étaient en panne. C'est facile à corriger, tout ce que nous avons à faire est d'invoquer une commande de lecture sur le partage GlusterFS sur client1.example.com, par exemple :

client1.exemple.com :

ls -l /mnt/glusterfs/

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test1
-rw-r--r-- 1 racine racine 0 2010-02-23 15:41 test2
-rw-r--r-- 1 racine racine 0 2010-02-23 15:41 test3
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test4
[[email protected] ~]#

Examinez à nouveau le répertoire /data/export sur server1.example.com et server4.example.com, et vous devriez voir que les modifications ont été répliquées sur ces nœuds :

serveur1.exemple.com :

ls -l /data/export

serveur4.exemple.com :

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-23 15:41 test3
[[email protected] ~]#

5 liens

GlusterFS :http://www.gluster.org/
CentOS :http://www.centos.org/