Ce tutoriel montre comment mettre en place un stockage haute disponibilité avec deux serveurs de stockage (Debian Squeeze) qui utilisent GlusterFS. Chaque serveur de stockage sera un miroir de l'autre serveur de stockage et les fichiers seront automatiquement répliqués sur les deux serveurs de stockage. Le système client (Debian Squeeze également) pourra accéder au stockage comme s'il s'agissait d'un système de fichiers local. GlusterFS est un système de fichiers en cluster capable d'évoluer jusqu'à plusieurs péta-octets. Il agrège diverses briques de stockage sur une interconnexion Infiniband RDMA ou TCP/IP dans un seul grand système de fichiers réseau parallèle. Les briques de stockage peuvent être constituées de n'importe quel matériel de base, tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.
Je n'émets aucune garantie que cela fonctionnera pour vous !
1 Remarque préliminaire
Dans ce tutoriel, j'utilise trois systèmes, deux serveurs et un client :
- server1.example.com :adresse IP 192.168.0.100 (serveur)
- server2.example.com :adresse IP 192.168.0.101 (serveur)
- client1.exemple.com :adresse IP 192.168.0.102 (client)
Les trois systèmes doivent pouvoir résoudre les noms d'hôte des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts afin qu'il ressemble à ceci sur les trois systèmes :
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost192.168.0.100 serveur1.exemple.com serveur1192.168.0.101 serveur2.exemple.com serveur2192.168.0.102 client1.example.com client1# Les lignes suivantes sont souhaitables pour les hôtes compatibles IPv6 ::1 localhost ip6-localhost ip6-loopbackfe00::0 ip6-localnetff00::0 ip6-mcastprefixff02 ::1 ip6-allnodesff02 ::2 ip6-allroutersff02 ::3 ip6-allhosts |
(Il est également possible d'utiliser des adresses IP au lieu de noms d'hôte dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n'avez pas à vous soucier de savoir si les noms d'hôte peuvent être résolus ou non.)
2 Configuration des serveurs GlusterFS
serveur1.exemple.com/serveur2.exemple.com :
GlusterFS est disponible sous forme de paquet pour Debian Squeeze, nous pouvons donc l'installer comme suit :
apt-get install glusterfs-server
La commande
glusterfs --version
devrait maintenant afficher la version de GlusterFS que vous venez d'installer (3.0.5 dans ce cas) :
[email protected] :~# glusterfs --version
glusterfs 3.0.5 créée le 13 juillet 2010 16:44:21
Révision du référentiel :v3.0.5
Copyright (c) 2006-2009 Gluster Inc.
GlusterFS est livré avec ABSOLUMENT AUCUNE GARANTIE.
Vous pouvez redistribuer des copies de GlusterFS selon les termes de la licence publique générale GNU.
[ e-mail protégé] :~#
Ensuite, nous créons quelques répertoires :
mkdir /data/
mkdir /data/export
mkdir /data/export-ns
Maintenant, nous créons le fichier de configuration du serveur GlusterFS /etc/glusterfs/glusterfsd.vol (nous faisons d'abord une sauvegarde du fichier original /etc/glusterfs/glusterfsd.vol) qui définit quel répertoire sera exporté (/data/export) et quel le client est autorisé à se connecter (192.168.0.102 =client1.example.com) :
cp /etc/glusterfs/glusterfsd.vol /etc/glusterfs/glusterfsd.vol_orig
cat /dev/null> /etc/glusterfs/glusterfsd.vol
vi /etc/glusterfs/glusterfsd.vol
volume posix type storage/posix option directory /data/exportend-volumevolume verrous type features/locks subvolumes posixend-volumevolume brick type performance/io-threads option nombre de threads 8 sous-volumes locksend-volumevolume type de serveur protocole/option de serveur transport-type option tcp auth.addr.brick.allow 192.168.0.102 sous-volumes brickend-volume |
Veuillez noter qu'il est possible d'utiliser des caractères génériques pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple, 192.168.0.102,192.168.0.103).
Ensuite, nous démarrons le serveur GlusterFS :
/etc/init.d/glusterfs-server start
3 Configuration du client GlusterFS
client1.exemple.com :
Sur le client, nous pouvons installer le client GlusterFS comme suit :
apt-get install glusterfs-client
Ensuite, nous créons le répertoire suivant :
mkdir /mnt/glusterfs
Ensuite, nous créons le fichier /etc/glusterfs/glusterfs.vol (nous faisons d'abord une sauvegarde du fichier original /etc/glusterfs/glusterfs.vol) :
cp /etc/glusterfs/glusterfs.vol /etc/glusterfs/glusterfs.vol_orig
cat /dev/null> /etc/glusterfs/glusterfs.vol
vi /etc/glusterfs/glusterfs.vol
volume remote1 type protocol/client option transport-type tcp option remote-host server1.example.com option remote-subvolume brickend-volumevolume remote2 type protocol/ client option transport-type tcp option remote-host server2.example.com option remote-subvolume brickend-volumevolume replica type cluster/replicate subvolumes remote1 remote2end-volumevolume writebehind type performance/write-behind option window-size 1MB sous-volumes replicaend-volumevolume cache type performance/io-cache option cache-size 512 Mo sous-volumes writebehindend-volume |
Assurez-vous d'utiliser les bons noms d'hôte ou adresses IP de serveur dans l'option lignes d'hôte distant !
C'est ça! Nous pouvons maintenant monter le système de fichiers GlusterFS sur /mnt/glusterfs avec l'une des deux commandes suivantes :
glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs
ou
mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs
Vous devriez maintenant voir la nouvelle part dans les sorties de...
monter
[email protected] :~# mount
/dev/sda1 on / type ext3 (rw,errors=remount-ro)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc sur /proc type proc (rw,noexec,nosuid,nodev)
sysfs sur /sys type sysfs (rw,noexec,nosuid,nodev)
udev sur /dev type tmpfs (rw,mode=0755)
tmpfs sur /dev/shm type tmpfs (rw,nosuid,nodev)
devpts sur /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode =620)
fusectl sur /sys/fs/fuse/connections tapez fusectl (rw)
/etc/glusterfs/glusterfs.vol sur /mnt/glusterfs tapez fuse.glusterfs (rw,allow_other,default_permissions, max_read=131072)
[e-mail protégé] :~#
... et...
df -h
[Protégé par e-mail]:~ # df -h
Taille du système de fichiers Utilisé disponible Utiliser% monté sur
/ dev / sda1 29g 778m 27g 3% /
TMPFS 249M 0 249M 0% / LIB / INIT / INIT / INIT / rw
udev 244m 100k 244m 1% / dev
tmpfs 249m 0 249m 0% / dev / shm
/etc/glusterfs/glusterfs.vol
18g 848m 16g 5% / mnt/glusterfs
[email protected] :~#
(server1.example.com et server2.example.com ont chacun 18 Go d'espace pour le système de fichiers GlusterFS, mais comme les données sont en miroir, le client ne voit pas 36 Go (2 x 18 Go), mais seulement 18 Go.)
Au lieu de monter manuellement le partage GlusterFS sur le client, vous pouvez modifier /etc/fstab afin que le partage soit monté automatiquement au démarrage du client.
Ouvrez /etc/fstab et ajoutez la ligne suivante :
vi /etc/fstab
[...]/etc/glusterfs/glusterfs.vol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |
Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :
redémarrer
Après le redémarrage, vous devriez retrouver le partage dans les sorties de...
df -h
... et...
monter
Si la modification de /etc/fstab ne vous aide pas, annulez votre modification de /etc/fstab et ajoutez cette ligne à /etc/rc.local à la place (avant la ligne exit 0) :
vi /etc/rc.local
[...]/bin/mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs[...] |
Cela garantit que le partage est monté une fois le réseau en marche.
4 Tests
Créons maintenant des fichiers de test sur le partage GlusterFS :
client1.exemple.com :
appuyez sur /mnt/glusterfs/test1
appuyez sur /mnt/glusterfs/test2
Vérifions maintenant le répertoire /data/export sur server1.example.com et server2.example.com. Les fichiers test1 et test2 doivent être présents sur chaque nœud :
serveur1.exemple.com/serveur2.exemple.com :
ls -l /data/export
[email protected] :~# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test2
[email protected] :~#
Maintenant, nous fermons server1.example.com et ajoutons/supprimons des fichiers sur le partage GlusterFS sur client1.example.com.
serveur1.exemple.com :
fermer -h maintenant
client1.exemple.com :
toucher /mnt/glusterfs/test3
toucher /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2
Les modifications doivent être visibles dans le répertoire /data/export sur server2.example.com :
serveur2.exemple.com :
ls -l /data/export
[email protected] :~# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1
-rw-r--r-- 1 racine racine 0 2012-03-29 14:52 test3
-rw-r--r-- 1 racine racine 0 2012-03-29 14:52 test4
/>[e-mail protégé] :~#
Redémarrons server1.example.com et regardons le répertoire /data/export :
serveur1.exemple.com :
ls -l /data/export
[email protected] :~# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test2
[email protected] :~#
Comme vous le voyez, server1.example.com n'a pas remarqué les changements qui se sont produits pendant qu'il était en panne. C'est facile à corriger, tout ce que nous avons à faire est d'invoquer une commande de lecture sur le partage GlusterFS sur client1.example.com, par exemple :
client1.exemple.com :
ls -l /mnt/glusterfs/
[email protected] :~# ls -l /mnt/glusterfs/
total 8
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1
-rw-r--r-- 1 racine racine 0 2012-03-29 14:52 test3
-rw-r--r-- 1 racine racine 0 2012-03-29 14:52 test4
[e-mail protégé] :~#
Examinez à nouveau le répertoire /data/export sur server1.example.com et vous devriez voir que les modifications ont été répliquées sur ce nœud :
serveur1.exemple.com :
ls -l /data/export
[email protected] :~# ls -l /data/export
total 8
-rw-r--r-- 1 root root 0 2012-03-29 14:51 test1
-rw-r--r-- 1 racine racine 0 2012-03-29 14:52 test3
-rw-r--r-- 1 racine racine 0 2012-03-29 14:52 test4
/>[e-mail protégé] :~#
5 liens
- GlusterFS :http://www.gluster.org/
- Debian :http://www.debian.org/