Ce tutoriel montre comment combiner quatre serveurs de stockage uniques (exécutant Debian Lenny) à un stockage répliqué distribué avec GlusterFS. Les nœuds 1 et 2 (réplication1) ainsi que 3 et 4 (réplication2) se mettront en miroir, et la réplication1 et la réplication2 seront combinées sur un serveur de stockage plus grand (distribution). Fondamentalement, il s'agit de RAID10 sur le réseau. Si vous perdez un serveur de réplication1 et un de réplication2, le volume distribué continue de fonctionner. Le système client (Debian Lenny également) pourra accéder au stockage comme s'il s'agissait d'un système de fichiers local. GlusterFS est un système de fichiers en cluster capable d'évoluer jusqu'à plusieurs péta-octets. Il agrège diverses briques de stockage sur une interconnexion Infiniband RDMA ou TCP/IP dans un seul grand système de fichiers réseau parallèle. Les briques de stockage peuvent être constituées de n'importe quel matériel de base, tel que des serveurs x86-64 avec RAID SATA-II et HBA Infiniband.
Je n'émets aucune garantie que cela fonctionnera pour vous !
1 Remarque préliminaire
Dans ce tutoriel, j'utilise cinq systèmes, quatre serveurs et un client :
- server1.example.com :adresse IP 192.168.0.100 (serveur)
- server2.example.com :adresse IP 192.168.0.101 (serveur)
- server3.example.com :adresse IP 192.168.0.102 (serveur)
- server4.example.com :adresse IP 192.168.0.103 (serveur)
- client1.exemple.com :adresse IP 192.168.0.104 (client)
Les cinq systèmes doivent pouvoir résoudre les noms d'hôte des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts afin qu'il ressemble à ceci sur les cinq systèmes :
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 server3.example.com server3 192.168.0.103 server4.example.com server4 192.168.0.104 client1.example.com client1 # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts |
(Il est également possible d'utiliser des adresses IP au lieu de noms d'hôte dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n'avez pas à vous soucier de savoir si les noms d'hôte peuvent être résolus ou non.)
2 Configuration des serveurs GlusterFS
serveur1.exemple.com/serveur2.exemple.com/serveur3.exemple.com/serveur4.exemple.com :
GlusterFS n'est pas disponible en tant que paquet Debian pour Debian Lenny, nous devons donc le construire nous-mêmes. Nous installons d'abord les prérequis :
aptitude install sshfs build-essential flex bison byacc libdb4.6 libdb4.6-dev
Ensuite, nous téléchargeons la dernière version de GlusterFS à partir de http://www.gluster.org/download.php et la construisons comme suit :
cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.1.tar.gz
tar xvfz glusterfs-2.0.1.tar .gz
cd glusterfs-2.0.1
./configure --prefix=/usr> /dev/null
server1 :/tmp/glusterfs-2.0.1# ./configure --prefix=/usr > /dev/null
Résumé de configuration de GlusterFS
===========================
FUSE client : non
Infiniband verbes : non
epoll IO multiplex : oui
Berkeley-DB :oui
libglusterfsclient : oui
mod_glusterfs : non ()
argp-standalone : non
server1:/tmp/glusterfs-2.0.1#
make &&make install
ldconfig
La commande
glusterfs --version
devrait maintenant afficher la version de GlusterFS que vous venez de compiler (2.0.1 dans ce cas) :
server1:/tmp/glusterfs-2.0.1# glusterfs --version
glusterfs 2.0.1 construit le 29 mai 2009 17:23:10
Révision du référentiel :5c1d9108c1529a1155963cb1911f8870a674ab5b
Copyright (c) 2006 -2009 Z RESEARCH Inc.
GlusterFS est livré avec ABSOLUMENT AUCUNE GARANTIE.
Vous pouvez redistribuer des copies de GlusterFS selon les termes de la licence publique générale GNU.
serveur1 :/tmp/glusterfs-2.0.1#
Ensuite, nous créons quelques répertoires :
mkdir /data/
mkdir /data/export
mkdir /data/export-ns
mkdir /etc/glusterfs
Nous créons maintenant le fichier de configuration du serveur GlusterFS /etc/glusterfs/glusterfsd.vol qui définit quel répertoire sera exporté (/data/export) et quel client est autorisé à se connecter (192.168.0.104 =client1.example.com) :
vi /etc/glusterfs/glusterfsd.vol
volume posix type storage/posix option directory /data/export end-volume volume locks type features/locks subvolumes posix end-volume volume brick type performance/io-threads option thread-count 8 subvolumes locks end-volume volume server type protocol/server option transport-type tcp option auth.addr.brick.allow 192.168.0.104 subvolumes brick end-volume |
Veuillez noter qu'il est possible d'utiliser des caractères génériques pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple 192.168.0.104,192.168.0.105).
Ensuite, nous créons les liens de démarrage du système pour le script d'initialisation glusterfsd...
update-rc.d glusterfsd defaults
... et lancez glusterfsd :
/etc/init.d/glusterfsd start
3 Configuration du client GlusterFS
client1.exemple.com :
Sur le client, nous devons installer fuse et GlusterFS. Au lieu d'installer le paquet libfuse2 à partir du référentiel Debian, nous installons une version corrigée avec une meilleure prise en charge de GlusterFS.
Nous réinstallons d'abord les prérequis :
aptitude install sshfs build-essential flex bison byacc libdb4.6 libdb4.6-dev
Ensuite, nous construisons le fusible comme suit (vous pouvez trouver la dernière version de fusible corrigée sur ftp://ftp.zresearch.com/pub/gluster/glusterfs/fuse/) :
cd /tmp
wget ftp://ftp.zresearch.com/pub/gluster/glusterfs/fuse/fuse-2.7.4glfs11.tar.gz
tar -zxvf fuse-2.7.4glfs11.tar. gz
cd fuse-2.7.4glfs11
./configure
faire &&faire installer
Ensuite, nous construisons GlusterFS (comme sur le serveur)...
cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.1.tar.gz
tar xvfz glusterfs-2.0.1.tar .gz
cd glusterfs-2.0.1
./configure --prefix=/usr> /dev/null
make &&make install
ldconfig
glusterfs --version
... et créez les deux répertoires suivants :
mkdir /mnt/glusterfs
mkdir /etc/glusterfs
Ensuite, nous créons le fichier /etc/glusterfs/glusterfs.vol :
vi /etc/glusterfs/glusterfs.vol
volume remote1 type protocol/client option transport-type tcp option remote-host server1.example.com option remote-subvolume brick end-volume volume remote2 type protocol/client option transport-type tcp option remote-host server2.example.com option remote-subvolume brick end-volume volume remote3 type protocol/client option transport-type tcp option remote-host server3.example.com option remote-subvolume brick end-volume volume remote4 type protocol/client option transport-type tcp option remote-host server4.example.com option remote-subvolume brick end-volume volume replicate1 type cluster/replicate subvolumes remote1 remote2 end-volume volume replicate2 type cluster/replicate subvolumes remote3 remote4 end-volume volume distribute type cluster/distribute subvolumes replicate1 replicate2 end-volume volume writebehind type performance/write-behind option window-size 1MB subvolumes distribute end-volume volume cache type performance/io-cache option cache-size 512MB subvolumes writebehind end-volume |
Assurez-vous d'utiliser les bons noms d'hôte ou adresses IP de serveur dans l'option lignes d'hôte distant !
C'est ça! Nous pouvons maintenant monter le système de fichiers GlusterFS sur /mnt/glusterfs avec l'une des deux commandes suivantes :
glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs
ou
mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs
Vous devriez maintenant voir la nouvelle part dans les sorties de...
mount
client1 :/tmp/glusterfs-2.0.1# mount
/dev/sda1 sur / type ext3 (rw,errors=remount-ro)
tmpfs sur /lib/init/rw type tmpfs (rw, nosuid,mode=0755)
proc sur /proc type proc (rw,noexec,nosuid,nodev)
sysfs sur /sys type sysfs (rw,noexec,nosuid,nodev)
udev sur /dev type tmpfs (rw,mode=0755)
tmpfs sur /dev/shm type tmpfs (rw,nosuid,nodev)
devpts sur /dev/pts type devpts (rw,noexec,nosuid,gid =5,mode=620)
fusectl sur /sys/fs/fuse/connections type fusectl (rw)
/etc/glusterfs/glusterfs.vol sur /mnt/glusterfs type fuse.glusterfs (rw, max_read=131072,allow_other,default_permissions)
client1 :/tmp/glusterfs-2.0.1#
... et...
df -h
Client1:/tmp/glusterfs-2.0.1# df -h
taille de système de fichiers utilisé disponible Utiliser% monté sur
/ dev / sda1 29g 935m 27g 4% /
TMPFS 126M 0 126M 0% / lib / init / rw
udev 10m 80k 10m 1% / dev
tmpfs 126m 0 126m 0% / dev / shm
/etc/glusterfs/glusterfs.vol
48g 1.7 G 44G 4 % /mnt/glusterfs
client1 :/tmp/glusterfs-2.0.1#
(La taille du stockage distribué est calculée par réplication1 + réplication2, où les deux volumes de réplication sont aussi grands que la plus petite brique.)
Au lieu de monter manuellement le partage GlusterFS sur le client, vous pouvez modifier /etc/fstab afin que le partage soit monté automatiquement au démarrage du client.
Ouvrez /etc/fstab et ajoutez la ligne suivante :
vi /etc/fstab
[...] /etc/glusterfs/glusterfs.vol /mnt/glusterfs glusterfs defaults 0 0 |
Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :
reboot
Après le redémarrage, vous devriez retrouver le partage dans les sorties de...
df -h
... et...
mount
4 Tests
Créons maintenant des fichiers de test sur le partage GlusterFS :
client1.exemple.com :
appuyez sur /mnt/glusterfs/test1
appuyez sur /mnt/glusterfs/test2
appuyez sur /mnt/glusterfs/test3
appuyez sur /mnt/glusterfs/test4
appuyez sur /mnt/glusterfs/ test5
appuyez sur /mnt/glusterfs/test6
Vérifions maintenant le répertoire /data/export sur server1.example.com, server2.example.com, server3.example.com et server4.example.com. Vous remarquerez que la réplication1 ainsi que la réplication2 ne contiennent qu'une partie des fichiers/répertoires qui composent le partage GlusterFS sur le client, mais les nœuds qui composent la réplication1 (serveur1 et serveur2) ou la réplication2 (serveur3 et serveur4) contiennent le même fichiers (miroir):
serveur1.exemple.com :
ls -l /data/export
serveur1 :/tmp/glusterfs-2.0.1# ls -l /data/export
total 0
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test1
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test2
-rw-r--r-- 1 racine racine 0 2009-06-03 15 :24 test4
-rw-r--r-- 1 root root 0 2009-06-03 15:24 test5
server1:/tmp/glusterfs-2.0.1#
serveur2.exemple.com :
ls -l /data/export
serveur2 :/tmp/glusterfs-2.0.1# ls -l /data/export
total 0
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test1
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test2
-rw-r--r-- 1 racine racine 0 2009-06-03 15 :24 test4
-rw-r--r-- 1 root root 0 2009-06-03 15:24 test5
server2:/tmp/glusterfs-2.0.1#
serveur3.exemple.com :
ls -l /data/export
serveur3 :/tmp/glusterfs-2.0.1# ls -l /data/export
total 0
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test3
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test6
server3:/tmp/glusterfs-2.0.1#
serveur4.exemple.com :
ls -l /data/export
server4:/tmp/glusterfs-2.0.1# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2009-06-03 15:24 test3
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test6
server4:/tmp/glusterfs-2.0.1#
Maintenant, nous fermons server1.example.com et server4.example.com et ajoutons/supprimons des fichiers sur le partage GlusterFS sur client1.example.com.
serveur1.exemple.com/serveur4.exemple.com :
shutdown -h now
client1.exemple.com :
rm -f /mnt/glusterfs/test5
rm -f /mnt/glusterfs/test6
Les modifications doivent être visibles dans le répertoire /data/export sur server2.example.com et server3.example.com :
serveur2.exemple.com :
ls -l /data/export
serveur2 :/tmp/glusterfs-2.0.1# ls -l /data/export
total 0
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test1
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test2
-rw-r--r-- 1 racine racine 0 2009-06-03 15 :24 test4
serveur2 :/tmp/glusterfs-2.0.1#
serveur3.exemple.com :
ls -l /data/export
serveur3 :/tmp/glusterfs-2.0.1# ls -l /data/export
total 0
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test3
serveur3 :/tmp/glusterfs-2.0.1#
Redémarrons server1.example.com et server4.example.com et regardons le répertoire /data/export :
serveur1.exemple.com :
ls -l /data/export
serveur1 :~# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2009-06-03 15:24 test1
-rw- r--r-- 1 racine racine 0 2009-06-03 15:24 test2
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test4
- rw-r--r-- 1 root root 0 2009-06-03 15:24 test5
server1:~#
serveur4.exemple.com :
ls -l /data/export
serveur4 :~# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2009-06-03 15:24 test3
-rw- r--r-- 1 root root 0 2009-06-03 15:24 test6
server4:~#
Comme vous le voyez, server1.example.com et server4.example.com n'ont pas remarqué les changements qui se sont produits pendant qu'ils étaient en panne. C'est facile à corriger, tout ce que nous avons à faire est d'invoquer une commande de lecture sur le partage GlusterFS sur client1.example.com, par exemple :
client1.exemple.com :
ls -l /mnt/glusterfs/
client1 :~# ls -l /mnt/glusterfs/
total 0
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test1
-rw -r--r-- 1 racine racine 0 2009-06-03 15:24 test2
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test3
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test4
client1:~#
Examinez à nouveau le répertoire /data/export sur server1.example.com et server4.example.com, et vous devriez voir que les modifications ont été répliquées sur ces nœuds :
serveur1.exemple.com :
ls -l /data/export
serveur1 :~# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2009-06-03 15:24 test1
-rw- r--r-- 1 racine racine 0 2009-06-03 15:24 test2
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test4
serveur1 :~#
serveur4.exemple.com :
ls -l /data/export
serveur4 :~# ls -l /data/export
total 0
-rw-r--r-- 1 racine racine 0 2009-06-03 15:24 test3
serveur4 :~ #
5 liens
- GlusterFS :http://www.gluster.org/
- Debian :http://www.debian.org/