GNU/Linux >> Tutoriels Linux >  >> Debian

Stockage distribué sur quatre nœuds de stockage avec GlusterFS sur Debian Lenny

Ce tutoriel montre comment combiner quatre serveurs de stockage uniques (exécutant Debian Lenny) en un seul grand serveur de stockage (stockage distribué) avec GlusterFS. Le système client (Debian Lenny également) pourra accéder au stockage comme s'il s'agissait d'un système de fichiers local. GlusterFS est un système de fichiers en cluster capable d'évoluer jusqu'à plusieurs péta-octets. Il agrège diverses briques de stockage sur une interconnexion Infiniband RDMA ou TCP/IP dans un seul grand système de fichiers réseau parallèle. Les briques de stockage peuvent être constituées de n'importe quel matériel de base, tel que des serveurs x86-64 avec RAID SATA-II et HBA Infiniband.

Veuillez noter que ce type de stockage (stockage distribué) ne fournit aucune fonctionnalité de haute disponibilité, comme ce serait le cas avec le stockage répliqué.

Je n'émets aucune garantie que cela fonctionnera pour vous !

1 Remarque préliminaire

Dans ce tutoriel, j'utilise cinq systèmes, quatre serveurs et un client :

  • server1.example.com :adresse IP 192.168.0.100 (serveur)
  • server2.example.com :adresse IP 192.168.0.101 (serveur)
  • server3.example.com :adresse IP 192.168.0.102 (serveur)
  • server4.example.com :adresse IP 192.168.0.103 (serveur)
  • client1.exemple.com :adresse IP 192.168.0.104 (client)

Les cinq systèmes doivent pouvoir résoudre les noms d'hôte des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts afin qu'il ressemble à ceci sur les cinq systèmes :

vi /etc/hosts
127.0.0.1       localhost.localdomain   localhost
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   server3.example.com     server3
192.168.0.103   server4.example.com     server4
192.168.0.104   client1.example.com     client1

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

(Il est également possible d'utiliser des adresses IP au lieu de noms d'hôte dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n'avez pas à vous soucier de savoir si les noms d'hôte peuvent être résolus ou non.)

2 Configuration des serveurs GlusterFS

serveur1.exemple.com/serveur2.exemple.com/serveur3.exemple.com/serveur4.exemple.com :

GlusterFS n'est pas disponible en tant que paquet Debian pour Debian Lenny, nous devons donc le construire nous-mêmes. Nous installons d'abord les prérequis :

aptitude install sshfs build-essential flex bison byacc libdb4.6 libdb4.6-dev

Ensuite, nous téléchargeons la dernière version de GlusterFS à partir de http://www.gluster.org/download.php et la construisons comme suit :

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.1.tar.gz
tar xvfz glusterfs-2.0.1.tar .gz
cd glusterfs-2.0.1
./configure --prefix=/usr> /dev/null

server1 :/tmp/glusterfs-2.0.1# ./configure --prefix=/usr > /dev/null

Résumé de configuration de GlusterFS
===========================
FUSE client        : non
Infiniband verbes   : non
epoll IO multiplex : oui
Berkeley-DB        :oui
libglusterfsclient : oui
mod_glusterfs      : non ()
argp-standalone    : non

server1:/tmp/glusterfs-2.0.1#

make &&make install
ldconfig

La commande

glusterfs --version

devrait maintenant afficher la version de GlusterFS que vous venez de compiler (2.0.1 dans ce cas) :

server1:/tmp/glusterfs-2.0.1# glusterfs --version
glusterfs 2.0.1 construit le 29 mai 2009 17:23:10
Révision du référentiel :5c1d9108c1529a1155963cb1911f8870a674ab5b
Copyright (c) 2006 -2009 Z RESEARCH Inc.
GlusterFS est livré avec ABSOLUMENT AUCUNE GARANTIE.
Vous pouvez redistribuer des copies de GlusterFS selon les termes de la licence publique générale GNU.
serveur1 :/tmp/glusterfs-2.0.1#

Ensuite, nous créons quelques répertoires :

mkdir /data/
mkdir /data/export
mkdir /data/export-ns
mkdir /etc/glusterfs

Nous créons maintenant le fichier de configuration du serveur GlusterFS /etc/glusterfs/glusterfsd.vol qui définit quel répertoire sera exporté (/data/export) et quel client est autorisé à se connecter (192.168.0.104 =client1.example.com) :

vi /etc/glusterfs/glusterfsd.vol
volume posix
  type storage/posix
  option directory /data/export
end-volume

volume locks
  type features/locks
  subvolumes posix
end-volume

volume brick
  type performance/io-threads
  option thread-count 8
  subvolumes locks
end-volume

volume server
  type protocol/server
  option transport-type tcp
  option auth.addr.brick.allow 192.168.0.104
  subvolumes brick
end-volume

Veuillez noter qu'il est possible d'utiliser des caractères génériques pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple 192.168.0.104,192.168.0.105).

Ensuite, nous créons les liens de démarrage du système pour le script d'initialisation glusterfsd...

update-rc.d glusterfsd defaults

... et lancez glusterfsd :

/etc/init.d/glusterfsd start

3 Configuration du client GlusterFS

client1.exemple.com :

Sur le client, nous devons installer fuse et GlusterFS. Au lieu d'installer le paquet libfuse2 à partir du référentiel Debian, nous installons une version corrigée avec une meilleure prise en charge de GlusterFS.

Nous réinstallons d'abord les prérequis :

aptitude install sshfs build-essential flex bison byacc libdb4.6 libdb4.6-dev

Ensuite, nous construisons le fusible comme suit (vous pouvez trouver la dernière version de fusible corrigée sur ftp://ftp.zresearch.com/pub/gluster/glusterfs/fuse/) :

cd /tmp
wget ftp://ftp.zresearch.com/pub/gluster/glusterfs/fuse/fuse-2.7.4glfs11.tar.gz
tar -zxvf fuse-2.7.4glfs11.tar. gz
cd fuse-2.7.4glfs11
./configure
faire &&faire installer

Ensuite, nous construisons GlusterFS (comme sur le serveur)...

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.1.tar.gz
tar xvfz glusterfs-2.0.1.tar .gz
cd glusterfs-2.0.1
./configure --prefix=/usr> /dev/null

make &&make install
ldconfig
glusterfs --version

... et créez les deux répertoires suivants :

mkdir /mnt/glusterfs
mkdir /etc/glusterfs

Ensuite, nous créons le fichier /etc/glusterfs/glusterfs.vol :

vi /etc/glusterfs/glusterfs.vol
volume remote1
  type protocol/client
  option transport-type tcp
  option remote-host server1.example.com
  option remote-subvolume brick
end-volume

volume remote2
  type protocol/client
  option transport-type tcp
  option remote-host server2.example.com
  option remote-subvolume brick
end-volume

volume remote3
  type protocol/client
  option transport-type tcp
  option remote-host server3.example.com
  option remote-subvolume brick
end-volume

volume remote4
  type protocol/client
  option transport-type tcp
  option remote-host server4.example.com
  option remote-subvolume brick
end-volume

volume distribute
  type cluster/distribute
  subvolumes remote1 remote2 remote3 remote4
end-volume

volume writebehind
  type performance/write-behind
  option window-size 1MB
  subvolumes distribute
end-volume

volume cache
  type performance/io-cache
  option cache-size 512MB
  subvolumes writebehind
end-volume

Assurez-vous d'utiliser les bons noms d'hôte ou adresses IP de serveur dans l'option lignes d'hôte distant !

C'est ça! Nous pouvons maintenant monter le système de fichiers GlusterFS sur /mnt/glusterfs avec l'une des deux commandes suivantes :

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

ou

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Vous devriez maintenant voir la nouvelle part dans les sorties de...

mount

client1 :/tmp/glusterfs-2.0.1# mount
/dev/sda1 sur / type ext3 (rw,errors=remount-ro)
tmpfs sur /lib/init/rw type tmpfs (rw, nosuid,mode=0755)
proc sur /proc type proc (rw,noexec,nosuid,nodev)
sysfs sur /sys type sysfs (rw,noexec,nosuid,nodev)
udev sur /dev type tmpfs (rw,mode=0755)
tmpfs sur /dev/shm type tmpfs (rw,nosuid,nodev)
devpts sur /dev/pts type devpts (rw,noexec,nosuid,gid =5,mode=620)
fusectl sur /sys/fs/fuse/connections type fusectl (rw)
/etc/glusterfs/glusterfs.vol sur /mnt/glusterfs type fuse.glusterfs (rw, max_read=131072,allow_other,default_permissions)
client1 :/tmp/glusterfs-2.0.1#

... et...

df -h

Client1:/tmp/glusterfs-2.0.1# df -h
taille de système de fichiers utilisé disponible Utiliser% monté sur
/ dev / sda1 29g 935m 27g 4% /
TMPFS 126M 0 126M 0% / lib / init / rw
udev 10m 80k 10m 1% / dev
tmpfs 126m 0 126m 0% / dev / shm
/etc/glusterfs/glusterfs.vol
105g 3.4 G   96G   4 % /mnt/glusterfs
client1 :/tmp/glusterfs-2.0.1#

(server1.example.com, server2.example.com, server3.example.com et server4.example.com ont chacun environ 26 Go d'espace pour le système de fichiers GlusterFS, de sorte que le partage résultant a une taille d'environ 4 x 26 Go ( 105 Go).)

Au lieu de monter manuellement le partage GlusterFS sur le client, vous pouvez modifier /etc/fstab afin que le partage soit monté automatiquement au démarrage du client.

Ouvrez /etc/fstab et ajoutez la ligne suivante :

vi /etc/fstab  
[...]
/etc/glusterfs/glusterfs.vol  /mnt/glusterfs  glusterfs  defaults  0  0

Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :

reboot 

Après le redémarrage, vous devriez retrouver le partage dans les sorties de...

df -h 

... et...

mount

4 Tests

Créons maintenant des fichiers de test sur le partage GlusterFS :

client1.exemple.com :

appuyez sur /mnt/glusterfs/test1
appuyez sur /mnt/glusterfs/test2
appuyez sur /mnt/glusterfs/test3
appuyez sur /mnt/glusterfs/test4
appuyez sur /mnt/glusterfs/ test5
appuyez sur /mnt/glusterfs/test6

Vérifions maintenant le répertoire /data/export sur server1.example.com, server2.example.com, server3.example.com et server4.example.com. Vous remarquerez que chaque nœud de stockage ne contient qu'une partie des fichiers/répertoires qui composent le partage GlusterFS sur le client :

serveur1.exemple.com :

ls -l /data/export 

serveur1 :/tmp/glusterfs-2.0.1# ls -l /data/export
total 0
-rw-r--r-- 1 racine racine 0 2009-06-02 18:04 test1
-rw-r--r-- 1 racine racine 0 2009-06-02 18:05 test2
-rw-r--r-- 1 racine racine 0 2009-06-02 18 :06 test5
serveur1 :/tmp/glusterfs-2.0.1#

serveur2.exemple.com :

ls -l /data/export 

serveur2 :/tmp/glusterfs-2.0.1# ls -l /data/export
total 0
-rw-r--r-- 1 racine racine 0 2009-06-02 18:06 test4
serveur2 :/tmp/glusterfs-2.0.1#

serveur3.exemple.com :

ls -l /data/export 

serveur3 :/tmp/glusterfs-2.0.1# ls -l /data/export
total 0
-rw-r--r-- 1 racine racine 0 2009-06-02 18:07 test6
serveur3 :/tmp/glusterfs-2.0.1#

serveur4.exemple.com :

ls -l /data/export 

server4:/tmp/glusterfs-2.0.1# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2009-06-02 18:06 test3
serveur4 :/tmp/glusterfs-2.0.1#

  • GlusterFS :http://www.gluster.org/
  • Debian :http://www.debian.org/

Debian
  1. Stockage haute disponibilité avec GlusterFS sur Debian 8 - Mise en miroir sur deux serveurs de stockage

  2. Stockage distribué sur quatre nœuds de stockage avec GlusterFS 3.2.x sur Ubuntu 12.10

  3. Stockage répliqué distribué sur quatre nœuds de stockage avec GlusterFS 3.2.x sur Ubuntu 12.10

  4. Répartition sur quatre nœuds de stockage avec GlusterFS 3.2.x sur Ubuntu 12.10

  5. Stockage haute disponibilité avec GlusterFS 3.2.x sur Debian Wheezy - Réplication automatique de fichiers (miroir) sur deux serveurs de stockage

Stockage distribué sur quatre nœuds de stockage avec GlusterFS sur CentOS 5.4

Répartition sur quatre nœuds de stockage avec GlusterFS sur CentOS 5.4

Répartition sur quatre nœuds de stockage avec GlusterFS 3.2.x sur CentOS 6.3

Stockage distribué sur quatre nœuds de stockage avec GlusterFS 3.2.x sur CentOS 6.3

Stockage répliqué distribué sur quatre nœuds de stockage avec GlusterFS 3.2.x sur CentOS 6.3

Stockage distribué sur quatre nœuds de stockage avec GlusterFS sur Fedora 12