GNU/Linux >> Tutoriels Linux >  >> Fedora

Répartition sur quatre nœuds de stockage avec GlusterFS sur Fedora 12

Ce didacticiel montre comment effectuer une répartition des données (segmentation de données séquentielles logiques, comme un seul fichier, afin que les segments puissent être attribués à plusieurs périphériques physiques de manière circulaire et donc écrits simultanément) sur quatre serveurs de stockage uniques (exécutant Fedora 12) avec GlusterFS. Le système client (Fedora 12 également) pourra accéder au stockage comme s'il s'agissait d'un système de fichiers local. GlusterFS est un système de fichiers en cluster capable d'évoluer jusqu'à plusieurs péta-octets. Il agrège diverses briques de stockage sur une interconnexion Infiniband RDMA ou TCP/IP dans un seul grand système de fichiers réseau parallèle. Les briques de stockage peuvent être constituées de n'importe quel matériel de base, tel que des serveurs x86_64 avec RAID SATA-II et HBA Infiniband.

Veuillez noter que ce type de stockage ne fournit aucune fonctionnalité de haute disponibilité/tolérance aux pannes, comme ce serait le cas avec le stockage répliqué.

Je n'émets aucune garantie que cela fonctionnera pour vous !

1 Remarque préliminaire

Dans ce tutoriel, j'utilise cinq systèmes, quatre serveurs et un client :

  • server1.example.com :adresse IP 192.168.0.100 (serveur)
  • server2.example.com :adresse IP 192.168.0.101 (serveur)
  • server3.example.com :adresse IP 192.168.0.102 (serveur)
  • server4.example.com :adresse IP 192.168.0.103 (serveur)
  • client1.exemple.com :adresse IP 192.168.0.104 (client)

Les cinq systèmes doivent pouvoir résoudre les noms d'hôte des autres systèmes. Si cela ne peut pas être fait via DNS, vous devez modifier le fichier /etc/hosts afin qu'il contienne les lignes suivantes sur les cinq systèmes :

vi /etc/hosts
[...]
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   server3.example.com     server3
192.168.0.103   server4.example.com     server4
192.168.0.104   client1.example.com     client1
[...]

(Il est également possible d'utiliser des adresses IP au lieu de noms d'hôte dans la configuration suivante. Si vous préférez utiliser des adresses IP, vous n'avez pas à vous soucier de savoir si les noms d'hôte peuvent être résolus ou non.)

2 Configuration des serveurs GlusterFS

serveur1.exemple.com/serveur2.exemple.com/serveur3.exemple.com/serveur4.exemple.com :

Le serveur GlusterFS est disponible sous forme de package pour Fedora 12, nous pouvons donc l'installer comme suit :

yum install glusterfs-server

La commande

glusterfs --version

devrait maintenant afficher la version de GlusterFS que vous venez d'installer (2.0.9 dans ce cas) :

[[email protected] ~]# glusterfs --version
glusterfs 2.0.9 construit le 3 jan 2010 00:12:49 
Révision du référentiel : v2.0.9
Copyright (c) 2006- 2009 Gluster Inc. 
GlusterFS est livré avec ABSOLUMENT AUCUNE GARANTIE.
Vous pouvez redistribuer des copies de GlusterFS sous les termes de la licence GNU General Public .
[[email protected] ~]#

Ensuite, nous créons quelques répertoires :

mkdir /data/
mkdir /data/export
mkdir /data/export-ns

Maintenant, nous créons le fichier de configuration du serveur GlusterFS /etc/glusterfs/glusterfsd.vol (nous faisons d'abord une sauvegarde du fichier original /etc/glusterfs/glusterfsd.vol) qui définit quel répertoire sera exporté (/data/export) et quel le client est autorisé à se connecter (192.168.0.101 =client1.example.com) :

cp /etc/glusterfs/glusterfsd.vol /etc/glusterfs/glusterfsd.vol_orig
cat /dev/null> /etc/glusterfs/glusterfsd.vol
vi /etc/glusterfs/glusterfsd.vol

volume posix
  type storage/posix
  option directory /data/export
end-volume

volume locks
  type features/locks
  subvolumes posix
end-volume

volume brick
  type performance/io-threads
  option thread-count 8
  subvolumes locks
end-volume

volume server
  type protocol/server
  option transport-type tcp/server
  option auth.addr.brick.allow 192.168.0.104
  subvolumes brick
end-volume

Veuillez noter qu'il est possible d'utiliser des caractères génériques pour les adresses IP (comme 192.168.*) et que vous pouvez spécifier plusieurs adresses IP séparées par des virgules (par exemple 192.168.0.104,192.168.0.105).

Ensuite, nous créons les liens de démarrage du système pour le serveur GlusterFS et le démarrons :

chkconfig --levels 35 glusterfsd on
/etc/init.d/glusterfsd start

3 Configuration du client GlusterFS

client1.exemple.com :

Il existe un package RPM client GlusterFS pour Fedora 12, mais le problème est que vous obtiendrez des erreurs telles que df :`/mnt/glusterfs' :le logiciel a provoqué l'abandon de la connexion ou df :`/mnt/glusterfs' :le point de terminaison de transport n'est pas connecté lorsque vous essayez d'accéder au partage GlusterFS. C'est pourquoi nous construisons le client GlusterFS à partir des sources pour éviter ces problèmes.

Avant de construire le client GlusterFS, nous installons ses prérequis :

yum groupinstall 'Development Tools'
yum groupinstall 'Development Libraries'
yum install libibverbs-devel fuse-devel

Ensuite, nous téléchargeons les sources de GlusterFS 2.0.9 (veuillez noter qu'il s'agit de la même version qui est installée sur le serveur !) et construisons GlusterFS comme suit :

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.9.tar.gz
tar xvfz glusterfs-2.0.9.tar .gz
cd glusterfs-2.0.9
./configure

À la fin de la commande ./configure, vous devriez voir quelque chose comme ceci :

[...]
Résumé de la configuration de GlusterFS
==================================
FUSE client        :oui
Infiniband verbes   : oui
epoll IO multiplex : oui
Berkeley-DB        :  oui
libglusterfsclient : oui
argp-standalone    : non

[[email protected] glusterfs-2.0.9]#

make &&make install
ldconfig

Vérifiez ensuite la version de GlusterFS (devrait être 2.0.9) :

glusterfs --version

[[email protected] glusterfs-2.0.9]# glusterfs --version
glusterfs 2.0.9 construit le 19 février 2010 19:20:46
Révision du référentiel : v2.0.9
Copyright ( c) 2006-2009 Gluster Inc. 
GlusterFS est fourni avec ABSOLUMENT AUCUNE GARANTIE.
Vous pouvez redistribuer des copies de GlusterFS sous les termes de la GNU General Public Licence.
[[email protected] glusterfs-2.0.9]#

Ensuite, nous créons les deux répertoires suivants :

mkdir /mnt/glusterfs
mkdir /etc/glusterfs

Ensuite, nous créons le fichier /etc/glusterfs/glusterfs.vol :

vi /etc/glusterfs/glusterfs.vol
volume remote1
  type protocol/client
  option transport-type tcp/client
  option remote-host server1.example.com
  option remote-subvolume brick
end-volume

volume remote2
  type protocol/client
  option transport-type tcp/client
  option remote-host server2.example.com
  option remote-subvolume brick
end-volume

volume remote3
  type protocol/client
  option transport-type tcp/client
  option remote-host server3.example.com
  option remote-subvolume brick
end-volume

volume remote4
  type protocol/client
  option transport-type tcp/client
  option remote-host server4.example.com
  option remote-subvolume brick
end-volume

volume stripe
  type cluster/stripe
  option block-size 1MB
  subvolumes remote1 remote2 remote3 remote4
end-volume

volume writebehind
  type performance/write-behind
  option window-size 1MB
  subvolumes stripe
end-volume

volume cache
  type performance/io-cache
  option cache-size 512MB
  subvolumes writebehind
end-volume

Assurez-vous d'utiliser les bons noms d'hôte ou adresses IP de serveur dans l'option lignes d'hôte distant !

C'est ça! Nous pouvons maintenant monter le système de fichiers GlusterFS sur /mnt/glusterfs avec l'une des deux commandes suivantes :

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

ou

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Vous devriez maintenant voir la nouvelle part dans les sorties de...

mount

[[email protected] ~]# mount
/dev/mapper/vg_server5-lv_root on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts sur /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs sur /dev/shm type tmpfs (rw)
/dev/sda1 sur /boot type ext4 (rw)
aucun sur /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
sunrpc sur /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
/etc/glusterfs/glusterfs.vol sur /mnt/glusterfs tapez fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[[email protected] ~]#

... et...

df -h

[[email protected] ~]# df -h
Système de fichiers           Taille  Utilisé Disponible Utilisation % Monté sur
/dev/mapper/vg_server5-lv_root
                      29G   2,5 G   25G  1/>0 % /
/dev/mapper/vg_server5-lv_root
                      29G TMPFS 185M 0 185M 0% / dev / shm
/ dev / sda1 194m 23m 161m 13% / boot
/etc/glusterfs/glusterfs.vol
114g 9.8g 99g 10% / mnt / glusterfs
[[email protected] ~]#

(server1.example.com, server2.example.com, server3.example.com et server4.example.com ont chacun environ 28,5 Go d'espace pour le système de fichiers GlusterFS, de sorte que le partage résultant a une taille d'environ 4 x 28,5 Go (114 Go).)

Au lieu de monter manuellement le partage GlusterFS sur le client, vous pouvez modifier /etc/fstab afin que le partage soit monté automatiquement au démarrage du client.

Ouvrez /etc/fstab et ajoutez la ligne suivante :

vi /etc/fstab  
[...]
/etc/glusterfs/glusterfs.vol  /mnt/glusterfs  glusterfs  defaults  0  0

Pour tester si votre /etc/fstab modifié fonctionne, redémarrez le client :

reboot

Après le redémarrage, vous devriez retrouver le partage dans les sorties de... 

df -h

... et...

mount

4 Tests

Créons maintenant un gros fichier de test sur le partage GlusterFS :

client1.exemple.com :

dd if=/dev/zero of=/mnt/glusterfs/test.img bs=1024k count=1000
ls -l /mnt/glusterfs

[[email protected] ~]# ls -l /mnt/glusterfs
total 1024032
-rw-r--r-- 1 root root 1048576000 2010-02-23 17:31 test.img
[[email protected] ~]#

Vérifions maintenant le répertoire /data/export sur server1.example.com, server2.example.com, server3.example.com et server4.example.com. Vous devriez voir le fichier test.img sur chaque nœud, mais avec des tailles différentes (en raison de la répartition des données) :

serveur1.exemple.com :

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 256008
-rw-r--r-- 1 root root 1045430272 2010-02-23 17:31 test.img
[[email protected] ~]#

serveur2.exemple.com :

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 256008
-rw-r--r-- 1 root root 1046478848 2010-02-23 17:27 test.img
[[email protected] ~]#

serveur3.exemple.com :

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 256008
-rw-r--r-- 1 root root 1047527424 2010-02-23 17:26 test.img
[[email protected] ~]#

serveur4.exemple.com :

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 256008
-rw-r--r-- 1 root root 1048576000 2010-02-23 17:30 test.img
[[email protected] ~]#

5 liens

  • GlusterFS :http://www.gluster.org/
  • Fedora :http://fedoraproject.org/

Fedora

  1. Stockage haute disponibilité avec GlusterFS sur Debian 8 - Mise en miroir sur deux serveurs de stockage

  2. Stockage distribué sur quatre nœuds de stockage avec GlusterFS 3.2.x sur Ubuntu 12.10

  3. Stockage répliqué distribué sur quatre nœuds de stockage avec GlusterFS 3.2.x sur Ubuntu 12.10

  4. Répartition sur quatre nœuds de stockage avec GlusterFS 3.2.x sur Ubuntu 12.10

  5. Stockage distribué sur quatre nœuds de stockage avec GlusterFS sur Debian Lenny

Stockage haute disponibilité avec GlusterFS sur CentOS 7 - Mise en miroir sur deux serveurs de stockage

Stockage répliqué distribué sur quatre nœuds de stockage avec GlusterFS sur Fedora 12

Création d'un serveur de stockage autonome de type NFS avec GlusterFS sur Fedora 12

Stockage haute disponibilité avec GlusterFS sur Fedora 12 - Réplication automatique de fichiers (miroir) sur deux serveurs de stockage

Stockage distribué sur quatre nœuds de stockage avec GlusterFS sur Fedora 12

Création d'un serveur de stockage autonome de type NFS avec GlusterFS sur Fedora 13