En fait, je ne pense pas qu'il y ait autant d'options réalistes. Par ordre de préférence, mes choix seraient :
- Amazon S3. Répond à toutes vos exigences, ainsi qu'à vos qualités facultatives. A un très bon historique de disponibilité et de support. Ce n'est pas interne; mais n'est-ce vraiment pas une exigence que vous pourriez contourner, f.x. en utilisant un accès VPN ou simplement le bon vieux HTTPS... S3 serait vraiment mon premier choix, si la latence WAN et la tarification d'Amazon vous conviennent. Et si le prix ne vous convient pas, eh bien, je doute qu'une solution DYI soit vraiment beaucoup moins chère...
- MogileFS semble répondre parfaitement à vos besoins. Il n'y a pas beaucoup d'activité autour de MogileFS, mais c'est principalement parce qu'il fonctionne comme prévu pour ses (relativement peu) utilisateurs.
- Lustre a une très bonne technologie derrière lui, est un système de fichiers POSIX local régulier (si cela vous convient), et a été continuellement mis à jour au fil des ans. La grande question est de savoir si toute la fusion Sun - Oracle aura un impact sur Lustre. À long terme, si Sun joue bien ses cartes, alors avoir ZFS et Lustre sous un même toit pourrait conduire à de très belles choses... À l'heure actuelle, je pense que Lustre est principalement utilisé dans les initiatives HPC académiques et commerciales et non dans les applications Internet -- c'est peut-être faux, mais si Lustre se porte bien dans les applications Internet, il est certain qu'ils ne commercialisent pas bien ce fait...
Hadoop Distributed File System (HDFS) ne correspondrait pas à vos besoins IMHO. HDFS est génial, mais son approche de type bigtable signifie qu'il est moins accessible que les systèmes de fichiers ci-dessus. Bien sûr, si vous recherchez vraiment une évolutivité massive et une perspective à long terme, alors HDFS peut être ce qu'il vous faut, avec Yahoo, Facebook et d'autres investis dans la croissance de Hadoop.
Un commentaire, la plupart des systèmes ci-dessus copient l'intégralité du fichier sur 2-3 nœuds pour obtenir une redondance. Cela prend beaucoup plus de place que les schémas d'encodage de parité / RAID, mais c'est gérable à grande échelle, et cela semble être la solution que tout le monde a prise. Vous n'obtiendrez donc pas les 75 % d'efficacité que vous mentionnez...
Si c'était moi, j'utiliserais GlusterFS. La version actuelle est assez solide et je connais des gens dans de très grandes installations à la fois dans l'espace HPC et Internet qui en dépendent dans leurs systèmes de production. Vous pouvez essentiellement l'adapter à vos besoins en disposant les composants selon vos besoins. Contrairement à Lustre, il n'y a pas de serveurs de métadonnées dédiés, les points de défaillance centraux sont donc minimisés et il est plus facile de faire évoluer la configuration.
Malheureusement, je ne pense pas qu'il existe un moyen simple de répondre à vos critères de 75 % sans sacrifier les performances.
Il fonctionne sur du matériel de base, mais les performances brillent vraiment lors de l'utilisation de l'interconnexion Infiniband. Heureusement, le prix d'IB est vraiment assez bas de nos jours.
Vous voudrez peut-être consulter les gars de Scalable Informatics et leurs produits Jackrabbit comme solution. Ils prennent en charge GlusterFS sur leur matériel, et le prix de leur solution rivalise certainement avec le coût de la création de quelque chose à partir de rien.