Implémentation du stockage blob

Question

Je suis à la recherche d'un moyen d'implémenter (fournir) du stockage blob pour une application que je construis.

Ce que je besoin est le suivant:

• L'accès est effectuée à l'aide des touches simples (comme les clés primaires, je ne ai pas besoin d'une hiérarchie);
• Les blobs avec des tailles vont de 1KiB à 1GiB. Les deux scénarios doivent être rapides et supportés (donc les systèmes fonctionnant sur de gros blocs, comme Hadoop le pense, sont sortis);
• Accès en continu à des objets blob (c'est-à-dire pour pouvoir lire des parties aléatoires du blob);
• Accès sur REST;
• Aucune cohérence éventuelle.

Mes besoins d'infrastructure sont les suivantes:

• Horizontalement évolutive, mais sharding est OK (il est donc pas nécessaire que le système supporte nativement l'échelle horizontale);
• Haute disponibilité (réplication et basculement automatique);
• Je ne peux pas utiliser le stockage Azure ou Google Blob; ceci est une application de cloud privé.

Je suis prêt à mettre en œuvre un tel système moi-même, mais je préfère un système prêt à l'emploi qui implémente ceci ou au moins des parties de celui-ci.

J'ai par exemple. regardé Hadoop, mais cela a une cohérence éventuelle, est donc sorti. Il semble y avoir un certain nombre d'implémentations Linux DFS, mais tout cela fonctionne en utilisant le montage et j'ai juste besoin d'un accès REST. En outre, il semble que la gamme de tailles de blob rend les choses difficiles.

Quel système pourrais-je utiliser pour cela?

Answer 1

C'est un vieux post, mais je suis à peu près pareil. J'ai trouvé la pile de GridFS et de HTTP access module basée sur ngnix.