couchdb est-il bon pour beaucoup de documents avec des pièces jointes sur plusieurs serveurs?

Question

J'aimerais avoir votre avis sur couchdb, et serait-il gérer mon cas d'utilisation. Ce que je vais faire, je vais avoir une base de données où je stocke des documents d'une taille d'environ 20 Ko avec une pièce jointe de 1-10 Mo pour chacun.

1. volonté canapé base de données de poignée 10TB ou plus par serveur avec mon schéma? (En cas de 4u vous pouvez mettre 24 disques 2To est-ce trop par nœud de canapé ?, il y aura très moins Reads donc je vers le bas besoin de vitesse)

2. volonté canapé être répliquées en mesure tous les documents avec des pièces jointes

3. que diriez-vous diviser toutes les données sur plusieurs serveurs (par exemple 4 nœuds)? va-t-il gérer autant d'attachements?

Quels problèmes voyez-vous ici?

ont besoin de plus d'informations s'il vous plaît demander :)

Answer 1

Je ne pense pas que vous frapperez une limitation physique avec un fichier de 10 To, qui est que je ne pense pas que canapé a une certaine intégré « ne peut pas utiliser des fichiers plus gros que X "avec X étant < 10TB.

Cependant.

Le plus gros problème est le compactage de fichiers. Afin de récupérer de l'espace, Couch veut compresser le fichier. Cela signifie effectivement copier le fichier. Donc, pour un certain point au moins, 10 To doit être 20 To car il duplique les données en direct dans la nouvelle copie. Si vous ajoutez le plus souvent au fichier, c'est-à-dire que vous ajoutez simplement de nouvelles données et ne mettez pas à jour ou écrasez des données anciennes, cela sera moins problématique, car le compactage ne vous rapportera pas autant. Si vos données sont essentiellement statiques, alors je construirais le fichier et le compacterais une dernière fois et ferais avec.

Il existe une solution de sharding «tierce partie» pour Couch, Lounge est populaire. Quand je m'approche d'une solution de divan, la première chose à prendre en compte est ce que sont vos critères de requête. Couch est tout au sujet des points de vue, vraiment. Quel genre de vues regardez-vous? Si vous stockez simplement des données à l'aide d'une simple clé (nom de fichier, date, etc.), il vaudrait mieux utiliser simplement un système de fichiers et une structure de répertoires appropriée, franchement. Par conséquent, j'aimerais en savoir plus sur les points de vue que vous envisagez d'utiliser puisque vous n'avez pas l'intention de lire beaucoup.

Addenda:

Vous avez toujours pas mentionné quel genre de requêtes que vous cherchez. Les requêtes sont, en fait, LE composant de conception, en particulier pour une base de données Couch car il devient de plus en plus difficile d'ajouter de nouvelles requêtes sur de grands ensembles de données. Lorsque vous avez indiqué les pièces jointes, j'ai supposé que vous vouliez dire des pièces jointes à la charge utile de la base de données Couch (puisqu'elle peut gérer les pièces jointes). Donc, tout cela dit, vous pouvez facilement créer un document de métadonnées en capturant toutes les informations que vous voulez capturer et, dans le cadre de ce document, ajouter un nom de chemin au fichier stocké sur le système de fichiers.Cela permettra de réduire considérablement la taille globale du fichier Couch, ce qui rend la maintenance plus rapide et plus efficace. Vous perdez une partie de la partie "autonome" de tout avoir dans un seul document, bien sûr.