Concurrence dans Amazon S3

Question

Je suis en train de construire un système où S3 sera utilisé comme un hash-set persistant (l'URL S3 est déduite des données) par beaucoup d'ordinateurs sur Internet. Si deux nœuds stockent les mêmes données, ils seront stockés avec la même clé et ne seront donc pas stockés deux fois. Lorsqu'un objet est supprimé, j'ai besoin de savoir si d'autres nœuds utilisent également ces données. Dans ce cas, je ne vais pas l'enlever. En ce moment, je l'ai implémenté en ajoutant une liste des nœuds de stockage dans les données écrites en S3. Ainsi, lorsqu'un nœud stocke les données, les événements suivants se produisent:

1. Lire l'objet de S3.
2. Désérialise l'objet. Ajoutez l'ID du nouveau nœud à la liste des nœuds de stockage.
3. Sérialiser le nouvel objet (les données à stocker et la liste de nœuds).
4. Ecrivez les données sérialisées dans S3.

Ceci crée une forme de comptage de références idempotentes. Puisque les demandes sur Internet peuvent être assez peu fiables, je ne veux pas simplement compter le nombre de nœuds de stockage. C'est pourquoi je stocke une liste à la place d'un compteur (dans le cas où un nœud envoie la même requête> 1 fois).

Cette approche fonctionne tant que deux nœuds n'écrivent pas simultanément. S3 (pour autant que je sache) ne fournit aucun moyen de verrouiller l'objet de sorte que toutes ces 5 étapes deviennent atomiques.

Comment voulez-vous résoudre ce problème de simultanéité? Je considère l'implémentation d'une certaine forme de concurrence optimiste. Comment dois-je faire pour S3? Devrais-je utiliser une approche complètement différente?

Answer 1

Envisagez d'abord de séparer la liste de verrouillage de vos données (protégées). Créez un compartiment distinct spécifique à vos données pour contenir la liste de verrouillage (le nom du compartiment doit être une dérivée de votre nom d'objet de données). Utilisez des fichiers individuels dans ce second compartiment (un par nœud, avec le nom de l'objet dérivé du nom du nœud). Les noeuds ajoutent un nouvel objet au second compartiment avant d'accéder aux données protégées, les noeuds retirent leur objet du second compartiment lorsqu'ils sont terminés.

Ceci vous permet d'énumérer le second compartiment pour déterminer si vos données sont verrouillées. Et permet à deux nœuds de mettre à jour la liste de verrous simultanément sans conflit.

Answer 2

Il peut être judicieux de séparer les références de la ressource.

Vous pouvez créer une simultanéité en plus de la gestion des versions S3. Ou laisser chaque référent/nœud créer et supprimer sa propre ressource de verrouillage sur S3. Ou utilisez le service RDS (Amazon Relational Database Service).

Answer 3

Pour ajouter à ce qu'Amadeus dit, si vos besoins ne sont pas relationnels, vous pouvez même utiliser SimpleDB d'AWS, nettement moins cher.

Answer 4

Je n'ai pas travaillé avec Amazon S3, mais voici ma suggestion ignorant la persistance.

1. Pouvez-vous utiliser la ségrégation de requête de commande? Sera agréable de séparer les lectures des commandes, car cette vérification ne se produira que pour la commande (DELETE) et vous n'en aurez pas besoin pour les lectures (si je l'ai eu correctement). S'il n'y a pas de support natif pour une telle synchronisation, alors votre solution enroulée peut être un goulot d'étranglement en termes de charge élevée (ce qui peut être résolu par [3] et [4]). Tous vos DELETE doivent passer par une place centrale - file d'attente de requêtes.

2. Je ferais un service dédié (comme WCF) avec une file d'attente de requêtes simultanées. Chaque fois que vous devez SUPPRIMER un objet, vous mettez en file d'attente un élément. Le service, à son propre rythme, supprimera l'article et fera toutes les 5 étapes en une seule transaction. Cela peut entraîner des retards, qui peuvent toutefois ne pas être visibles si le système est trop lourd.

3. Si le système est en écriture lourd, vous devrez peut-être ajouter les travailleurs qui aident à dequeue la demande de la file d'attente [3]

Answer 5

Vous pouvez implémenter votre propre mécanisme de verrouillage en tant que service sur votre EC2 et l'utiliser pour synchroniser les accès à S3. Dans ce cas, vous pouvez stocker des décomptes de surveillance dans votre S3 (séparément ou non)