Amazon SQS entonnoir base de données écrit

Question

Supposons donc im netflix du bâtiment et je veux vous connecter chaque vue par l'ID utilisateur et le film ID

de sorte que son comme viewId, userID, horodatage,

cependant afinde à l'échelle de cette , supposons avoir 1000 vues par seconde (juste pour être fou). Cela aurait-il un sens de mettre ces vues en file d'attente dans SQS, puis nos lecteurs de file d'attente peuvent les annuler un par un et les écrire dans la base de données mysql. De cette façon, la base de données n'est pas surchargée de requêtes d'écriture.

Cela ressemble-t-il à cela?

Answer 1

Faisal,

Ceci est une architecture raisonnable; Cependant, sachez que l'écriture sur SQS sera beaucoup plus lente que l'écriture sur quelque chose comme une file d'attente de messages RabbitMQ (ou locale). Cela étant dit, commencer par SQS ne serait pas une mauvaise idée car il est facile à utiliser et à déboguer.

De plus, vous voudrez peut-être enquêter sur MongoDB pour l'enregistrement ... vérifier les références suivantes:

MongoDB est fantastique pour l'exploitation forestière

http://blog.mongodb.org/post/172254834/mongodb-is-fantastic-for-logging

Collections plafonnés

http://blog.mongodb.org/post/116405435/capped-collections

En utilisant MongoDB pour Real-Time Analytics

http://blog.mongodb.org/post/171353301/using-mongodb-for-real-time-analytics