Echec de la gestion des tâches cron avec le haricot élastique et le SQS

Question

J'ai deux environnements de haricots élastiques.

L'un est l'environnement de serveur Web «principal» et l'autre est un environnement de travail qui gère les tâches cron.

J'ai 12 tâches cron, configurées via un fichier cron.yaml qui pointent toutes sur les points de terminaison API sur le serveur Web principal.

Auparavant, mes tâches cron s'exécutaient toutes dans l'environnement du serveur Web, mais cela créait bien sûr des tâches cron dupliquées lorsque cette tâche était mise à l'échelle.

Ma nouvelle implémentation fonctionne bien, mais lorsque mes tâches cron ne s'exécutent pas comme prévu, le travail cron se répète, généralement en une minute environ.

Je préférerais éviter ce comportement et essayer de réexécuter le travail cron au prochain intervalle planifié.

Existe-t-il un moyen de configurer l'environnement de travail/SQS afin que les travaux échoués ne se répètent pas?

Answer 1

Il suffit de configurer un événement CloudWatch pour prendre en charge votre cron et de créer un message SQS (directement ou via une fonction Lambda). Vos travailleurs devront maintenant gérer les travaux SQS et, si nécessaire, vous pourrez également mettre à l'échelle les travailleurs.

http://docs.aws.amazon.com/AmazonCloudWatch/latest/events/ScheduledEvents.html