Option de pipeline de données AWS pour mettre fin automatiquement au cluster EMR

Question

J'ai configuré le cluster EMR à l'aide de Data Pipeline mais le cluster se termine après l'affichage de l'état de la fonction pas à pas. J'exécute un script python dans ma fonction d'étape qui génère un travail d'étincelle en arrière-plan. Comment puis-je rendre mon cluster disponible après avoir exécuté une fonction d'étape réussie sur EMR à l'aide du service Data Pipeline?

Answer 1

utilisez terminateAfter pour spécifier les heures que vous souhaitez attendre une fois le traitement terminé.

Référence:

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html

Hope it helps.