Comment lancer un cluster EMR dans AWS Data PipeLine uniquement après l'achèvement d'une activité dans le flux de pipeline

Question

Est-il possible de lancer un cluster EMR uniquement après l'achèvement de mon activité dans le flux de données AWS Data Pipeline?

1. Déchargez des données de Redshift (ce qui peut prendre une heure ou une heure +).
2. Démarrer EMR Cluster
3. exécuter une tâche SPARK dans le cluster DME
4. Execute une autre activité
5. Terminate le cluster

Alors, je veux avoir une dépendance comme "Start Emr Cluster" devrait dépend de "décharger les données de Redshift vers S3", et "Terminate Cluster" devrait dépendre de "Exécuter le travail Spark, Exécuter une autre activité".

Quelqu'un peut-il m'aider à ce sujet.

-Krish

Answer 1

Vous pouvez le faire en utilisant Precondition Voici la documentation pour plus de détails

vous pouvez aussi le faire en utilisant l'opération et mettre opération de copie copie comme condition préalable

Vous peut mettre la dépendance comme condition préalable une fois que satisfait alors créer un cluster EMR.

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-concepts-preconditions.html