Soumettre simultanément des jobs Spark dans EMR à partir de Lambda

Question

Mon application a besoin de traiter des données en temps réel à l'aide des jobs spark EMR. J'utilise addJobFlowSteps API de EMR de Lambda, mais qui est de nature séquentielle.

Existe-t-il un autre moyen de soumettre des Jobs à EMR à partir de Lambda qui est de nature concurrente?

Answer 1

Vous pouvez utiliser un script 'spark-submit' personnalisé.

J'utilise ceci:

cat /usr/bin/spark-submit-forked 
#!/bin/bash 

(nohup spark-submit "$@" > /dev/null 2>&1 &)