1. Accueil
  2. Question et réponse
  3. Fonction AWS lambda pour soumettre un job d'étincelle

Fonction AWS lambda pour soumettre un job d'étincelle

2017-09-25 1 views
1

Je souhaite utiliser l'API REST Spark-sumit dans la fonction AWS lambda pour soumettre des travaux. J'ai examiné Spark-Jobserver mais il semble qu'elle doive être déployée dans une instance \ n Ec2, mais je voudrais soumettre des travaux utilisant la fonction d'AWS Lambda en utilisant l'interface de Spark REST.Fonction AWS lambda pour soumettre un job d'étincelle

Source

2017-09-25 shiv455

Répondre

2

Vous pouvez ajouter une étape au cluster EMR à partir du lambda. L'étape peut être un script shell, une ruche ou un travail d'étincelle.

La fonction qui aide à faire est

emr.addJobFlowSteps(params, function(err, data)

J'ajoute le lien pour les appels api disponibles sur DME http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/EMR.html

Source

2017-09-25 15:30:06 Achyuth

+0

Im en utilisant groupe autonome ne pas utiliser DME .. – shiv455

+0

Avez-vous le serveur de travail dans le cluster? – Achyuth

+0

Je n'utilise pas Spark jobserver, comme je l'ai dit je veux utiliser AWS lambda avec l'interface spark REST – shiv455

 Questions connexes

  • Aucun problème connexe^_^