2015-03-04 1 views
6

J'ai utilisé la console AWS en ligne pour lancer mon cluster avec Apache Spark. J'ai un gros pot basé sur mon application Spark et je l'ai téléchargé dans un seau S3. Lorsque j'essaie de l'envoyer en tant que Step with a Custom Jar, le processus échoue. Tous les pointeurs seraient grandement appréciés.Comment envoyer un fichier Spark à un cluster EMR?

Répondre

2
+0

Merci pour vos commentaires. Cependant, mes sorties aws-cli il n'y a pas de méthode add-steps. Dois-je utiliser son client Ruby? – dataker

+0

La documentation utilise la valeur par défaut d'aws cli, qui a cette méthode: http://docs.aws.amazon.com/cli/latest/reference/emr/index.html Vous pouvez utiliser la commande alternative que vous avez dans votre CLI s'il en existe un, ou mettez à jour la dernière version de l'implémentation CLI par défaut. –

+0

Je l'ai eu! Merci beaucoup – dataker