Erreur paramètre analyse syntaxique, amazon aws emr

Je suis en train de créer une étape par console Linux:Erreur paramètre analyse syntaxique, amazon aws emr

aws emr add-steps --cluster-id j-XXXXXXXXXX --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ 
Args=["--s3Endpoint,s3-eu-west-1.amazonaws.com","--src,s3://folder-name/logs/j-XXXXXXXXXX/node/","--dest,hdfs:///output","--srcPattern,.*[a-zA-Z,]+"]

Je saute l'erreur suivante

Erreur paramètre parsing '--steps': Estimé : ',', reçu: '+' pour l'entrée

Comment puis-je résoudre ce problème?

Je suis à la recherche d'une solution pour télécharger plusieurs fichiers vers S3 et S3DistCp Hive rassembler pour Amazon EMR. Est-ce qu'il y a un autre moyen?

J'ai une autre question: Maintenant, je crée un tunnel SSH pour me connecter à Hive, comment puis-je me connecter avec PHP?

Au moment où je l'ai résolu l'erreur en supprimant "src Pattern", mais me donne une autre erreur, j'inclure l'image ci-dessous

Image error

Ceci est l'erreur qui apparaît

INFO Synchronously wait child process to complete : hadoop jar /var/lib/aws/emr/step-runner/hadoop- 
INFO waitProcessCompletion ended with exit code 1 : hadoop jar 
/var/lib/aws/emr/step-runner/hadoop- 
INFO total process run time: 2 seconds 
2016-07-12T14:26:48.744Z INFO Step created jobs: 
2016-07-12T14:26:48.744Z WARN Step failed with exitCode 1 and took 2 seconds

Thx !!!

Source

2016-07-12 David

l'analyse syntaxique d'erreur est bizarre, avez-vous essayé de mettre vos options dans un fichier JSON et appeler la commande avec le fichier JSON à la place juste pour voir si ça aide –

Bonjour Frederic, je dois travailler en supprimant "src Pattern", maintenant je reçois une autre erreur qui n'est pas vraiment spécifiée en amazon pas grand chose (je monte au dessus de l'image) – David

Essayez la configuration JSON

[ 
    { 
     "Name":"S3DistCp step", 
     "Args":["s3-dist-cp","--s3Endpoint=s3.amazonaws.com","--src=s3://mybucket/logs/j-3GYXXXXXX9IOJ/node/","--dest=hdfs:///output","--srcPattern=.*[a-zA-Z,]+"], 
     "ActionOnFailure":"CONTINUE", 
     "Type":"CUSTOM_JAR", 
     "Jar":"command-runner.jar"   
    } 
]

aws emr add-steps --cluster-id j-3GYXXXXXX9IOK --steps file://./myStep.json

http://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html#UsingEMR_s3distcp.step

Source

2017-06-04 00:00:43 strongjz

Erreur paramètre analyse syntaxique, amazon aws emr

Répondre

Questions connexes