J'ai essayé d'exécuter le script de porc sur EMR comme:DME - Problème dans l'exécution de script de porc sur S3 de
porc -f s3: //bucket-name/loadData.pig
Mais il échoue avec l'erreur :
erreur 2999: erreur interne inattendue. null
java.lang.NullPointerException à org.apache.pig.impl.io.FileLocalizer.fetchFilesInternal (FileLocalizer.java:778) à org.apache.pig.impl.io.FileLocalizer.fetchFiles (FileLocalizer. java: 746) à org.apache.pig.PigServer.registerJar (PigServer.java:458) à org.apache.pig.tools.grunt.GruntParser.processRegister (GruntParser.java:433) à org.apache. pig.tools.pigscript.parser.PigScriptParser.parse (PigScriptParser.java:445) à org.apache.pig.tools.grunt.GruntParser.parseStopOnError (GruntParser.java:194) à org.apache.pig.tools. grunt.GruntParser.parseStopOnError (GruntParser.java:170) sur org.apache.pig.too ls.grunt.Grunt.exec (Grunt.java:84) à org.apache.pig.Main.run (Main.java:479) à org.apache.pig.Main.main (Main.java:159) à sun.reflect.NativeMethodAccessorImpl.invoke0 (Méthode natif) à sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) à sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) à java.lang .reflect.Method.invoke (Method.java:606) à org.apache.hadoop.util.RunJar.main (RunJar.java:187)
Le loadData.pig ressembler à:
A = load '/ajasing/input/input.txt' USING PigStorage('\t', '-noschema');
store A into '/ajasing/output1444/input1444.txt';
Je cours le Pig version 0.11.1, Hadoop version 1.0.3 et AMI version 2.4.6.
Si j'exercerai ce porc localement i.e. en copiant localement script porc sur le cluster EMR il fonctionne très bien. Mais, si la source du script cochon est s3, elle échoue avec l'erreur mentionnée ci-dessus.
S'il vous plaît laissez-moi savoir ce qui peut être problème ici.
Juste pour ajouter i essayé de courir comme le S3N de porc: //ajasing/script/loadData.pig. Mais même problème. – Ajay
Essayez 'cd'-ing dans votre compartiment' s3', puis lancez '$ pig -f./LoadData.pig' – gobrewers14
Je n'ai pas compris comment faire cd-ing dans s3 seau. – Ajay