2010-06-13 1 views
1

Ceci est l'un de mes premiers essais avec Map Reduce sur AWS dans sa console de gestion. Salut ont téléchargé sur AWS S3 mon pot runnable développé sur Hadoop 0.18, et il fonctionne sur ma machine locale. Comme décrit dans la documentation, j'ai passé les chemins S3 pour l'entrée et la sortie en tant qu'argument du jar: d'accord, mais le problème est le troisième argument qui est un autre chemin (comme chaîne) vers un fichier que j'ai besoin de charger. le travail est en cours d'exécution. Ce fichier se trouve également sur le compartiment S3, mais il semble que mon fichier ne reconnaisse pas le chemin et que j'ai reçu une exception FileNotFound pendant qu'il essaie de le charger. C'est étrange parce que c'est un chemin exactement comme les deux autres ...Map Réduire le travail sur Amazon: argument pour jar personnalisé

Quelqu'un a une idée?

Merci

Luca

Répondre

0

Sonal,

merci pour votre suggestion. À la fin, la solution utilisait le DistributedCache.

Chargement du fichier avant d'exécuter le travail auquel je peux accéder à l'intérieur de la classe Map dont j'ai besoin en remplaçant la méthode confiure et en récupérant le fichier du cache distribué (déjà chargé avec le fichier).

Merci,

Luca

0

Ce problème avec AWS, s'il vous plaît vérifier la leçon 2 à http://meghsoft.com/blog/. Voyez si vous pouvez utiliser FileSystem.get (uri, conf) pour obtenir un système de fichiers supportant votre chemin.

Espérons que cela aide.

Sonal

+0

Sonal, je vous remercie de votre suggestion. Je pense que cela devrait être la bonne façon. En outre, j'ai trouvé qu'un FileInputStream à la place un chemin de chaîne peut être suffisant pour mes besoins: J'ai essayé avec classifierPath = args [2]; FileSystem inputFS = FileSystem.get (URI.create (classifierPath), conf); ObjectInputStream objectClassifierStream = new ObjectInputStream (entréeFS.open (nouveau chemin (classifierPath))); \t \t \t loadedClassifier = CRFClassifier.getClassifier (objectClassifierStream); mais j'ai toujours un problème lorsque je charge objectClassifierStream: exception "Bad Header". Peut-être que j'ai fait une erreur dans mon code? Merci. – zero51

Questions connexes