Hadoop/Elastic Map Réduire avec un exécutable binaire?

Question

J'écris et distribue l'application de traitement d'image en utilisant hadoop streaming, python, matlab, et réduire la carte élastique. J'ai compilé un exécutable binaire de mon code matlab en utilisant le compilateur matlab. Je me demande comment je peux intégrer cela dans mon flux de travail afin que le binaire fasse partie du traitement sur la carte élastique d'Amazon réduire?

Il semble que je doive utiliser Hadoop Distributed Cache?

Le code est très compliqué (et pas écrit par moi) donc le portage vers une autre langue n'est pas possible pour le moment.

THanks

Answer 1

Ce qui suit est pas exactement une réponse à votre question Hadoop, mais je ne pouvais pas résister à ne pas demander pourquoi vous ne pas exécuter vos tâches de traitement sur les ressources de la grille? Il existe des solutions éprouvées pour exécuter des flux de travail intensifs sur la grille. Et pour autant que je sache, l'environnement d'exécution matlab est généralement disponible sur ces ressources. Vous pouvez également envisager d'utiliser la grille, surtout si vous êtes dans le milieu universitaire.

Bonne chance

Answer 2

Joseph,

Je viens juste de demander une version similaire, mais plus générale de votre question. J'espère que nous aurons des réponses. ;)

Hadoop Streaming: Mapper 'wrapping' a binary executable

• Nick