Comment utiliser le framework hadoop MapReuce pour une application Opencl?

Question

Je développe une application dans opencl dont l'objectif de base est de mettre en œuvre un algorithme de data mining sur la plateforme GPU. Je veux utiliser Hadoop Distributed File System et je veux exécuter l'application sur plusieurs nœuds. J'utilise le framework MapReduce et j'ai divisé mon algorithme de base en deux parties, à savoir 'Map' et 'Reduce'.

Je n'ai jamais travaillé dans Hadoop avant, donc j'ai quelques questions:

1. Dois-je écrire ma demande seulement java utiliser framework Hadoop et Mapeduce?
2. J'ai écrit les fonctions du noyau pour map et reduce dans opencl. Est-il possible d'utiliser HDFS comme système de fichiers pour une application GPU-Computing non Java? (Note: Je ne veux pas utiliser JavaCL ou Aparapi)

Answer 1

Vous pouvez utiliser Hadoop Streaming, avec cela vous pouvez écrire des mappeurs et des réducteurs dans n'importe quelle langue que vous voulez tant que votre code peut lire depuis le stdio et écrivez-y. Pour l'inspiration, vous pouvez prendre des exemples de how R is used with Hadoop Streaming

Answer 2

HDFS est un système de fichiers; vous pouvez utiliser le système de fichiers HDFS avec n'importe quelle langue.

Les données HDFS sont réparties sur plusieurs machines, il est hautement disponible pour traiter les données dans le calcul GPU.

Pour plus d'informations, référez-vous à Hadoop Streaming.