Puis-je utiliser hadoop pour former un réseau neutre?

Question

Je veux former un réseau de neurones avec l'aide de Hadoop. Nous savons qu'en entraînant un réseau de neurones, les poids de chaque neurone sont modifiés à chaque itération, et chaque itération dépend de la précédente. Je suis nouveau sur Hadoop et je ne connais pas très bien les fonctionnalités qu'il fournit. Puis-je chaîner l'itération à l'aide de la méthode addDependingJob() en soulignant les dépendances? Ou il y a d'autres astuces qui peuvent être utilisées pour implémenter le NN avec l'aide de Hadoop.

Tout conseil sera très apprécié.

Merci et meilleures salutations.

Answer 1

Vous pouvez l'écrire vous-même. Si vous savez comment écrire Bacvk propogation en un seul noyau à partir de zéro. Il peut être facilement migré vers l'approche Mapreduce. Le cache HDFS doit stocker les poids de neurones actuels et chaque travail de carte doit évaluer leur mise à jour à la suite de l'instance d'apprentissage, puis réduire doit totaliser toutes ces mises à jour et les mettre en cache.