2010-02-04 3 views
0

J'ai un ensemble de données massif et statique et j'ai une fonction à appliquer. F est sous la forme reduce (map (f, dataset)), donc j'utiliserais le squelette MapReduce. Cependant, je ne veux pas disperser les données à chaque requête (et idéalement je veux profiter de l'indexation pour accélérer f). Il existe une implémentation MapReduce qui traite ce cas général?Efficace MapReduce lorsque vous traitez des flux vers des requêtes vers le même ensemble de données

J'ai jeté un oeil à IterativeMapReduce et peut-être qu'il fait le travail, mais semble aborder un cas légèrement différent, et le code n'est pas encore disponible.

Répondre

0

MapReduce de Hadoop (et tous les autres squelettes de map-reduce inspirés par Google) ne disperse pas les données tout le temps.

Questions connexes