Hadoop configuration en utilisant à la fois MongoDB et MySQL

Question

tout le monde peut donner un exemple de code de mongodb à rdbs ... J'ai déjà essayé, aller chercher des données de mongodb et de sortie dans mongodb.Pour cela je savais comment faire la configuration hadoop dans le travail java.

Et je veux savoir trois choses ...

1. qui soutien version Hadoop à la fois MongoDB et BRD?
2. Est-il possible d'utiliser plusieurs collections en entrée ...? Si possible, comment pouvons-nous faire cela?
3. J'ai essayé requête mongodb dans Hadoop, Il travaille fine.But quand je sorte ou la limite définie ... Il ne fonctionne pas properly..even ce n'est pas la récupération des données de MongoDB ...

Answer 1

1. which hadoop version support both mongodb and rdbs? 

Je crois que toutes les versions de Hadoop supportant MongoDB supportent aussi RDBMS (les implémentations de RDBMS sont antérieures à MongoDB).

Pour les versions prises en charge de Hadoop à utiliser avec MongoDB, voir: Building the Adapter. Vérifiez les informations de version car certaines versions de Hadoop ne prennent pas en charge le Streaming Connector (c'est-à-dire si vous souhaitez écrire vos travaux dans des langages non-JVM tels que Python).

2. Is it possible to use multiple collections as input...? 
If possible, how we can do that? 

MongoDB Hadoop connecteur v1.0.0 ne prend pas en charge plusieurs collections en entrée, mais il y a quelques personnes dans la communauté travaillant sur ce (voir: Feature/multiple inputs). Pouvez-vous fournir un exemple de comment/où vous avez fourni ces options? Faites-vous référence aux propriétés mongo.input.sort et mongo.input.limit?

Vous pouvez essayer d'activer la Database Profiler dans MongoDB pour confirmer les requêtes sont envoyées:

db.setProfilingLevel(2)