J'extrais des données d'une source en ligne sous forme JSON et je les stocke dans Hdfs via Apache Flume. Maintenant, il crée plusieurs fichiers comme le fait Hadoop. Maintenant, je veux rechercher quelque chose à partir de ces données (de tous ces fichiers) et obtenir des informations complètes liées à cela. Quelle est la solution?Recherche à partir des données hadoop hdfs
0
A
Répondre
0
Vous pouvez développer votre propre script pour rechercher dans hdfs avec MapReduce ou Spark. Vous avez une autre solution, vous pouvez utiliser la ruche et/ou le cochon. Guide de pige: http://archive.cloudera.com/cdh/3/pig/tutorial.html guide de ruche: https://cwiki.apache.org/confluence/display/Hive/LanguageManual