Hadoop mapreduce en streaming à partir de HBase

Je construis un travail maado de Hadoop (0.20.1) qui utilise HBase (0.20.1) comme source de données et puits de données. Je voudrais écrire le travail en Python qui m'a demandé d'utiliser hadoop-0.20.1-streaming.jar pour streamer des données depuis et vers mes scripts Python. Cela fonctionne correctement si la source de données/récepteur est des fichiers HDFS.Hadoop mapreduce en streaming à partir de HBase

Est-ce que Hadoop prend en charge le streaming de/vers HBase pour mapreduce?

Source

2009-11-10 Richard Dorman

Avez-vous pris un coup d'œil à Hbase + Kafka + Spark intégration en streaming? – Mike

Cela semble faire ce que je veux mais cela ne fait pas partie de la distribution Hadoop. Toute autre suggestion ou commentaire est toujours le bienvenu.

http://github.com/wanpark/hadoop-hbase-streaming

Source

2009-11-10 10:06:15

Avez-vous des suggestions pour ma question - http://stackoverflow.com/questions/10953731/calculate-tf-idf-of-documents-using-hbase-as-the-datasource – JHS

Hadoop mapreduce en streaming à partir de HBase

Répondre

Questions connexes