J'ai une application qui se connecte à un système distant et en transfère des données à l'aide du protocole sftp. Je veux utiliser un travail mapreduce pour faire la même chose. J'aurais besoin d'un format d'entrée qui lit à partir d'un flux d'entrée. J'ai parcouru les docs pour HStreamInputFormat et StreamInputFormat mais mon hadoop-2.0 ne semble pas supporter ces classes. Comment dois-je procéder? Des liens vers des didacticiels ou des exemples de lecture à partir de flux d'entrée utilisant des formats d'entrée?StreamInputFormat pour le travail mapreduce
0
A
Répondre
0
Si ces SteamInputFormats ne répondent pas à vos besoins, il est préférable d'écrire votre propre InputFormat avec vos besoins personnalisés. Veuillez lire le tutoriel this pour apprendre comment écrire vos propres InputFormat et RecordReader.
Questions connexes
- 1. Travail MapReduce avec sortie de fichier HAR
- 2. Travail mapreduce planifié sur Google Cloud Platform
- 3. Comment exécuter un travail mapreduce à distance
- 4. Amazon MapReduce aucun travail de réduction
- 5. Différentes façons de démarrer un travail MapReduce
- 6. Hadoop MapReduce Autorisation de travail refusée
- 7. Spécification d'un uri de sortie pour un travail Disco mapreduce
- 8. Démarrer le travail Amazon Elastic MapReduce à distance?
- 9. Comment spécifiez-vous le nom de fichier pour le BlobstoreOutputWriter pour un travail mapreduce simple?
- 10. Kill MapReduce travail si le programme du pilote se bloque
- 11. Post crochet pour Elastic MapReduce
- 12. Comment configurer le travail Avro MapReduce pour afficher les résultats dans un seul fichier?
- 13. Cela ressemble à un travail pour MapReduce ... mais je ne peux pas le comprendre
- 14. Synchronisez les données avec HBase/HDFS et utilisez-les comme entrée pour le travail MapReduce
- 15. Le nombre de maîtres d'application dans un travail de mapreduce ?? Et étapes de traitement mapreduce dans YARN
- 16. Python MapReduce Hadoop Streaming Travail nécessitant 3 fichiers d'entrée?
- 17. Travail Hadoop MapReduce dans un fichier contenant des balises HTML
- 18. Appel de l'API StanfordCoreNLP avec un travail MapReduce
- 19. Quel est l'effet de la compression sur un travail MapReduce?
- 20. cloudera hadoop mapreduce travail GC overhead limit dépassé erreur
- 21. NoServerForRegionException lors de l'exécution du travail Hadoop MapReduce sur HBase
- 22. Iterative MapReduce
- 23. MongoDB Mapreduce: requête/restriction/filtre sur le résultat de mapreduce?
- 24. MapReduce Le travail ne montre pas mes instructions d'impression sur le terminal
- 25. Consolider les journaux MapReduce
- 26. Persistance dans MapReduce
- 27. ndb.Clé filtre pour MapReduce input_reader
- 28. Limite de mémoire pour une instance unique dépassée lors du démarrage du travail appengine-mapreduce
- 29. Travail MapReduce utilisant la table Hbase comme source et puits dans le travail par lots Spring XD
- 30. Lancement de plusieurs tâches mapreduce en utilisant le même code/jar mapreduce
Merci :) Je ne peux pas écrire un InputFormat ici parce que je ne sais pas comment gérer les flux d'entrée car le chemin vers mapper et hadoop n'ont aucune classe de base en place. – RadAl