J'essaye d'écrire l'agent de canal incorporé dans mon service Web pour transférer mes notations à un autre groupe de hadoop où mon agent de canal court. Pour utiliser l'agent de canal intégré, avons-nous besoin de hadoop pour être exécuté sur le serveur où mon service Web est en cours d'exécution.Est-ce que l'agent de canal intégré a besoin de hadoop pour fonctionner sur le cluster?
Répondre
TLDR: Je pense, non.
version plus longue: Je ne l'ai pas vérifié, mais dans le guide du développeur (https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent), il dit
Note: L'agent intégré a une dépendance sur Hadoop-core.jar.
(https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent)
Et dans le Guide de l'utilisateur (https://flume.apache.org/FlumeUserGuide.html#hdfs-sink), vous pouvez spécifier le chemin HDFS:
chemin du répertoire HDFS (par exemple hdfs: // NameNode/flume/webdata /)
d'autre part, êtes-vous sûr de vouloir travailler avec l'agent embarqué au lieu de courir Flume où vous voulez mettre les données et utiliser une source HTTP pour exa mple? (https://flume.apache.org/FlumeUserGuide.html#http-source) (... ou toute autre source à laquelle vous pouvez envoyer des données)