2011-02-26 4 views
5

Est-il possible de spécifier une option de compression sur un agent Flume afin que les données soient transférées au collecteur dans un format compressé? Je sais qu'il existe des options de compression au niveau du collecteur, mais il serait également extrêmement utile de pouvoir transférer des données compressées à partir de l'agent.Agent Flume - Puis-je spécifier une compression comme gzip ou bz2?

Merci!

Répondre

2

Flume a les décorateurs d'évier gzip et gunzip que vous pouvez utiliser. Placez le décorateur gzip sur votre récepteur d'agent et le décorateur gunzip sur votre récepteur de collection, et le transfert des données compressées entre l'agent et le collecteur doit fonctionner correctement.

+1

Est-il possible de compresser les données sur l'agent et de les laisser passer à travers le collecteur dans HDFS sans les dézipper/zipper à nouveau? –