Puis-je écrire/ajouter des journaux à un fichier compressé situé dans hdfs?

Question

Je teste hadoop et ruche, et je veux les utiliser pour l'analyse des logs.

Ici, j'ai une question, puis-je écrire/ajouter un journal à un fichier compressé qui se trouve dans hdfs?

Notre système génère beaucoup de fichiers journaux tous les jours, je peux compresser ces journaux toutes les heures et les mettre dans les fichiers hdfs.

Mais que se passe-t-il si je veux écrire des fichiers journaux dans des fichiers qui se trouvaient déjà dans le fichier hdfs et qui ont été compressés?

Ces fichiers n'ont pas été compressés, alors ce travail semble facile, mais comment écrire ou ajouter des journaux dans un journal compressé?

Puis-je faire cela?

Quelqu'un peut-il me donner des conseils ou me donner des exemples?

Merci beaucoup!

Answer 1

HDFS est comme n'importe quel système de fichiers (mais distribué). Si l'algorithme de compression prend en charge l'ajout, il devrait être possible de faire l'ajout dans HDFS. Notez que seules certaines versions Hadoop prennent en charge l'ajout HDFS.

Answer 2

Dans la distribution zlib, il y a deux exemples de programmes qui font cela. gzappend et gzlog. Vous pouvez obtenir la distribution zlib à partir de http://zlib.net. Merci Parveen, donc il semble qu'il n'est pas possible d'écrire ou d'ajouter le journal dans un fichier compressé dans hdfs