1
J'écris un utilitaire pour nettoyer HDFS basé sur une date. Alors que l'utilitaire utilise des bibliothèques hadoop pour le retirer, il peut aussi être exécuté sur un fichier standard: /// système de fichiers en utilisant hadoop jar ou java -jar pour l'exécuter. Un défaut de l'utilitaire que j'ai trouvé, cependant, est qu'il ne peut pas nettoyer les fichiers "cachés" (précédé d'un point). Je devine, et vous demande des gens intelligents, si c'est parce que HDFS n'a pas de fichiers cachés. Cette hypothèse validée, y a-t-il une suggestion sur ce que je peux faire pour en faire un utilitaire polyvalent de sorte qu'il puisse lister et donc supprimer les fichiers cachés?hadoop fs -ls fichiers cachés
Pouvez-vous montrer ce code que vous utilisez pour la suppression? –
Utilisez-vous un travail de réduction de carte pour faire cela (auquel cas FileInputFormat a un filtre de fichier par défaut qui supprime les fichiers cachés avec un préfixe de période de la méthode 'FileInputFormat.listStatus()'), ou un utilitaire authentique? Et pour réitérer @CharlesMenguy, pouvez-vous poster du code s'il vous plaît? –