Convention de dénomination des fichiers pièce dans HDFS

Question

Lorsque nous exécutons une commande INSERT INTO dans Hive, le résultat de l'exécution crée plusieurs fichiers pièce dans HDFS.

par exemple. partie - * - ***** ou 000000_0,000001_0 etc ou autre chose.

Existe-t-il une configuration/un paramètre qui contrôle la dénomination de ces fichiers pièce? Le cluster dans lequel je travaille crée 000000_0, 000001_0, 000000_1, etc. Je voudrais changer ceci en partie ou en texte etc afin qu'il soit plus facile pour moi de choisir ces fichiers et de les fusionner si nécessaire.

S'il y a un paramètre qui peut être défini dans Hive juste avant d'exécuter le HQL, ce serait idéal.

Merci d'avance.

Answer 1

Je pense que vous devriez être en mesure

set mapreduce.output.basename = part-; 

Cela ne fonctionnera pas. La seule façon que j'ai trouvée est avec un auteur de fichier personnalisé.