Comment créer des petits fichiers tout en insérant des données dans la table ORC en utilisant TEZ

Question

J'ai essayé quelques options mais je n'ai vu que les paramètres de configuration pour fusionner les petits fichiers en gros fichiers comme ci-dessous mais pas vice versa.Je cherche à créer des fichiers de taille 150kb.

set hive.merge.tezfiles=true; 
set hive.merge.smallfiles.avgsize=128000; 
set hive.merge.size.per.task=128000; 

Answer 1

Vous pouvez essayer de définir la taille de bloc ORC hive.exec.orc.default.block.size. Pour ignorer la fusion de petits fichiers, vous devez également désactiver l'indicateur. set hive.merge.tezfiles=false; Vous pouvez vous reporter à Hortonworks community thread link pour plus d'informations sur la génération des fichiers.