Qu'est-ce qu'un filtre dictionnaire dans Impala?

Question

Je trouve qu'il y a un filtre de dictionnaire dans Impala lors de l'analyse du parquet. Le commentaire dit que la colonne est 100% dictionnaire codé peut être filtré par dictionnaire. Quel type de colonnes peut être codé par dictionnaire? Et y a-t-il un exemple de filtre de dictionnaire? Merci beaucoup.

Answer 1

La taille du dictionnaire par groupe de lignes a une uplimit, qui est 40000 pour l'impala < 2.9. Il est donc lié à la cardinalité de la colonne codée. Fondamentalement, s'il y a beaucoup de chaînes différentes dans un groupe de lignes, le codage du dictionnaire ne sera pas 100%. Vous pouvez en outre vous référer à cela documentation