2013-08-22 4 views
0

J'ai une question sur les UDF sur Hive. Lorsque j'utilise un fichier UDF dans une requête de ruche, traite-t-il les données de manière MapReduce? Par exemple quand j'utilise la fonction moy. Est-ce que Hive convertit la fonction dans mapReduce Jobs? BestsRuche et fonctions définies par l'utilisateur

Répondre

0

Dans la plupart des cas, une requête Hive sera traduite en un travail de mappage/réduction (les exceptions sont des éléments tels que SELECT * sur une table HBase). La moyenne (avg) est une fonction d'agrégat intégrée et non un UDF mais cette ruche traitera les deux dans un travail de mappage/réduction.

Notez que les versions futures de la Ruche améliorerait probablement sur ce (voir par exemple ce post on Hive Stinger initiative), mais comme mentionné ci-dessus, il est actuellement la plupart du temps m/r

Questions connexes