concaténer multi enregistrements dans le cochon

Question

Je veux concaténer tous les enregistrements en utilisant Pig. Après la charge dans les données avec « pigStorage » et label « -tagFile », mes données ressemble à:

(filename, aaaaaaaaaaa) 
(filename, bbbbbbbbbbbbbb) 

Et le résultat que je préfère est:

(filename, aaaaaaaaaaabbbbbbbbbbbbbb) 

Ensuite, je peux stocker les données dans HBase avec le nom de fichier en tant que rowkey.

Toute suggestion sera appréciée.

Answer 1

GROUPez les données par nom de fichier, puis utilisez BagToString pour CONCATER tous les sacs en une seule chaîne.

B = GROUP A BY filename; 
C = FOREACH B GENERATE group,BagToString(A.$1,''); 
DUMP C;