Comment analyser JSON dans Pig?

Question

J'ai beaucoup de fichiers journaux gzip dans d3 qui ont 3 types de lignes de journal: b, c, i. i et c sont tous les deux json à un seul niveau:

{"this":"that","test":"4"} 

Le type b est json profondément imbriqué. Je suis tombé sur ce gist en parlant de compiler un pot pour faire ce travail. Depuis que mes compétences en java sont moins que stellaires, je ne savais pas vraiment quoi faire à partir d'ici.

{"this":{"foo":"bar","baz":{"test":"me"},"total":"5"}} 

Puisque les types i et c ne sont pas toujours dans le même ordre, ce qui rend tout en spécifiant dans le générer regex difficile. La gestion de JSON (dans un fichier gzip'd) est-elle possible avec Pig? J'utilise n'importe quelle version de Pig est construite sur une instance de Amazon Elastic Map Reduce.

Cela se résume à deux questions: 1) Puis-je analyser JSON avec Pig (et si oui, comment)? 2) Si je peux analyser JSON (à partir d'un fichier journal gzip), puis-je analyser des objets JSON imbriqués?

Answer 1

Après beaucoup de solutions de contournement et de travailler à travers les choses, j'étais capable de répondre à cela. J'ai écrit un article à ce sujet sur mon blog pour savoir comment faire. Il est disponible ici: http://eric.lubow.org/2011/hadoop/pig-queries-parsing-json-on-amazons-elastic-map-reduce-using-s3-data/

Answer 2

Le cochon est livré avec un chargeur JSON. Pour utiliser la charge:

A = CHARGE « data.json »
UTILISATION PigJsonLoader();

Pour enregistrer, vous pouvez utiliser:

STORE INTO ‘output.json’ 
    USING PigJsonLoader(); 

Cependant, je ne suis pas sûr qu'il prend en charge les données GZIPed ....

Answer 3

S'il vous plaît, essayez ceci: https://github.com/a-b/elephant-bird

Answer 4

Pig 0,10 est livré avec JsonStorage builtin et JsonLoader().

pig doc for json load/store

Answer 5

Nous pouvons le faire en utilisant JsonLoader ... Mais il faut mentionner le schéma pour vos données JSON ou bien il peut se produire un error..just suivre le lien ci-dessous

  http://joshualande.com/read-write-json-apache-pig/ 

Nous pouvons également le faire en créant UDF pour l'analyser ...

Answer 6

Vous pouvez essayer usin le twitter joe loader elephantbird, Il gère les données json dynamiquement.Mais vous devez être très précis avec le schéma.

api_data = CHARGER 'nom de fichier' en utilisant com.twitter.elephantbird.pig.load.JsonLoader ('-nestedLoad');

Answer 7

J'ai vu l'utilisation de twitter elephantbird augmenter beaucoup et elle devient rapidement la bibliothèque de goto pour l'analyse json en PIG.

Exemple:

DEFINE TwitterJsonLoader com.twitter.elephantbird.pig.load.JsonLoader('-nestedLoad=true '); 

JsonInput = LOAD 'input_path' USING TwitterJsonLoader() AS (entity: map[]); 

InputObjects = FOREACH JsonInput GENERATE (map[]) entity#'Object' AS JsonObject; 

InputIds = FOREACH InputObjects GENERATE JsonObject#'id' AS id;