Je suis nouveau à Hive, a obtenu quelques trucs pour analyser les journaux du formatRuche personnalisée Serde
[Time Stamp] {Complex JSON data}
Comme je vois de mes recherches à ce jour, il y a disponible de JSON Serde. Puis-je étendre le code JSON Serde pour répondre à mes besoins? Si oui, quel code serde JSON serait préférable de choisir?
Si cette approche n'est pas bonne, Any other pointeurs?
Merci
Au lieu d'utiliser toute autre serde open source,
J'ai trouvé l'écriture d'un serde moi-même était beaucoup plus simple. Mis à part le code de la plaque de chaudière, je devais écrire ma logique métier dans la méthode de désérialisation, qui fonctionnait comme un charme.
Ce lien a été très utile. http://blog.cloudera.com/blog/2012/12/how-to-use-a-serde-in-apache-hive/
En outre, j'ai essayé avec UDTF, qui a également travaillé en douceur, a constaté que serde était beaucoup plus rapide.
Espérons que cela aide quelqu'un