Hive - Comment normaliser les champs de date entrants n ruche?

Question

J'ai des sources de données de partout avec mysql, oracle, etc. Chaque source de données stocke la date comme un enregistrement dans une table, mais le format n'est pas standard et peut même varier de table en table dans la même source de données (aaaa-MM-jj, aaaa-jj-MM, MM-jj-aaaa, aaaa-MMM-jj HH: mm: SS: ss, etc.).

Quelles sont les options pour normaliser ces différents champs de date à stocker dans la ruche? Porc?

Answer 1

Si vous utilisez Sqoop pour extraire des données vers Hive, vous pouvez écrire votre propre requête pour obtenir la date dans un format standard spécifique.

sqoop --options-file <Source RDMS options file> 
--query "select to_char(start_date,'mm/dd/yyyy') as my_date from SALES"