Hive Partition recovery

Comment récupérer des partitions facilement. Voici le scénario:Hive Partition recovery

Have 'n' partitions sur la table externe existante 't'

Table Lâché 't'

Table Recréé 't' // Remarque: même table, mais avec l'exclusion de certaines colonnes

Comment faire pour récupérer les 'n' partitions qui existaient pour la table 't' à l'étape 1?

Je peux modifier manuellement table pour ajouter 'n' partition en écrivant un script. Mais c'est très ennuyeux. Y at-il quelque chose de intégré pour récupérer ces partitions?

Source

2016-05-26 Balaji Boggaram Ramanarayan

Lorsque les partitions répertoires existent encore dans HDFS, il suffit de lancer cette commande:

MSCK REPAIR TABLE table_name;

Il ajoute les définitions des partitions au Metastore en fonction de ce qui existe dans le répertoire de la table.

Source

2016-05-26 08:30:25 54l3d

Est-ce que cela fonctionne si nous avons personnalisé Serde? au lieu de natif .. –

Je n'ai pas essayé avec Serde personnalisé, mais je pense que Serdes n'affecte pas cette commande, cela devrait fonctionner correctement! – 54l3d

Oui, vous avez raison, The Serde ne devrait pas avoir de problèmes. Mais d'après ce que mentionne la documentation, les partitions peuvent être récupérées si seulement le format de la partition est 'aaaa-mm-jj'. Vous ne savez pas comment utiliser pour le format de partition personnalisée? Dans mon cas, j'ai quelque chose comme yyyymmdd. –

Les métadonnées ne sont pas enregistrées dans la corbeille et sont supprimées définitivement; vous ne serez pas en mesure de restaurer les métadonnées des tables, des partitions, etc. abandonnées. Référence: http://www.cloudera.com/documentation/archive/cdh/4-x/4-7-1/CDH4-Installation-Guide/cdh4ig_hive_trash.html

Source

2016-05-27 22:17:20 syadav

Hive Partition recovery

Répondre

Questions connexes