J'ai des tables Hive dans un cluster hadoop sur site.
Je dois transférer les tables vers BigQuery dans google cloud. Pouvez-vous proposer des outils google ou des outils open source pour le transfert de données?Transfert de données de Hive à Google Storage/Big Query
Merci à l'avance
BigQuery peut import Avro files.
Cela signifie que vous pouvez faire quelque chose comme INSERT overwrite table target_avro_hive_table SELECT * FROM source_hive_table;
Vous pouvez ensuite charger les fichiers .avro sous-jacente dans BigQuery via l'outil de ligne de commande bq ou à l'aide de l'interface utilisateur de la console:
bq load --source_format=AVRO your_dataset.something something.avro
Je suis à la recherche d'un framework ou d'un pipeline de données pour transférer les données de la table Hive vers BigQuery comme Sqoop – Munesh