Je veux créer une grande table contient toutes les données de toute la table dans la base de données puis exporter cette table dans un fichier csv puis importer ce fichier dans Hbase? Mon problème est la première étape qui est de savoir comment créer bigtable à partir de toutes les tables de base de données? je serai reconnaissant pour toute aide. Merci d'avance.comment convertir une base de données relationnelle à un Bigtable
Vous pouvez utiliser sqoop pour transférer toutes les tables et données vers HBase si vous souhaitez vider toutes les données vers HBase ou HDFS. Il peut ne pas être efficace ou faisable de convertir toutes les données en une seule grande table. Juste en notant que, l'exportation de données CLOB/BLOB ne peut pas être effectuée dans le fichier CVS.
bon point. vous pouvez utiliser l'outil "sqoop import-all-tables" pour cela. mais vous devez garder ces choses à l'esprit: (1) Chaque table doit avoir une clé primaire à une seule colonne. (2) Vous devez importer toutes les colonnes de chaque table. (3) Vous ne devez pas avoir l'intention d'utiliser une colonne de fractionnement non définie par défaut, ni imposer de conditions via une clause WHERE. – Tariq
Pourquoi le feriez-vous? Ecrivez un travail MapReduce et injectez la sortie dans la table HBase.
Jetez un oeil à sqoop, peut-être peut aider. Nous l'utilisons pour stocker des données à partir de SGBDR dans des tables Hive. Comme pour ruche, il peut créer automatiquement des tables avec des noms de colonnes et des types appropriés. Il nécessite également l'option split_by pour les requêtes personnalisées, qui spécifie comment diviser les données en blocs.
merci, j'apprécie votre effort .i utilisé Sqoop et Hbase –
Il suffit de les joindre tous, de couse qui suppose qu'ils peuvent tous être réunis judicieusement ... –
J'ai des milliers table –
Eh bien, sauf s'ils ont tous la même structure, vous devez prendre un peu de recul alors. Réfléchissez à la façon dont vous recommenceriez, puis examinez comment vous récupérez vos données existantes. –