hbase export snapshot - CorruptedSnapshotException

Question

Je travaille sur un projet qui a 1 To de données dans Hbase. À des fins de sauvegarde, je lis à propos de l'instantané.

instantané HBase est sur un cluster et je veux exporter vers différents cluster et j'obtiens

Causée par: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException (org.apache.hadoop. hbase.snapshot.CorruptedSnapshotException): org.apache.hadoop.hbase.snapshot.CorruptedSnapshotException:

Alors que d'autres fichiers dois-je inclure dans mon exportation? Est-il possible de restaurer l'instantané dans un autre cluster, comme le déplacement du répertoire d'instantanés d'un cluster à l'autre via winscp?

Answer 1

Si vous obtenez CorruptedSnapshotException est due à cette raison l'information de capture instantanée à partir du système de fichiers n'est pas valid. Vérifiez donc si votre commande d'exportation était correcte.

exemple:

hbase class org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot snapshot30072017 -copy-to hdfs://127.0.0.1:9000/hbase -mappers 8 -bandwidth 100 

S'il vous plaît lire cette Issue tracker.

La commande ci-dessus comporte huit jobs de carte qui s'exécuteront pour exporter tous les instantanés vers un autre cluster avec une bande passante limite de 100 Mo/s.

Note:

Le org.apache.hadoop.hbase.snapshot.ExportSnapshot outil copies toutes les données relatives à un instantané (HFiles, les journaux et les méta-données de capture instantanée) à un autre groupe.

détails de l'instantané se trouvent sous cette HDFS emplacement

/apps/hbase/data/.hbase-snapshot/ (Cloudera chemin vm), s'il vous plaît copier ces fichiers sur un autre cluster et restauration à l'aide 'restore_snapshot 'snapshot_name''

Veuillez lire ceci HBase snapshot documentation.