Hive avec emrfs

Question

J'importe des tables d'Amazon RDS vers Hive en utilisant sqoop. Le processus fonctionne et les données sont stockées dans le répertoire hdfs par défaut de la ruche:/user/hive/warehouse.

J'ai besoin de changer l'emplacement de stockage de hdfs en emrfs s3.

Je crois comprendre que j'ai besoin de changer (dans le fichier hive-site.xml sur le nœud principal) la valeur de la propriété hive.metastore.warehouse.dir en s3 // bucket/warehouse-location. Il semble que je n'ai pas la permission de modifier le fichier hive-site.xml.

Je cherche des conseils sur la meilleure façon de le faire.

Sudi

Answer 1

Vous aurez besoin des privilèges de sudo pour modifier le fichier ruche-site.xml sur le masternode (situé dans /etc/hive/conf/hive-site.xml habituellement).

Si ce n'est pas une option, essayez de définir cette propriété avant le démarrage du cluster. Un exemple avec CloudFormation:

   "Configurations" : [ 
       { 
        "Classification" : "hive-site", 
        "ConfigurationProperties" : { 
         "hive.metastore.warehouse.dir" : "s3://your_s3_bucket/hive_warehouse/", 
        } 
       } 
      ], 

Ou par le dialogue DME dans la section "Modifier les paramètres du logiciel"

Answer 2

sudo vi /etc/hive/conf/hive-site 

ou

sudo -su root 
vi /etc/hive/conf/hive-site.xml