Hive fonctionne toujours en mode local

Question

J'ai hadoop cluster (3 noeuds) tous les noeuds fonctionnent bien. mais Hive exécute toujours des requêtes en mode local. Je me suis assis le mapred.job.tracker à l'hôte de traqueur et ne fonctionne toujours pas.

Answer 1

J'ai trouvé que le problème est dans une configuration hadoop. Il semble que Hive n'ait pas pu détecter la configuration du cluster.

Depuis que je suis en utilisant Hadoop 2.6.0, j'ai changé mapred-site.xml selon le communiqué, voir ci-dessous mon fichier mapred-site.xml

<property> 
 
     <name>mapreduce.framework.name</name> 
 
     <value>yarn</value> 
 
    </property> 
 
<property> 
 
    <name>mapreduce.jobtracker.address</name> 
 
    <value>hadoopMaster:54311</value> 
 
    <description>The host and port that the MapReduce job tracker runs 
 
    at. If "local", then jobs are run in-process as a single map 
 
    and reduce task. 
 
    </description> 
 
</property> 
 

 
<property> 
 
    <name>mapreduce.jobtracker.http.address</name> 
 
    <value>hadoopMaster:50030</value> 
 
    <description>The host and port that the MapReduce job tracker runs 
 
    at. If "local", then jobs are run in-process as a single map 
 
    and reduce task. 
 
    </description> 
 
</property>

Et c'est les valeurs par défaut pour mapred-site.xml d'Apache Hadoop.

https://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml