Configurer le fil avec les ressources Hadoop 2.7.4 problème

Question

J'ai configuré hadoop 2.7.4 en suivant ce tutorial. DataNode, NameNode et SecondaryNameNode fonctionnent correctement.

Mais quand je lance le fil, NodeManager descend avec le message suivant

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved Le signal SHUTDOWN de Resourcemanager, enregistrement de NodeManager a échoué, Message de ResourceManager: NodeManager de localhost ne satisfait pas les allocations minimales, envoyant le signal SHUTDOWN au NodeManager.

Mon système a 8 cpu avec 8 Go de RAM. Comment configurer le fil avec ces ressources? J'ai trouvé beaucoup comme this mais je n'ai trouvé aucune solution pour résoudre mon problème.

Answer 1

J'ai eu le même problème pendant un cours. Nous utilisions des machines virtuelles Amazon avec des cœurs .

Après diverses modifications dans yarn-site.xml, nous avons eu notre NodeManager en cours d'exécution définissant les propriétés suivantes

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>4096</value> 
</property> 

<property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
    <value>2</value> 
</property> 

Dans votre cas, vous devrez peut-être établir 8 cœurs virtuels.