2017-06-14 2 views
0

Quelqu'un peut-il m'expliquer s'il vous plaît ce qui est un nœud de nom et un traqueur de travaux pour l'action oozie lorsque vous travaillez sur EMR (EMRFS). Je comprends que ce noeud de nom est spécifique à hdfs mais si j'utilise EMRFS, quelle devrait être la valeur de celui-ci dans oozie.Échantillon Oozie sur EMR

Répondre

0

name-node doit être le nom de domaine FQDN: port ou IP: port du maître EMR où le démon de nom de noeud HDFS s'exécute. job-tracker est l'adresse des gestionnaires de ressources YARN. Ils restent inchangés avec ou sans EMRFS car OOZIE utilise toujours HDFS (pas S3). En fonction de l'action, les conteneurs YARN (mappeurs/réducteurs) peuvent utiliser EMRFS et vous n'avez rien à configurer pour cela.

Vous pouvez voir ces ports liste pour trouver les ports nécessaires pour DME: http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-4.2.0/emr-release-differences.html#w2ab1c66c15

Vous pouvez également les trouver dans fs.default.name, mapred.job.tracker paramètres de base-site.xml/fil-site.xml/mapred site Fichiers .xml.