configuration hadoop api sur la machine client

Question

ultra-noob. J'ai une machine serveur avec pseudo-distribution cdh3u1, et une machine cliente avec une application Java utilisant l'API cdh3u1.

Comment configurer le client pour parler au serveur? J'ai été googling pendant des heures et n'ai pas pu trouver où est le dossier de "configuration de client". Les paramètres "hdfs-default", "core-default" et "mapred-default" et leurs équivalents "-site" ressemblent tous à la configuration du serveur (namenode et datanode).

Est-ce que c'est juste une configuration de "serveur client multifonction" et je devrais choisir les attributs dans ces fichiers qui sont appropriés pour le client? qui sont-ils? manque probablement quelque chose de grand ici ...

Merci, Ido

Answer 1

assurez-vous que la machine client peut accéder à l'adresse IP de la machine serveur Hadoop. Si vous utilisez une virtualbox pour le serveur hadoop (cdh3 vm), ajoutez une interface réseau "hôte uniquement" (voir les détails ici: host-only networking with virtualbox) Je suppose que votre ip statique pour le serveur hadoop est 192.168.56.101 et que vous êtes

Si vous souhaitez nommer votre serveur hadoop "local-elephant", ajoutez la ligne suivante à/etc/hôtes dans les deux machines. 192.168.56.101 local-elephant

dans la machine serveur goto/etc/hadoop/conf modifier les valeurs des propriétés suivantes de "localhost" à "local-éléphant": dans le noyau-site.xml la valeur de fs.default.name et dans mapred-site.xml la valeur de mapred.job.tracker.

Sur l'ordinateur client, créez core-site.xml et mapred-site.xml dans le chemin de classe de votre application Java. Dans ces fichiers, mettez uniquement les propriétés fs.default.name et mapred.job.tracker.