Dans un cluster Hadoop à 3 nœuds. Je voudrais que le maître soit 1 noeud. Cartographier la tâche dans un nœud et réduire les tâches dans un nœud. Cartographier et réduire les tâches doivent être séparés. C'est possible? Autant que j'ai remarqué les deux courent ensemble. Ce sera génial si vous pouvez faire la lumière. Je vous remercie !Séparation des tâches Hadoop et Réduction des tâches
-Sethu
C'est tout autre chose que optimale car la sortie de carte doit toujours être copié sur un autre serveur.
Mais vous pouvez simplement modifier votre fichier mapred-site.xml sur les serveurs.
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
<description>The maximum number of map tasks that will be run simultaneously by a task tracker.</description>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>4</value>
<description>The maximum number of reduce tasks that will be run simultaneously by a task tracker.</description>
</property>
Sur le serveur où aucun réducteur devrait fonctionner que vous mettez dans le reduce.task.maximum un zéro. Et vice versa pour les autres serveurs.
Salut, Devrais-je mentionner le nombre maximum de tâches de carte toujours? Est-il suffisant si je jus préciser mapred.tasktracker.reduce.tasks.maximum Le nombre maximum de réduire les tâches qui seront exécutées simultanément par un suivi des tâches. , en le noeud où seules les tâches de carte doivent s'exécuter et vice versa dans un noeud où seule la réduction doit s'exécuter? –
sethu
Salut, je ne suis pas sûr de ce que le défaut est (il pourrait être le nombre de cœurs), donc fournissez simplement ces deux valeurs. Essaye le. –
Voulez-vous dire que le nombre par défaut de tâches map/reduce peut être basé sur le nombre de processeurs dans ce système? – sethu