Je viens de commencer à travailler sur Hadoop.
Je veux savoir comment hadoop gère l'équilibrage de charge.Comment Hadoop gère l'équilibrage de charge
Si j'ai 5 nœuds dans un cluster, alors comment s'assurer que chaque nœud a une charge de travail égale?
Y at-il un algorithme utilisé par Hadoop pour l'équilibrage de charge?
Pourriez-vous s'il vous plaît m'aider à apprendre Hadoop?
Je suppose que vous voulez dire YARN, le ResourceManager, pas HDFS, le système de fichiers. YARN n'assure ni ne garantit un traitement égal. En ce qui concerne MapReduce, si vos données sont fortement inclinées vers des paires de clés particulières, alors un processus d'un nœud sera le goulot d'étranglement pour le travail. Si vous vouliez dire HDFS, il y a littéralement quelque chose qui s'appelle HDFS Rebalancer, mais c'est pour s'assurer que vos données sont bien réparties dans le cluster, afin que les tâches soient mieux réparties en termes de "data localité". Cependant, cela n'aidera pas l'asymétrie des données.