J'ai ajouté un deuxième noeud à mon HDFS. Le serveur maître a une utilisation du disque de 91% avant d'ajouter le nœud. Ensuite, l'espace libre devient toujours plus petit. J'ai rééquilibré le cluster avec un seuil de 10 et le facteur de réplication de bloc est réglé sur 3. Ma version de Hadoop est 2.2.4.2-2. Des idées pour libérer de l'espace sur mon nœud maître?HDFS: Comment libérer de l'espace/rééquilibrer après l'ajout d'un nouveau noeud?
Vous aviez un seul datanode, contenant probablement tous les blocs HDFS. Chaque bloc avait seulement une copie. Si vous ajoutez un deuxième noeud et conservez le facteur de réplication 3, vous copierez au mieux chaque bloc vers le nouveau noeud pour obtenir un facteur de réplication réel 2 (chaque bloc a deux copies, une sur chaque noeud). Aucune réduction d'espace sur l'ancien noeud unique. Si vous ajoutez ensuite un troisième datanode, vous obtiendrez, au mieux, 3 copies pour chaque bloc, une sur chaque nœud, sans réduction d'espace sur le nœud d'origine. Ce n'est que lorsque vous ajoutez un 4ème nœud qu'une certaine réduction de l'utilisation du disque peut être obtenue en migrant environ 1/4ème des répliques de bloc du nœud d'origine.
Vous devez soit réduire votre facteur de réplication, soit ajouter plus de 3 nœuds. 6 nœuds obtiendront une réduction de 50% au facteur de réplication 3. Ou changer le facteur de réplication à 1 et atteindre une réduction de 50% avec seulement 2 nœuds, au risque de perdre des blocs.
Merci pour votre réponse! Si je réduis le facteur de réplication de bloc à 2, chaque datanode a une copie de chaque bloc et réalise une réduction de 33%, n'est-ce pas? – Jonas
uniquement si vous ajoutez 3 nœuds. Le facteur de réplication 2 sur deux nœuds doit placer 100% des blocs sur chaque nœud. –
Juste pour être sûr. Un facteur de réplication supérieur au nombre de datanodes sera ignoré et chaque datanode ne contient qu'une seule copie d'un bloc? Je suis un peu confus, car la taille du dossier de données du noeud 1 est 1,7TB et le noeud 2 a une taille de 1,2 To. – Jonas
Quel est votre «serveur maître»? HDFS a un namenode et des datanodes. Pas de "maître". –
Mon «serveur maître» contient le namenode et un datanode. Le second serveur est le second datanode. – Jonas
Vous avez donc le facteur de réplication 3 sur un cluster de 2 datanodes? –