HDFS ne réplique pas les blocs

Question

J'ai récemment installé Hadoop (Cloudera). J'obtiens une erreur que j'ai sous les blocs répliqués (dans Cloudera Manager qui est un gui pour l'installation). Alors, quand je lance

hdfs dfsadmin -report 

Je reçois

Configured Capacity: 555730632704 (517.56 GB) 
Present Capacity: 524592504832 (488.56 GB) 
DFS Remaining: 524592193536 (488.56 GB) 
DFS Used: 311296 (304 KB) 
DFS Used%: 0.00% 
Under replicated blocks: 5 
Blocks with corrupt replicas: 0 
Missing blocks: 0 
Missing blocks (with replication factor 1): 0 

Ce qui signifie que pour une raison quelconque mes hdfs ne répliquent pas les blocs. Que vérifier à partir d'ici? Est-il possible que ce soit un problème avec mon HDFS Balancer et que je dois l'exécuter manuellement?

Answer 1

Il y a 2 raisons principales pour avoir sous les blocs répliqués:

1. facteur de réplication dépasse les noeuds de données disponibles

Supposons que vous avez seulement 2 noeuds de données, et votre facteur de réplication est 3, chaque bloc vous créerez restera sous-reproduit car il n'y a tout simplement pas 3 nœuds de données à répliquer.

Les solutions peuvent être d'ajouter des nœuds de données ou de réduire le facteur de réplication.

2. Cluster a été trop occupé

Le groupe privilégiera le travail « réel » sur la réplication des blocs. Par conséquent, si vous créez un grand nombre de blocs, cela peut prendre un certain temps à rattraper. Si votre cluster est occupé en permanence, en théorie il peut toujours y avoir des blocs sous-répliqués. Notez que, comme vous mentionnez qu'il s'agit d'un nouveau cluster, et que le disque semble être le plus vide possible, je ne pense pas que ce soit le cas ici 2.

---

En plus de cela, il est bien sûr possible que quelque chose a cassé en fait (comme l'équilibre), mais je ne vous inquiétez pas à ce sujet jusqu'à ce que vous vérifié que les deux cas ci-dessus peuvent être exclues. La plupart des choses qui se brisent ont tendance à entraîner une erreur ici ou là, donc en supposant que vous ne voyez rien, il est peu probable que ce soit le cas.