Comment la taille du bloc varie de Cluster1 à Cluster2, si nous utilisons la commande DistCp?

Question

Je suis en train de traiter la commande "DistCp" pour déplacer quelques fichiers critiques de My Cluster1 vers Cluster2. Ces fichiers critiques résidaient avec Blocksize 64 Mo, avant. Et maintenant déplacé vers Cluster2 [il a 128 Mo de blocs). Après le déplacement DistCp, comment les performances des fichiers critiques vont augmenter avec la nouvelle taille de blocs dans Cluster2..performance augmente ou diminue .. ???

Answer 1

Cela dépend de vos fichiers. Les fichiers Hadoop sont censés être lus séquentiellement et si vos fichiers sont gros (disons Gbs ou Tbs), cela augmentera les performances si vous augmentez votre taille de bloc, car cela diminuerait le nombre de tâches à effectuer. La copie avec Distcp ne conserve pas les propriétés de bloc de votre fichier, car les configurations de bloc varient d'un cluster à l'autre.