Existe-t-il un moyen ou une commande permettant de connaître l'espace disque de chaque datanode ou l'espace disque total du cluster?Connaître l'espace disque des nœuds de données dans hadoop?
J'ai essayé la commande
dfs -du -h/
mais il semble que je n'ai pas l'autorisation d'exécuter pour de nombreux répertoires et ne peuvent donc pas obtenir l'espace disque réel.
Si vous utilisez Hadoop cluster configuré comme simple sécurité, vous pouvez exécuter la commande ci-dessous pour obtenir l'utilisation des nœuds de données.
export HADOOP_USER_NAME=hdfs ;
* commande ci-dessus peut être utilisé pour obtenir le privilège admin dans la sécurité simple, si vous utilisez un autre utilisateur pour hdfs admin, remplacer HDFS avec les HDFS respectifs utilisateur administrateur.
hadoop dfsadmin -report
L'option alternative est de se connecter au datanode respectif et d'exécuter la commande unix ci-dessous pour obtenir l'utilisation du disque de ce serveur.
df -h
vous affichez les informations sur tous les DataNodes et leur utilisation du disque dans l'onglet NameNode DataNodes de l'interface utilisateur. L'espace disque total du cluster peut être vu dans la partie récapitulative de la page principale.
De l'interface utilisateur:
http://namenode:50070/dfshealth.html#tab-datanode
---> qui vous donnera tous les détails sur DataNode.
ligne de commande:
Pour obtenir l'espace disque de chaque DataNode:
sudo -u hdfs hdfs dfsadmin -report
---> qui vous donnera les détails de toute HDFS et les DataNodes individuels ou
sudo -u hdfs hdfs dfs -du -h /
---> qui wi ll vous donnera l'utilisation totale du disque de chaque dossier sous la racine / répertoire