Comment calculer le débit du canal dans hadoop

Question

Comment puis-je calculer le débit du canal dans mon cluster hadoop? Je fais cela pour la première fois. Toutes mes données écrites dans HDFS sont via un canal.

J'ai regardé quelques tableaux à HDFS et trouvé: Total Bytes Written À travers DataNodes semble être autour 2.2MB/s pour une période moyenne 1 d. Est-ce correct et le chemin à parcourir?

Answer 1

Utilisez-vous une distribution comme HDP ou CDH ?. CDH fournit de jolies métriques lors de la visualisation de l'Agent Flume via Cloudera Manager. Il fournit le canal suivant: mettre Ratio%, prendre Ratio% Source: Événement de réception Succès par seconde Sink: Événement de vidange succès par seconde

Je suppose que c'est ce que vous cherchez