Comment les métriques de cluster YARN sont-elles calculées? Sont-ils un instantané instantané ou une moyenne sur une période?

Question

Par exemple, en exécutant ceci: http: //: 8088/ws/v1/cluster/métriques

Je reçois une sortie comme ceci:

{ 
    "clusterMetrics": { 
     "appsSubmitted": 502521, 
     "appsCompleted": 501201, 
     "appsPending": 0, 
     "appsRunning": 19, 
     "appsFailed": 454, 
     "appsKilled": 847, 
     "reservedMB": 140400, 
     "availableMB": 12615232, 
     "allocatedMB": 8830800, 
     "reservedVirtualCores": 39, 
     "availableVirtualCores": 6140, 
     "allocatedVirtualCores": 2065, 
     "containersAllocated": 1692, 
     "containersReserved": 39, 
     "containersPending": 3960, 
     "totalMB": 21446032, 
     "totalVirtualCores": 8205, 
     "totalNodes": 199, 
     "lostNodes": 1, 
     "unhealthyNodes": 1, 
     "decommissionedNodes": 8, 
     "rebootedNodes": 0, 
     "activeNodes": 189 
    } 
} 

Par exemple, allocatedMB veut dire quoi? Est-ce une valeur instantanée? Est-il moyenné sur une période d'intervalle? L'intervalle est configurable?

Answer 1

Le MBM alloué est la mémoire qui a été affectée aux vcores (mais pas nécessairement utilisé). Oui, c'est une valeur instantanée. Il n'y a pas d'intervalle, c'est un instantané de votre cluster à cet instant (moins le temps qu'il faut pour calculer ces valeurs à partir des structures de données dans le gestionnaire de ressources et ensuite le renvoyer via l'API REST).

Si vous voulez traduire vos paramètres qu'il dit:

• Vous avez actuellement 19 applications en cours d'exécution.
• Ces 19 applications utilisent un total de 2065 vcores.
• Ces 2065 vcores ont réservé 8830800 Mo de mémoire pour eux