obtenir nombre de noeuds, le nombre de codes et RAM disponible pour le réglage

Question

Je suis en train pour régler mon cluster HPC (je l'utilise Sparklyr) et je tente de recueillir des spécifications importantes spécifiées par http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/:

Pour espérons rendre tout cela un peu plus concret, voici un exemple de configuration d'une application Spark pour utiliser autant de cluster que possible: Imaginez un cluster avec six nœuds exécutant NodeManagers, chacun équipé de 16 cœurs et 64 Go de mémoire .

à savoir:

• nombre de nœuds
• nombre de cœurs
espace disque
• et RAM

Je sais comment utiliser sinfo -n -l mais je vois trop de cœurs et moi ne peut pas facilement obtenir cette information. Existe-t-il un moyen plus simple de connaître les spécifications globales de mon cluster?

En fin de compte, je suis en train de trouver des paramètres raisonnables pour --num-executors--executor-cores et --executor-memory

Answer 1

Nombre de nœuds:

sinfo -O "nodes" --noheader 

Nombre de conducteurs: "Les noyaux" de slurm sont, par défaut, le nombre des cœurs par socket, pas le nombre total de cœurs disponibles sur le nœud. Avec un peu de confusion, dans Slurm, cpus = cœurs * sockets (donc, une machine à deux processeurs, 6 cœurs aurait 2 sockets, 6 cœurs et 12 cpus).

Le nombre de cœurs (= cpus dans Slurm), l'espace disque et la RAM sont plus difficiles à obtenir, car ils peuvent être différents sur des nœuds différents. Les rendements suivants une liste facile à Parse:

sinfo -N -O "nodehost,disk,memory,cpus" --noheader 

Si tous les nœuds qui sont les mêmes, nous pouvons obtenir l'information de la première ligne de sinfo:

Nombre de noyaux (= Slurm CPUs) par noeud:

sinfo -N -O "cpus" --noheader | head -1 

RAM par nœud:

sinfo -N -O "memory" --noheader | head -1 

espace disque par noeud:

sinfo -N -O "disk" --noheader | head -1