Pourquoi l'interface utilisateur de Spark montre-t-elle seulement 6 cœurs disponibles par travailleur alors que j'en ai plus?

Question

Pourquoi Spark UI montre seulement 6 cœurs disponible par travailleur (pas le nombre de cœurs utilisé) alors que j'ai 16 sur chacune de mes 3 machines (8 sockets * 2 cœurs/socket) ou même 32 si prendre compte le nombre de threads par noyau (2). J'ai essayé de placer SPARK_WORKER_CORES dans le fichier spark-env.sh mais cela ne change rien (j'ai fait les changements sur les 3 ouvriers). Je commente également la ligne pour voir si elle change quelque chose: nombre de cœurs disponibles est toujours bloqué à 6.

J'utilise Spark 2.2.0 dans le cluster autonome:

pyspark --master spark://myurl:7077 

résultat de la commande de lscpu:

Answer 1

J'ai trouvé que je devais simplement arrêter le maître et les esclaves et les remettre en marche si le paramètre SPARK_WORKER_CORES est rafraîchi.