Nombre de processeurs par tâche dans Spark

Question

Je ne comprends pas tout à fait le paramètre spark.task.cpus. Il me semble qu'une «tâche» correspond à un «fil» ou un «processus», si vous voulez, au sein de l'exécuteur. Supposons que je mets "spark.task.cpus" à 2.

1. Comment un thread peut-il utiliser deux processeurs simultanément? Ne pourrait-il pas exiger des verrous et causer des problèmes de synchronisation? Je regarde launchTask() fonction dans deploy/executor/Executor.scala, et je ne vois aucune notion de "nombre de processeurs par tâche" ici. Alors, où/comment Spark finit par allouer plus d'un CPU à une tâche en mode autonome?

Answer 1

Au meilleur de ma connaissance spark.task.cpus contrôle le parallélisme des tâches que vous cluster dans le cas où certaines tâches particulières sont connus pour avoir leur propre parallélisme interne (sur mesure).

De façon plus détaillée: Nous savons que spark.cores.max définit le nombre de threads (aka cœurs) vos besoins d'application. Si vous laissez spark.task.cpus = 1 alors vous aurez # nombre spark.cores.max de tâches Spark simultanées s'exécutant en même temps.

Vous voulez seulement changer spark.task.cpus si vous savez que sont eux-mêmes vos tâches parallélisée (peut-être chacun de votre tâche engendre deux fils, interagit avec des outils externes, etc.) En définissant spark.task.cpus en conséquence, vous devenez un bon « citoyen » . Maintenant, si vous avez spark.cores.max = 10 et spark.task.cpus = 2 Spark ne créera que 10/2 = 5 tâches simultanées. Étant donné que vos tâches nécessitent (disons) 2 threads en interne, le nombre total de threads en cours d'exécution ne sera jamais supérieur à 10. Cela signifie que vous ne dépasserez jamais votre contrat initial (défini par spark.cores.max).