J'ai un cluster composé de 1 maître 10 nœuds de travail. Lorsque je définis le nombre de partition comme 3, je me demande si le nœud maître utilise seulement 3 nœuds de travail ou les utilise tous? Parce que cela montre que tous sont utilisés.Partitionnement d'Apache Spark
La question n'est pas si clair sur ce que vous demandez, mais les choses suivantes pourraient aider
Lorsque vous démarrez le travail avec 10 exécuteurs, maître d'application étincelle obtient toutes les ressources à partir de fils. Donc, tous les exécuteurs sont déjà associés à l'étincelle. Toutefois, si votre partition de données est inférieure au nombre d'exécuteurs disponibles, le reste des exécuteurs restera inactif. Par conséquent, ce n'est pas une bonne idée de garder le nombre de partition inférieur au nombre d'exécuteurs.