0
Comment Spark limite-t-il l'utilisation des cœurs et de la mémoire cpu? Que diriez-vous de fil?Comment Spark limite-t-il l'utilisation des cœurs de processeurs et de la mémoire?
A
Répondre
0
Dans un cluster autonome, Spark gère uniquement les configurations de ressources prédéfinies de l'application avec le pool de ressources fourni. Pool de ressources combiné basé sur des exécuteurs qui ont ajouté des pépins au cluster. Le fil utilise des conteneurs et la limitation des ressources applique la configuration du conteneur qui définit l'allocation minimale et maximale du cœur et de la mémoire.
0
En YARN NodeManager est suivi de l'utilisation de la mémoire des exécuteurs d'étincelles et de les tuer si elles utilisent au-dessus spark.executor.memory
En cas de CPU, spark.executor.cores est la quantité de tâches simultanées exécuteur peut courir. Plus d'informations sur Spark Configuration Documentation
Vous pouvez activer cgroups in yarn et limiter l'utilisation du processeur ou les conteneurs YARN (exécuteurs d'étincelles).
Vous posez plusieurs questions. S'il vous plaît soyez précis et montrez quelques recherches avant de demander - merci! –