Spark exécuteur GC prend long

Question

Je suis en train d'exécuter le travail Spark sur un cluster autonome et j'ai remarqué qu'après un certain temps le GC commence à prendre longtemps et la couleur rouge effrayante commence à apparaître.

Voici les ressources disponibles:

Cores in use: 80 Total, 76 Used 
Memory in use: 312.8 GB Total, 292.0 GB Used 

Détails de l'emploi:

spark-submit --class com.mavencode.spark.MonthlyReports 
--master spark://192.168.12.14:7077 
--deploy-mode cluster --supervise 
--executor-memory 16G --executor-cores 4 
--num-executors 18 --driver-cores 8 
--driver-memory 20G montly-reports-assembly-1.0.jar 

Comment puis-je fixer le temps de GC prend tant de temps?

Answer 1

J'ai rencontré le même problème et j'ai pu le résoudre en utilisant Parallel GC au lieu de G1GC. Vous pouvez ajouter les options suivantes aux options Java supplémentaires de l'exécuteur dans la demande de soumission: