Apache Spark Jobc terminé mais le travail hadoop est toujours en cours

Je suis en train d'exécuter un gros travail Spark (environ 20 To et stocké dans HDFS) aux côtés de Hadoop. La console d'allumage indique que le travail est terminé, mais Hadoop exécute toujours le travail en cours, tant dans la console que dans les journaux.Apache Spark Jobc terminé mais le travail hadoop est toujours en cours

Combien de temps devrais-je attendre jusqu'à ce que je devrais m'inquiéter?

Source

2017-08-19 Alex Turner

vous étincelle en cours d'exécution en continu travail à partir du système de fichiers ou que vous exécutez noyau d'allumage –

Spark de base - les données proviennent d'un seau S3. Le travail Spark terminé il y a 6 heures mais le travail hadoop est toujours en cours d'exécution et écrit dans HDFS –

Vous pouvez essayer d'arrêter le contexte d'étincelles proprement. Si vous ne le fermez pas, ajoutez une méthode d'arrêt sparkcontext à la fin du travail. Par exemple

sc.stop()

Source

2017-08-19 15:47:58 boottp

Apache Spark Jobc terminé mais le travail hadoop est toujours en cours

Répondre

Questions connexes