Spark History Server ne démarre pas

Question

J'ai installé CDH 5.4.7 sur mon cluster à 3 nœuds. Après avoir exécuté le premier travail sur Spark, j'ai vérifié la page d'historique des applications. Il a été écrit comme suit

Event log directory: hdfs://****:8020/user/spark/applicationHistory 

No completed applications found! 

Did you specify the correct logging directory? Please verify your setting of 
spark.history.fs.logDirectory and whether you have the permissions to access 
it. It is also possible that your application did not run to completion or 
did not stop the SparkContext. 

J'ai vérifié HDFS et a constaté que /user/spark/applicationHistory était déjà là. Mais il n'y avait pas d'entrée dans ce répertoire. Cela signifie qu'aucun journal n'a été écrit. Je cherchai la page de documentation de Cloudera et a trouvé l'article Managing the Spark History Server sur le lien suivant

Managing Spark History Server

Comme décrit je l'ai ajouté une histoire Spark Server et a commencé. Exécuté les deux commandes pour mon utilisateur

$ sudo -u hdfs hadoop fs -chown -R spark:spark /user/spark 
$ sudo -u hdfs hadoop fs -chmod 1777 /user/spark/applicationHistory 

Cependant, quand j'ai essayé d'exécuter la commande suivante donne no such file or directory erreur

$ cp /etc/spark/conf/spark-defaults.conf.template /etc/spark/conf/spark-defaults.conf 

Alors, je suis allé le chemin /etc/spark et énuméré les fichiers suivants à l'intérieur que . Elle a montré quelque chose comme ça

conf -> /etc/alternatives/spark-conf 

Ni je pouvais créer dir nommé conf parce qu'il est déjà là, ni je peux changer de répertoire pour /etc/spark/conf

également commande service spark-history-server start donne erreur unrecognized service.

Veuillez nous aider! Merci à l'avance

Answer 1

Je faisais face à la même question sur l'image VM Cloudera Quickstart 5.12.0 et capable de régler le problème en suivant les étapes ci-dessous:

• Arrêtez le serveur Histoire:

$ sudo stop service étincelle histoire serveur

• Set ownersh ip et autorisations sur/utilisateur/allumage/applicationHistory/dans HDFS et comme suit:

$ sudo -u HDFS Hadoop fs -chown -R étincelle: étincelle/user/étincelle

$ sudo -u HDFS Hadoop fs -chmod 1777/user/étincelle/applicationHistory

• Ajouter ci-dessous des lignes à /etc/spark/conf/spark-defaults.conf fichier pour enregistrer les événements:

spark.eventLog.enabled = true

spark.eventLog.dir = hdfs: // QuickStart.Cloudera: 8020/user/étincelle/applicationHistory

• Ajouter à la ligne ci-dessous le fichier /etc/spark/conf/spark-defaults.conf pour relier directement à ResourceManager YARN l'histoire Spark serveur:

spark.yarn.historyServer.address = http://quickstart.cloudera:18088

• Démarrer l'histoire du serveur:

$ sudo Service étincelle histoire démarrage du serveur

espoir qu'il sera utile aux autres.