Avec quelques recherches sur Internet, je peux utilisercluster Spark mis en place erreur
sbin/start-master.sh
pour démarrer le service d'allumage du serveur maître d'allumage sur mes ordinateurs Ubuntu Linux et utiliser
bin/spark-class org.apache.spark.deploy.worker.Worker spark://...
pour la Le service des nœuds esclaves est opérationnel. Les bonnes nouvelles étaient que je peux voir la page Web locale avec des travaux trouvés vivants.
Cependant, après un tel, j'ai essayé de lancer le shell pour travailler ...
MASTER=spark://localhost:7077 bin/spark-shell
, mais il est revenu: sparkMaster @ localhost: 7077 ...
Et donc j'ai modifié le code à
MASTER=spark://[email protected]:7077 bin/spark-shell
où le sparkuser est celui relié aux deux noeuds cependant, avec une telle modification, je suis arrivé:
ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
WARN SparkDeploySchedulerBackend: Application ID is not initialized yet.
ERROR TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.
et quand j'ai essayé
MASTER=local-cluster[3,2,1024] bin/spark-shell
Il est venu avec le logo d'étincelle dans la coquille mais j'avais peur les nœuds esclaves ne sont pas obligatoires dans tous.
Ai-je manqué quelque chose pour le paramètre de cluster Spark?