2017-05-02 1 views
0

Mon étincelle fonctionne en fil de cluster mode .Quand je soumets un travail, je veux savoir sur quelle machine se trouve le programme pilote dans mon cluster. Il semble que je ne peux obtenir l'emplacement du conteneur de la bande de fil ui: enter image description herecomment trouver un nœud de processus de pilote pour des tâches s'exécutant en étincelle en mode cluster-grappe

Que puis-je faire?

+0

Si vous lancez l'interface utilisateur Web (en cliquant sur la colonne Attempt ID dans l'image ci-dessus, cliquez sur l'onglet executors.) La dernière rangée sera généralement le driver Si cela aide à me le faire savoir, je l'ajouterai ouiwere – code

Répondre

0

L'interface utilisateur Web Spark est lancé sur le port 4040 du nœud du conducteur, donc une façon de trouver l'ip du conducteur est de cliquer sur le lien journaux et recherche de 4040

Un exemple de ligne de journal serait SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.100.0.117:404010.100.0.117 est l'adresse IP du noeud du pilote.

+0

Oui, je sais, mais le problème est que mon clustering a tellement de tâches à exécuter. – wuchang