Je suis en mesure de soumettre un travail spakr sur un serveur Linux à l'aide de la console. Mais existe-t-il une API ou un framework qui permette de soumettre un job spark dans un serveur linux?Existe-t-il un moyen de soumettre un travail d'étincelle à l'aide de l'API?
Vous pouvez utiliser le port 7077 pour soumettre des travaux spark dans votre cluster spark au lieu d'utiliser spark-submit.
val spark = SparkSession
.builder()
.master(spark://master-machine:7077)
En écrivant ce travail d'étincelle de code soumettra dans le serveur de l'étincelle? –
L'exécution automatique d'un programme avec cette phrase envoie un travail d'étincelle à votre cluster. Essayez-le et faites le moi savoir;) –
Ma question est de savoir comment soumettre un travail d'allumage en utilisant l'API? –
vous pouvez consulter le serveur Livy. Il est en mode GA dans les distributions Hortonworks et Cloudera d'Apache Hadoop. Nous avons eu beaucoup de succès avec ça. sa documentation est assez bonne pour commencer. Les travaux Spark démarrent instantanément lorsqu'ils sont soumis via Livy car plusieurs SparkContexts y sont exécutés.
Quel est votre gestionnaire de ressources/cluster? – mrsrinivas
Les travaux Spark s'exécutent sur le serveur en cluster Linux –
Utilisez-vous le mode autonome YARN ou Spark? – mrsrinivas