Comment exécuter une méthode principale de Spark (en Databricks)

Question

J'ai créé un simple code Scala:

import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark.SparkConf 

object app2 { 
    def main(args: Array[String]) { 
    val conf = new SparkConf().setAppName("Simple Application") 
    val sc = new SparkContext(conf) 
    println(s"This is a simple scala code v2 - it is running a Spark code.") 
    sc.stop() 
    } 
} 

ensuite compilé avec SBT qui a créé le fichier JAR.

a ensuite ajouté que JAR Spark portable avec:

sc.addJar("some/path") 

Comment puis-je exécuter (appeler) cette méthode principale (App2) à l'intérieur portable Databricks afin de voir la sortie de la commande « println »?

Answer 1

Merci 'Ronak'. Semble que ce soit une combinaison gagnante d'un code scala: [? A suivi cette]

/* app4.scala */ 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark.SparkConf 

object app4 { 
    def main(args: Array[String]) { 
    val goodSparkContext = SparkContext.getOrCreate() 
    println(s"This is a simple scala code v4 - it is running a Spark code.") 
    } 
}