1
Je souhaite éviter d'écrire tout le flux dans un fichier, puis le charger dans l'image. Quelle est la bonne façon?Spark Créer une trame de données à partir d'un InputStream?
A
Répondre
1
Vous pouvez vérifier Spark Streaming et sqlnetworkWordCount ce qui explique que votre problème peut être résolu en créant singleton instance de SparkSession en utilisant SparkContext de SparkStreaming.
Vous devriez avoir de meilleures idées en passant par les liens ci-dessus où dataframes sont créés à partir de streaming rdd.
étincelle? –
https://spark.apache.org/docs/latest/api/scala/index.html#[email protected](path:String,minPartitions:Int):org.apache.spark.rdd. RDD [String] – Reactormonk
@Reactormonk, cette API obtient un chemin dans hdfs, pas un flux. – Raytracer