Streaming structuré dans pyspark

Question

J'essaie de diffuser des données depuis un autre serveur vers hbase et de pouvoir définir différentes familles de colonnes en python. Je l'ai regardé autour dans la documentation d'allumage et seulement voir:

writestream.format('jdbc').start('jdbc:///') 

Comment puis-je avoir les mêmes mises en œuvre pour écrire directement à HBase avec la possibilité de cartographier les données à différentes familles de colonne?

Answer 1

Vous pouvez écrire vos données à l'aide HBase foreach (Scala ou Java): http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#using-foreach