Spark-SQl partitions DataFrame

Question

J'ai besoin de charger une table Hive en utilisant spark-sql, puis d'exécuter un algho d'apprentissage automatique. Je fais qu'écrire:

val dataSet = sqlContext.sql(" select * from table") 

Il fonctionne bien, mais si je voulais augmenter le nombre de partions du DataSet dataframe, Comment puis-je pu faire cela? Avec RDD normale je peux faire écrire:

val dataSet = sc.textFile(" .... ", N) 

Avec un nombre N de partitions que je veux avoir.

Merci

Answer 1

Vous pouvez coalesce ou repartition résultant DataFrame, i.e. .:

val dataSet = sqlContext.sql(" select * from table").coalesce(N)