Spark SQL configurations optimales pour un processus de noeud unique?

Question

Nous utilisons la fonctionnalité SQL de Spark SQL pour joindre et analyser des fichiers de données locaux avant de les télécharger ailleurs. Bien que nous soyons satisfaits de la fonctionnalité, nous aimerions modifier les configurations pour obtenir des performances supplémentaires.

Nous n'avons pas de cluster, mais nous aurons probablement 5 nœuds individuels qui diffusent tous les fichiers depuis S3, en les analysant séparément (ils ne s'appuient sur aucun autre fichier externe) séparément et en les téléchargeant. Malheureusement, nous utilisons l'API Java.

Ce sont les configs que j'expérimente, et n'importe quelle aide serait impressionnante.

(Every RDD is being cached) 
spark.sql.inMemoryColumnarStorage.compressed true 
spark.sql.inMemoryColumnarStorage.batchSize 20000(doubled) 
spark.sql.autoBroadcastJoinThreshold 10485760 
spark.sql.shuffle.partitions 10(since its a local process, reducing from 200) 

Answer 1

Vous pouvez définir la propriété suivante ainsi qui fera en sorte que les lots s'élagués en fonction de ses colonnes statistiques lorsqu'une requête est tirée: -

spark.sql.inMemoryColumnarStorage.partitionPruning true 

Remarque - C'est le nom de la propriété en ce qui concerne Spark 1.2. Pour 1.1, je me souviens que le nom de la propriété est un peu différent. Veuillez vérifier la même chose si vous utilisez 1.1.