Lorsque je lance sql query spark-sql utilisera le cache LRU. Pourquoi l'utilisation du cache LRU ne se reflète pas dans l'interface Web de l'étincelle? Selon le temps de réponse je sens mes requêtes mises en cache, mais "Mémoire utilisée" dit "0.0 B/707.0 MB" Spark version est 1.3.1Pourquoi SparkUI n'affiche pas l'utilisation de la mémoire pour le cache SparkSQL LRU?
Spark montre l'état de mise en cache.
Il est disponible via l'interface utilisateur de l'application Spark sur l'onglet "Storage".
Il montrera le niveau de stockage (type de cache), le nombre de partitions en cache, la taille en mémoire & taille sur le disque.
Vous n'avez pas spécifié comment vous utilisez le mécanisme de mise en cache Spark.
La mise en cache Spark doit être explicitement activée.
Vous pouvez vérifier here comment activer/désactiver la mise en cache des tables Spark
Vous pouvez également activer le cache pour RDD/DataFrams utilisant:
rdd.cache()/df.cache()
rdd.persist(StorageLevel newLevel)/df.persist(StorageLevel newLevel)