comment calculer le temps d'exécution pris pour la cellule de commande dans le bloc-notes databricks

Question

J'ai besoin de connaître le temps nécessaire pour exécuter la liste des cellules de commande dans chaque bloc-notes. Databricks affiche la "commande a pris x nombre de secondes" à exécuter. Semblable à l'heure affichée affichée, j'ai besoin de capturer le temps nécessaire pour exécuter toutes les commandes dans un cahier.

Answer 1

Je me sers de ce qui suit:

val startTime = System.nanoTime 
// your code goes here 
val endTime = System.nanoTime 

val elapsedSeconds = (endTime - startTime)/1e9d 

Puisque vous avez mentionné que vous êtes un débutant ne faut pas oublier que Spark utilise l'exécution paresseuse de sorte que le temps de exécuter une cellule qui contient une transformation n'est pas le vrai temps d'exécution. Assurez-vous d'inclure une action pour mesurer le vrai temps d'exécution.