comment obtenir le nombre de jours entre deux champ de scala dans

Question

J'ai deux champs de java.sql.timestamp de type dans mon dataframe et je veux trouver le nombre de jours entre ces deux colonnes

est Ci-dessous le format de mes données: * 2016-12-23 23: 56: 02.0 (aaaa-MM-jj HH: mm: ss.S)

J'avais essayé beaucoup de méthode mais n'ai trouvé aucune solution. Alors quelqu'un peut-il aider ici.

Answer 1

org.apache.spark.sql.functions est un trésor. Par exemple, il y a la méthode datediff qui fait exactement ce que vous voulez: here is the ScalaDoc.

Un exemple:

val spark: SparkSession = ??? // your spark session 
val sc: SparkContext = ??? // your spark context 

import spark.implicits._ // to better work with spark sql 

import java.sql.Timestamp 

final case class Data(id: Int, from: Timestamp, to: Timestamp) 

val ds = 
    spark.createDataset(sc.parallelize(Seq(
    Data(1, Timestamp.valueOf("2017-01-01 00:00:00"), Timestamp.valueOf("2017-01-11 00:00:00")), 
    Data(2, Timestamp.valueOf("2017-01-01 00:00:00"), Timestamp.valueOf("2017-01-21 00:00:00")), 
    Data(3, Timestamp.valueOf("2017-01-01 00:00:00"), Timestamp.valueOf("2017-01-23 00:00:00")), 
    Data(4, Timestamp.valueOf("2017-01-01 00:00:00"), Timestamp.valueOf("2017-01-07 00:00:00")) 
))) 

import org.apache.spark.sql.functions._ 

ds.select($"id", datediff($"from", $"to")).show() 

En exécutant cet extrait vous finiriez avec la sortie suivante:

+---+------------------+ 
| id|datediff(from, to)| 
+---+------------------+ 
| 1|    -10| 
| 2|    -20| 
| 3|    -22| 
| 4|    -6| 
+---+------------------+