Pyspark obtenir la valeur max exclure NaN

Question

df = spark.createDataFrame([(1.0,100.0, float('nan')), (float('nan'),100.0, 2.0)], ("a", "b")) 
df.select(F.max(df.a)).show() 

le résultat est:

+------+ 
|max(a)| 
+------+ 
| NaN| 
+------+ 

Je ne voulais pas NAN, comment puis-je faire?

Answer 1

vous pouvez faire

df.na.fill(0) 

avant d'appliquer votre filtre max