Comme exemple simplifié, j'ai essayé de filtrer un dataframe Spark avec le code suivant:filtre Spark dataframe en vérifiant si la valeur est dans une liste, avec d'autres critères
val xdf = sqlContext.createDataFrame(Seq(
("A", 1), ("B", 2), ("C", 3)
)).toDF("name", "cnt")
xdf.filter($"cnt" >1 || $"name" isin ("A","B")).show()
Ensuite il des erreurs:
org.apache.spark.sql.AnalysisException: cannot resolve '((cnt > 1) || name)' due to data type mismatch: differing types in '((cnt > 1) || name)' (boolean and string).;
Quelle est la bonne façon de le faire? Il me semble qu'il cesse de lire après la colonne name
. Est-ce un bug dans l'analyseur? J'utilise étincelle 1.5.1
Que signifie le ': _ *' faire? –
C'est une fonction d'annotation Scala. – pschilakanti
qu'est-ce que cela signifie? –