Prendre la somme d'une trame de données pyspark par colonne effieciently

Question

Je travaille dans Spark 1.6 (malheureusement). J'ai un dataframe avec beaucoup de colonnes avec 0 et 1 comme valeurs. Je veux prendre le pourcentage de 1 par colonne. donc je fais:

rowsNum = dfBinary.count() 
dfStat = dfBinary.select([(count(when(col(c) == 1 , c))/rowsNum). 
alias(c) for c in dfBinary.columns]) 

est-il un moyen plus efficace de le faire? Peut-être une fonction intégrée avec une somme par colonne (je n'en ai pas trouvé cependant).

Answer 1

Vous pouvez remplacer count et division avec mean pour éviter que des données supplémentaires scan

from pyspark.sql.functions import mean 

dfStat = dfBinary.select([ 
    (mean(when(col(c) == 1 , c))). 
    alias(c) for c in dfBinary.columns]) 

mais sinon, il est aussi efficace que peut obtenir.

Answer 2

vous pouvez utiliser la somme() du module de fonctions,

from pyspark.sql.functions import sum 
dfBinary.select([(sum(c)/rowsNum).alias(c) for c in dfBinary.columns]).show()