Comment puis-je obtenir des fréquences de pourcentage dans pyspark

Question

J'essaie d'obtenir des fréquences de pourcentage dans pyspark. Je l'ai fait en Pyhton comme suit

Companies = df['Company'].value_counts(normalize = True) 

Obtenir les fréquences est assez simple:

# Dates in descending order of complaint frequency 
df.createOrReplaceTempView('Comp') 
CompDF = spark.sql("SELECT Company, count(*) as cnt \ 
        FROM Comp \ 
        GROUP BY Company \ 
        ORDER BY cnt DESC") 
CompDF.show() 

+--------------------+----+ 
|    Company| cnt| 
+--------------------+----+ 
|BANK OF AMERICA, ...|1387| 
|  EQUIFAX, INC.|1285| 
|WELLS FARGO & COM...|1119| 
|Experian Informat...|1115| 
|TRANSUNION INTERM...|1001| 
|JPMORGAN CHASE & CO.| 905| 
|  CITIBANK, N.A.| 772| 
|OCWEN LOAN SERVIC...| 481| 

Comment puis-je obtenir pour cent fréquences d'ici? J'ai essayé un tas de choses avec pas beaucoup de chance. Toute aide serait appréciée.

Answer 1

Comme Suresh implique dans les commentaires, en supposant que total_count est le nombre de lignes dans dataframe Companies, vous pouvez utiliser withColumn pour ajouter une nouvelle colonne nommée percentages dans CompDF:

total_count = Companies.count() 

df = CompDF.withColumn('percentage', CompDF.cnt/float(total_counts)) 

Answer 2

Peut être modifier la requête SQL vous obtiendrez le résultat que vous voulez.

"SELECT Company,cnt/(SELECT SUM(cnt) from (SELECT Company, count(*) as cnt 
    FROM Comp GROUP BY Company ORDER BY cnt DESC) temp_tab) sum_freq from 
    (SELECT Company, count(*) as cnt FROM Comp GROUP BY Company ORDER BY cnt 
    DESC)"