J'essaie de créer une nouvelle colonne dans un Spark DataFrame en utilisant Pyspark, qui représente un auto-incrémentation (ou ID) basé sur des groupes de valeurs booléennes alternées. Disons que je l'dataframe suivante:Auto-cryptage Pyspark pour un groupe de valeurs alternatif
df.show()
+-----+------------+-------------+
|id |par_id |is_on |
+-----+------------+-------------+
|40002|1 |true |
|40003|2 |true |
|40004|null |false |
|40005|17 |true |
|40006|2 |true |
|40007|17 |true |
|40008|240 |true |
|40009|1861 |true |
|40010|1862 |true |
|40011|2 |true |
|40012|null |false |
|40013|1863 |true |
|40014|626 |true |
|40016|208 |true |
|40017|2 |true |
|40018|null |false |
|40019|2 |true |
|40020|1863 |true |
|40021|2 |true |
|40022|2 |true |
+-----+------------+-------------+
Je veux étendre cette trame de données avec un identifiant supplémentaire appelé id2
en utilisant l'attribut is_on
. Autrement dit, chaque groupe de valeurs booléennes devrait avoir un identifiant croissant. Le résultat de DataFrame devrait ressembler à ceci:
df.show()
+-----+------------+-------------+-----+
|id |par_id |is_on |id2 |
+-----+------------+-------------+-----+
|40002|1 |true |1 |
|40003|2 |true |1 |
|40004|null |false |2 |
|40005|17 |true |3 |
|40006|2 |true |3 |
|40007|17 |true |3 |
|40008|240 |true |3 |
|40009|1861 |true |3 |
|40010|1862 |true |3 |
|40011|2 |true |3 |
|40012|null |false |4 |
|40013|1863 |true |5 |
|40014|626 |true |5 |
|40016|208 |true |5 |
|40017|2 |true |5 |
|40018|null |false |6 |
|40019|2 |true |7 |
|40020|1863 |true |7 |
|40021|2 |true |7 |
|40022|2 |true |7 |
+-----+------------+-------------+-----+
Avez-vous des suggestions pour cela? Comment puis-je écrire une fonction définie par l'utilisateur pour cela?