si autre instruction dans une boucle for à ajouter à une liste

Question

Je ne comprends pas pourquoi la liste ne s'ajoute pas dans pyspark. Quelqu'un peut-il aider à regarder mon code?

import json 

input_file = sc.textFile("data.json") 

def extract_func(data): 
    c_list = [] 
    neighborhoods = data.get('neighborhoods', None) 

    for n in neighborhoods: 
     if n == []: 
      c_list.append('Unknown') 
     else: 
      c_list.append(n) 

    return c_list 

entrée de données Exemple:

{'attributes': {'Accepts Credit Cards': True, 
'city': 'Edinburgh', 
'name': 'Conan Doyle', 
'neighborhoods': [], 
'stars': 3.5, 
'state': 'EDH'}} 

Cet exemple d'entrée ne dispose pas d'un quartier montré, donc je veux ajouter « inconnu » à la liste. Certaines autres entrées de données ont plusieurs voisinages, donc je veux les ajouter individuellement par la boucle for.

Lorsque je cours dat = input_file.map(lambda line: json.loads(line)) suivi de dat = dat.flatMap(extract_func), il ne me donne pas les entrées de quartier Unknown.

En cours de vérification pendant des heures, ne peut pas comprendre ce qui ne va pas, qu'est-ce qui me manque ici?

Answer 1

if n == []: ne sera atteint et à évaluer si Trueneighborhoodscontient une liste vide, mais pas quand il est lui-même vide. Vous pouvez simplifier le code:

neighborhoods = data.get("neighborhoods") 
if neighborhoods: 
    c_list = ["Unknown" if n == [] else n for n in neighborhoods] 
else: 
    c_list = ["Unknown"] 

ou en utilisant une expression conditionnelle:

c_list = (["Unknown" if n == [] else n for n in neighborhoods] if neighborhoods 
      else ["Unknown"])