Optimisation de l'intersection entre la liste et les clés de dictionnaire vraiment volumineuses

Question

Je dois traiter une colonne d'une trame de données d'une taille approximative de 15k à 20K. Je dois traiter la colonne « nom » dans pour que j'ai appelé df.apply

df['bew_col']=df.apply(lambda row: valuation_formula(row['persons_name']), axis=1) 

def valuation_formula(name_str): 

    flag='UNMAPPED' 
    sr=name_str.split(' ') 
    f=list(set(sr).intersection(set(name_dict.keys()))) 
    # print (f) 
    if len(f)>0: 
     flag=name_dict[str(f[0])] 
     # print flag 

    return flag 

mon name_dict est un dictionnaire avec 5 millions de clés. comment puis-je optimiser mon code pour faire une intersection efficace d'une liste de chaînes (ce qui serait petit donc pas un souci) avec des clés dans cet énorme dictionnaire pour retourner la valeur correspondante pour la clé correspondante?

Puis-je utiliser n'importe quelle autre structure de données?

maintenant le script prend 20 min à courir. avec une taille df de 10k et une taille name_dict de 3 millions.

Answer 1

essayer .str et map:

names_series = df['persons_name'] 
name_mapping = None 

while True: 
    name_series = name_series.str.partition() 
    mapping = name_series[0].map(name_dict) 
    if name_mapping is None: 
     name_mapping = mapping 
    else: 
     name_mapping[name_mapping.isnull() & (~mapping.isnull())]=mapping 
    name_series = name_series[2] 
    if name_series.str.len().sum()==0: 
     break 

name_series[name_series.isnull()] = 'UNMAPPED' 
df['bew_col'] = name_series