Ajouter des éléments dans une liste de dictionnaires

Question

J'ai une très longue liste de dictionnaires avec des index de chaînes et des valeurs entières. La plupart des clés sont identiques dans les dictionnaires, mais pas toutes. Je veux générer un dictionnaire dans lequel les clés sont l'union des clés dans les dictionnaires séparés et les valeurs sont la somme de toutes les valeurs correspondant à cette clé dans chacun des dictionnaires. (Par exemple, la valeur de la clé 'apple' dans le dictionnaire combiné sera la somme de la valeur de 'apple' dans le premier, plus la somme de la valeur de 'apple' dans la seconde, etc.)

J'ai ce qui suit, mais il est plutôt lourd et prend âges pour exécuter. Existe-t-il un moyen plus simple d'obtenir le même résultat?

comb_dict = {} 
for dictionary in list_dictionaries: 
    for key in dictionary: 
     comb_dict.setdefault(key, 0) 
     comb_dict[key] += dictionary[key] 
return comb_dict 

Answer 1

Voici quelques microbalignements qui suggèrent que f2 (voir ci-dessous) pourrait être une amélioration. f2 utilise iteritems qui vous permet d'éviter une recherche dict supplémentaire dans la boucle intérieure:

import collections 
import string 
import random 

def random_dict(): 
    n=random.randint(1,26) 
    keys=list(string.letters) 
    random.shuffle(keys) 
    keys=keys[:n] 
    values=[random.randint(1,100) for _ in range(n)]  
    return dict(zip(keys,values)) 

list_dictionaries=[random_dict() for x in xrange(100)] 

def f1(list_dictionaries): 
    comb_dict = {} 
    for dictionary in list_dictionaries: 
     for key in dictionary: 
      comb_dict.setdefault(key, 0) 
      comb_dict[key] += dictionary[key] 
    return comb_dict 

def f2(list_dictionaries):  
    comb_dict = collections.defaultdict(int) 
    for dictionary in list_dictionaries: 
     for key,value in dictionary.iteritems(): 
      comb_dict[key] += value 
    return comb_dict 

def union(dict_list): 
    all_keys = set() 
    for d in dict_list: 
     for k in d: 
      all_keys.add(k) 
    for key in all_keys: 
     yield key, sum(d.get(key,0) for d in dict_list) 

def f3(list_dictionaries): 
    return dict(union(list_dictionaries)) 

Voici les résultats:

% python -mtimeit -s"import test" "test.f1(test.list_dictionaries)" 
1000 loops, best of 3: 776 usec per loop 
% python -mtimeit -s"import test" "test.f2(test.list_dictionaries)" 
1000 loops, best of 3: 432 usec per loop  
% python -mtimeit -s"import test" "test.f3(test.list_dictionaries)" 
100 loops, best of 3: 2.19 msec per loop 

Answer 2

Utilisez plutôt collections.defaultdict.

http://docs.python.org/library/collections.html#defaultdict-objects

un peu plus simple.

Answer 3

Cela pourrait être rapide aussi, mais cela dépend vraiment de vos données. Il évite tous les changements dicts ou des listes supplémentaires - un seul ensemble de toutes les clés et beaucoup de lectures :-)

from itertools import chain 

def union(dict_list): 
    all_keys = set(chain.from_iterable(dict_list)) 
    for key in all_keys: 
     yield key, sum(d.get(key,0) for d in dict_list) 

combined = dict(union(dict_list)) 

Answer 4

Vous pouvez prendre un peu d'inspiration de ce google map-reduce. D'après ce que je comprends, il a été conçu pour résoudre ce type de problème.