Le moyen le plus efficace de comparer toutes les valeurs dans un dictionnaire?

Question

J'ai un dictionnaire que j'ai créé en lisant dans un tas de fichiers image. Il ressemble à ceci:

files = { 'file1.png': [data...], 'file2.png': [data...], ... 'file1000': [data...]} 

Je suis en train de traiter ces images pour voir comment similaires chacun d'entre eux sont les uns aux autres. La chose est, avec des milliers de fichiers de valeur de données, cela prend une éternité. Je suis sûr que j'ai 20 endroits différents que je pourrais optimiser, mais j'essaie de travailler à travers un morceau à la fois pour voir comment je peux mieux l'optimiser.

Ma méthode originale a testé file1 pour tous les autres fichiers. Ensuite, j'ai testé fichier2 contre tous les fichiers. Mais je l'ai encore testé contre file1. Donc, au moment où j'arrive à file1000 dans l'exemple ci-dessus, je n'aurais même pas besoin de tester quoi que ce soit à ce stade, car il a déjà été testé 999 fois.

C'est ce que j'ai essayé:

answers = {} 
for x in files: 
    for y in files: 
     if y not in answers or x not in answers[y]: 
      if(compare(files[x],files[y]) < 0.01): 
       answers.setdefault(x, []).append(y) 

Cela ne fonctionne pas, comme je reçois la mauvaise sortie maintenant. La fonction de comparaison est juste ceci:

rms = math.sqrt(functools.reduce(operator.add,map(lambda a,b: (a-b)**2, h1[0], h2[0]))/len(h1[0])) 
return rms 

Je ne voulais simplement pas mettre cette énorme équation dans l'instruction if.

Est-ce que quelqu'un a une bonne méthode pour comparer chacun des segments de données du dictionnaire de fichiers sans chevaucher les comparaisons?

Edit:

Après avoir essayé la réponse de ShadowRanger je me suis rendu compte que je ne peux pas avoir compris ce que je avais besoin. Mes réponses d'origine dictionnaire ressemblait à ceci:

{ 'file1.png': ['file1.png', 'file23.png', 'file333.png'], 
    'file2.png': ['file2.png'], 
    'file3.png': ['file3.png', 'file4.png', 'file5.png'], 
    'file4.png': ['file3.png', 'file4.png', 'file5.png'], 
    ...} 

Et pour l'instant je stocke mes résultats dans un fichier comme celui-ci:

file1.png file23.png file33.png 
file2.png 
file3.png file4.png file5.png 
file6.png 
... 

Je pensais qu'en utilisant des combinaisons et seulement tester des fichiers individuels une fois que je serais économiser beaucoup de temps retesting des fichiers et ne pas perdre de temps à se débarrasser des réponses en double. Mais pour autant que je sache, les combinaisons ont réduit ma capacité à trouver des allumettes et je ne sais pas pourquoi.

Answer 1

Vous pouvez éviter les comparaisons redondantes with itertools.combinations to get order-insensitive unique pairs. Juste import itertools et remplacer votre boucle double imbriquée:

for x in files: 
    for y in files: 

avec une seule boucle qui obtient les combinaisons:

for x, y in itertools.combinations(files, 2):