Python (grandes) des listes et des combinaisons uniques: façon la plus intelligente pour les faire

Question

Je viens de lire la page ici: Get unique combinations of elements from a python list

La solution a approuvé les travaux ...

... Mais il ne fonctionne que avec les listes "small" (100 éléments, par exemple).

J'ai une "grande" liste de chaînes (1 million d'éléments) et j'obtiens l'infâme "MemoryError" exception.

Quelle est la meilleure façon d'obtenir des combos uniques sur de très grandes listes?

Merci à l'avance

Answer 1

par inspectorG4dget's comment et linked answer, si un grand nombre de valeurs dans votre liste initiale sont dupliqués, les filtrer à travers un set, puis trouver vos combos.

from itertools import combinations 

elements = [gigantic list] 

uniques = tuple(set(elements)) 
combos = [','.join(str(thing) for thing in combo) for combo in combinations(uniques, 2)]