Liste rapide distincte des éléments dans un tableau python

Question

Je dois accélérer le temps de compter les éléments distincts dans ce code et je ne suis pas vraiment sûr de savoir comment faire un compte plus rapide.

def process_columns(columns): 
    with open(columns, 'r') as src: 
     data = csv.reader(src, delimiter ='\t', skipinitialspace = False) 
     category = [] 
     group = columns.split("/") 
     group = group[-1].split(".") 
     if group[0] in ["data_1", "data_2"]: 
      for row in data: 
       if row[0] not in category: 
        category.append(row[0]) 
      message = "\t%d distinct elements from %ss" % (len(category), group[0]) 
     print message 

Answer 1

Procédé maître pour compter des éléments distincts dans un réseau de python est:

array = [1,1,2,3,3,4,5,6,6] 
n_elts = len(set(array)) 
print(n_elts) 

sortie:

6 

Answer 2

catégorie Initialiser comme un ensemble; et retirez le bloc si pour ajouter des données dans la catégorie, le remplacer par category.add

category = {} 
group = columns.split("/") 
group = group[-1].split(".") 
if group[0] in ["data_1", "data_2"]: 
    for row in data: 
     category.add(row[0]) 

Hope this est clair

Answer 3

Sans beaucoup de connaissances sur vos données, voici un moyen rapide de maintenir un ensemble de mots uniques pour vos groupes, en utilisant collections.defaultdict.

from collections import defaultdict 

def process_columns(columns): 
    categories = defaultdict(set) # initialises a default dict with values as sets 
    with open(columns, 'r') as src: 
     data = csv.reader(src, delimiter ='\t', skipinitialspace = False) 
     group = columns.split("/")[-1].split('.') 

     for row in data: 
      categories[group[0]].update(row[0])  

     for k in categories: 
      message = "\t%d distinct elements from %ss" % (len(categories[k]), k) 
      print message