éliminer les enregistrements malformés d'un grand fichier .csv

Question

J'ai un grand fichier .csv et je veux le traiter avec, peut-être un script python, et trouver toutes les valeurs qui sont "malformées", par exemple. ceux qui ont plus ou moins de valeurs que le nombre d'en-têtes et les éliminent.

Quelle est la meilleure façon de faire cela?

Answer 1

Voici un exemple de base:

num_headers = 5 
with open("input.csv", 'r') as file_in, open("output.csv", 'w') as file_out: 
    for i, line in enumerate(file_in): 
     if len(line.split(",")) == num_headers: 
      file_out.write(line) 
     else: 
      print "line %d is malformed" % i 

ou en utilisant le module csv (qui est plus souple pour les différents types de mise en forme CSV):

import csv 
num_headers = 5 
with open("input.csv", 'r') as file_in, open("output.csv", 'w') as file_out: 
    csv_in = csv.reader(file_in) 
    csv_out = csv.writer(file_out) 
    for i, row in enumerate(csv_in): 
     if len(row) == num_headers: 
      csv_out.writerow(row) 
     else: 
      print "line %d is malformed" % i