Lire plus rapidement dans le fichier csv

Question

Je suis en train de lire un gros fichier csv (environ 100 millions de lignes), en utilisant une commande similaire à celle décrite dans https://docs.python.org/2/library/csv.html. :

import csv 
with open('eggs.csv', 'rb') as csvfile: 
    spamreader = csv.reader(csvfile, delimiter=' ', quotechar='|') 
    for row in spamreader: 
      process_row(row) 

Cela se révèle assez lent, je pense que chaque ligne est lu individuellement (nécessitant beaucoup d'appels de lecture sur le disque dur). Est-il possible de lire tout le fichier csv en même temps, puis de le parcourir? Bien que le fichier lui-même soit de grande taille (par exemple 5 Go), mon ordinateur dispose de suffisamment de RAM pour le conserver en mémoire.

Answer 1

import pandas as pd 
df =pd.DataFrame.from_csv('filename.csv') 

Cela lire en tant dataframe de pandas géants de sorte que vous pouvez faire toutes sortes de choses amusantes avec elle

Answer 2

ma machine a suffisamment de RAM pour maintenir que dans la mémoire.

Eh bien, appelez list sur le iterator:

spamreader = list(csv.reader(csvfile, delimiter=' ', quotechar='|')) 

Answer 3

Oui, il y a un moyen de lire le fichier entier à la fois:

with open('eggs.csv', 'rb', 5000000000) as ...: 
    ... 

Référence: https://docs.python.org/2/library/functions.html#open