Le moyen le plus rapide pour lire l'entrée en Python

Question

Je veux lire un fichier texte énorme qui contient la liste des listes d'entiers. Maintenant, je fais ce qui suit:

G = [] 
with open("test.txt", 'r') as f: 
    for line in f: 
     G.append(list(map(int,line.split()))) 

Cependant, il faut environ 17 secondes (via timeit). Y a-t-il un moyen de réduire ce temps? Peut-être, il y a un moyen de ne pas utiliser la carte.

Answer 1

Le plus speedup serait d'aller pour PyPy http://pypy.org/

La question suivante ne pas lire le fichier du tout (si possible). Au lieu de le traiter comme un flux.

Answer 2

La compréhension des listes est souvent plus rapide.

G = [[int(item) item in line.split()] for line in f] 

Au-delà, essayez PyPy et Cython et numpy

Answer 3

Vous pouvez également essayer de mettre les données dans une base de données via vrac insert, le traitement puis vos dossiers avec des opérations de réglage. En fonction de ce que vous avez à faire, cela peut être plus rapide, car un logiciel d'insertion en masse est optimisé pour ce type de tâche.

Answer 4

En règle générale (pour à peu près n'importe quelle langue), l'utilisation de read() pour lire tout le fichier sera plus rapide que de lire une ligne à la fois. Si vous n'êtes pas limité par la mémoire, lisez tout le fichier en une seule fois, puis divisez les données sur les nouvelles lignes, puis parcourez la liste des lignes.

Answer 5

numpy a les fonctions loadtxt et genfromtxt, mais aucune n'est particulièrement rapide. L'un des lecteurs de texte les plus rapides disponibles dans une bibliothèque largement distribuée est la fonction read_csv dans pandas (http://pandas.pydata.org/). Sur mon ordinateur, lire 5 millions de lignes contenant deux entiers par ligne prend environ 46 secondes avec numpy.loadtxt, 26 secondes avec numpy.genfromtxt, et un peu plus de 1 seconde avec pandas.read_csv.

Voici la session montrant le résultat. (Ceci est sous Linux, Ubuntu 12.04 64 bits. Vous ne pouvez pas le voir ici, mais après chaque lecture du fichier, le cache du disque a été effacé en exécutant sync; echo 3 > /proc/sys/vm/drop_caches dans une coque séparée.)

In [1]: import pandas as pd 

In [2]: %timeit -n1 -r1 loadtxt('junk.dat') 
1 loops, best of 1: 46.4 s per loop 

In [3]: %timeit -n1 -r1 genfromtxt('junk.dat') 
1 loops, best of 1: 26 s per loop 

In [4]: %timeit -n1 -r1 pd.read_csv('junk.dat', sep=' ', header=None) 
1 loops, best of 1: 1.12 s per loop 

Answer 6

pandas qui est basé sur numpy a une base Cfile parser qui est très rapide:

# generate some integer data (5 M rows, two cols) and write it to file 
In [24]: data = np.random.randint(1000, size=(5 * 10**6, 2)) 

In [25]: np.savetxt('testfile.txt', data, delimiter=' ', fmt='%d') 

# your way 
In [26]: def your_way(filename): 
    ...:  G = [] 
    ...:  with open(filename, 'r') as f: 
    ...:   for line in f: 
    ...:    G.append(list(map(int, line.split(',')))) 
    ...:  return G   
    ...: 

In [26]: %timeit your_way('testfile.txt', ' ') 
1 loops, best of 3: 16.2 s per loop 

In [27]: %timeit pd.read_csv('testfile.txt', delimiter=' ', dtype=int) 
1 loops, best of 3: 1.57 s per loop 

Alors pandas.read_csv prend environ une seconde et demie pour lire vos données et est environ 10 fois plus vite que votre méthode.