Recréer Postgres COPIER directement en Python?

Question

J'ai un bloc de données, actuellement sous la forme d'une liste de n-tuples mais le format est assez flexible, que j'aimerais ajouter à une table Postgres - dans ce cas, chaque n-tuple correspond à une ligne dans le DB. Ce que je faisais jusqu'ici est d'écrire tout ceci dans un fichier CSV, puis d'utiliser COPY de postgres pour charger tout cela dans la base de données. Cela fonctionne, mais est sous-optimal, je préférerais pouvoir faire tout cela directement à partir de python. Existe-t-il une méthode à l'intérieur de python pour répliquer la charge en bloc de type COPY dans Postgres?

Answer 1

Si vous utilisez le pilote psycopg2, les curseurs offrent une fonction copy_to et copy_from qui peut lire de tout objet de type fichier (y compris un tampon StringIO).

Il existe des exemples dans les fichiers examples/copy_from.py et examples/copy_to.py qui sont livrés avec le psycopg2 source distribution.

Cet extrait est tiré de l'copy_from.py exemple:

conn = psycopg2.connect(DSN) 
curs = conn.cursor() 
curs.execute("CREATE TABLE test_copy (fld1 text, fld2 text, fld3 int4)") 

# anything can be used as a file if it has .read() and .readline() methods 
data = StringIO.StringIO() 
data.write('\n'.join(['Tom\tJenkins\t37', 
        'Madonna\t\N\t45', 
        'Federico\tDi Gregorio\t\N'])) 
data.seek(0) 

curs.copy_from(data, 'test_copy')