Lecture de la base de données et écriture sur le disque local, big data

Question

Je voudrais obtenir une donnée de la base de données netezza qui est de 5 Go et l'écrire sur un disque local. J'ai essayé ce qui suit:

pd.concat([chunk for chunk in (pd.read_sql("""SELECT * FROM table""",conn,chunksize=10000))]).to_sql('table1',conn1) 

Cela prend beaucoup de temps, presque un jour. Quelqu'un peut-il s'il vous plaît suggérer une alternative pour faire le processus rapidement, de sorte que je peux traiter avec une plus grande quantité de données de 25 Go?

Answer 1

S'il n'y a besoin de stocker des données à partir de DB disque, vous pouvez utiliser suivant Options-

nzsql -u user -pw pwd -db database -o abc.dat -c "sql" 

Ou

nzsql -u utilisateur -pw PWD base de données -db -c "sql" > abc.dat

Answer 2

Je recommande d'utiliser un transient external table.

CREATE EXTERNAL TABLE 'c:\localFileName.dat' USING (RemoteSource 'ODBC' delim '|') 
as SELECT * FROM table;