Transférer des données pandas dans un sous-processus python. Ouvrir comme argument

Question

Je tente d'appeler un script python à partir d'un script maître. J'ai besoin que la structure de données soit générée seulement à partir du script principal, puis transmise au script de sous-processus en tant qu'argument à utiliser dans le sous-processus. Voici ma tentative d'écriture du script maître python requis.

from subprocess import PIPE, Popen 
import pandas as pd 

test_dataframe = pd.read_excel(r'C:\test_location\file.xlsx',sheetname='Table') 

sp = Popen(["python.exe",'C:/capture/test.py'], shell=True, stdin=PIPE, stdout=PIPE, stderr=PIPE) 
sp.communicate(test_dataframe) 

Et voici l'erreur: TypeError: argument 1 must be convertible to a buffer, not DataFrame

Ceci est ma première fois d'essayer d'utiliser le module subprocess donc je ne suis pas très bon dans ce domaine encore. Toute aide sera très appréciée.

Answer 1

Le sous-processus lance une autre application. Les façons dont les processus peuvent communiquer entre eux diffèrent considérablement des façons dont les fonctions communiquent dans le programme python. Vous devez passer votre DataFrame dans un environnement non pythonique. Vous devez donc le sérialiser dans un texte, puis le désérialiser à l'autre extrémité. Par exemple, vous pouvez utiliser le module Pickle puis sp.communicate(pickle.dumps(test_dataframe)) sur une extrémité pickle.loads(sys.stdin.read()) sur un autre. Ou vous pouvez écrire votre DataFrame en tant que csv, puis l'analyser à nouveau. Ou vous pouvez utiliser n'importe quel autre format.