Google Datalab) Comment lire plusieurs fichiers csv existant dans Google Cloud Storage par les pandas read_csv() à?

Question

J'ai trouvé la solution pour la lecture d'un « single » fichier csv dans un Datalab: How can i load my csv from google dataLab to a pandas data frame?

Mais je me demande comment je pourrais lire « plusieurs » fichiers csv dans Datalab.

Ce que j'ai essayé est comme ceci:

variable_list = ['IBM', 'SPY'] 
for variable in variable_list: 
    file_path = "gs://chois-trader-bucket/data/" + variable + ".csv" 
    %%storage read --object file_path --variable variable 

Mais celui-ci a échoué car la variable python n'est pas compatible avec la commande magique.

Comment traiter plusieurs fichiers CSV de manière efficace?

Answer 1

Vous pouvez utiliser des variables entre accolades.

e.g) %storage read --object {file_path} --variable variable 

Answer 2

Vous pouvez également faire une union de tous les fichiers csv dans un dossier en utilisant une seule ligne dans bash en tant que telle (en supposant aucun en-tête dans les fichiers csv):

cat *.csv > unioned_file_name.csv

Ensuite, importer ce fichier dans les pandas.