Transformez un dossier de fichiers CSV de la même manière, puis affichez plusieurs fichiers de données avec python

Question

J'ai un dossier de fichiers CSV que je dois transformer et manipuler/nettoyer, en produisant une base de données avec laquelle je peux continuer à travailler . Je voudrais un fichier de données unique par fichier CSV que j'ai. J'ai écrit le code pour pouvoir manipuler juste l'un des fichiers csv comme je le voudrais, avec une base de données propre à la fin, mais je me suis fait trébucher en essayant de parcourir le dossier et de transformer tous les fichiers. les fichiers csv, se terminant par une trame de données par csv.

Voici le code que je travaille avec:

import pandas as pd 
import numpy as np 
import os 
from os import listdir 
import glob 
import win32com.client 

filepath = 'C:/Users/me/BMI' 

xl = win32com.client.gencache.EnsureDispatch('Excel.Application') 

for f in glob.glob(filepath+'/*.xls'): 
    fullname = os.path.abspath(f) 
    xl.Workbooks.Open(fullname) 
    xl.ActiveWorkbook.SaveAs(Filename=fullname.replace('.xls','.csv'), 
     FileFormat=win32com.client.constants.xlCSVMSDOS, 
     CreateBackup=False) 
    xl.ActiveWorkbook.Close(SaveChanges=False) 

os.listdir('C:/Users/me/BMI') 

def find_csv_filenames(path_to_dir, suffix=".csv"): 
    filenames = listdir(path_to_dir) 
    return [ filename for filename in filenames if filename.endswith(suffix) ] 

filenames = list(find_csv_filenames(filepath)) 

for i in filenaames: 
    df = pd.read_csv(filepath+'/'+i) 
    del df['Unnamed: 0'] 

# Extract by rows - create list of rows that are blank 
nul_rows = list(df[df.isnull().all(axis=1)].index) 

list_of_dataframes = [] 
list_of_dataframes.append(df.iloc[:nul_rows[0] - 1,:]) 
for i in range(len(nul_rows) - 1): 
    list_of_dataframes.append(df.iloc[nul_rows[i]+1:nul_rows[i],:]) 

list_of_dataframes.append(df.iloc[nul_rows[4] - 1::]) 

# Remove null columns 
cleaned_tables = [] 
for _df in list_of_dataframes: 
    cleaned_tables.append(_df.dropna(axis=1, how='all')) 

# cleaned_tables is a list of the dataframes 
print(cleaned_tables[0]) 

# drop second row of data frame (subtitle) 
df = df.drop(df.index[0]) 

#set up headers in row 1 
df=df.set_value(1, df.columns[0], 'brands') 

# change column names to proper headers (brand as first column, years of data following) 
for i in list(range(len(df.columns))): 
    df = df.rename(columns={df.columns[i]: df.iloc[0][df.columns[i]]}) 

#get rid of double headers (row 1) 
df = df.drop(df.index[0]) 

Answer 1

Si vous avez du code qui transforme un seul .csv et vous souhaitez effectuer les mêmes actions sur tous .csvs dans un répertoire, et à la fin avec un DataFrame unique pour chaque .csv, pourriez-vous faire quelque chose comme ça?

import pandas as pd 
import numpy as np 
import os 

filepath = r'C:\Users\me\BMI' 

df_list = [] 
for file in os.listdir(): 
    if file.endswith('.csv'): 
    temp_df = pd.read_csv(os.path.join(filepath, file), encoding='utf-8') 
    # transformation and clean-up steps here... 

    # ... 
    df_list.append(temp_df) 

Chaque temp_df serait stocké dans le df_list.

Vous pouvez les concaténer en un seul dataframe final à la fin comme celui-ci:

one_df = pd.concat(df_list, ignore_index=True) 

Si vous rencontrez des problèmes de lecture du fichier dans la trame de données, essayez de définir le séparateur sep (si vos données ne sont pas par des virgules délimité) et encoding si vos fichiers csv sont encodés dans un encodage spécifique. Ex:

pd.read_csv(..., sep='\t', encoding='cp1252')