Vérification des types Pandas DataFrames

Question

Je souhaite vérifier les types de données Pandas DataFrames, c'est-à-dire que je souhaite spécifier les étiquettes de colonne qu'un DataFrame doit avoir et le type de type de données (dtype) qui y est stocké. Une mise en œuvre brute (inspirée par cette question) fonctionnerait comme ceci:

from collections import namedtuple 
Col = namedtuple('Col', 'label, type') 

def dataframe_check(*specification): 
    def check_accepts(f): 
     assert len(specification) <= f.__code__.co_argcount 
     def new_f(*args, **kwds): 
      for (df, specs) in zip(args, specification): 
       spec_columns = [spec.label for spec in specs] 
       assert (df.columns == spec_columns).all(), \ 
        'Columns dont match specs {}'.format(spec_columns) 

       spec_dtypes = [spec.type for spec in specs] 
       assert (df.dtypes == spec_dtypes).all(), \ 
        'Dtypes dont match specs {}'.format(spec_dtypes) 
      return f(*args, **kwds) 
     new_f.__name__ = f.__name__ 
     return new_f 
    return check_accepts 

Cela ne me dérange pas la complexité de la fonction de contrôle, mais il ajoute beaucoup de code passe-partout.

@dataframe_check([Col('a', int), Col('b', int)], # df1 
       [Col('a', int), Col('b', float)],) # df2 
def f(df1, df2): 
    return df1 + df2 

f(df, df) 

Existe-t-il un moyen plus pythonique de vérifier les types de données DataFrames? Quelque chose qui ressemble plus à the new Python 3.6 static type-checking? Est-il possible de l'implémenter en mypy?

Answer 1

Peut-être pas la manière la plus pythonique, mais en utilisant un dict pour vos spécifications pourrait faire l'affaire (avec les clés comme noms de colonnes et de valeurs data types):

import pandas as pd 

df = pd.DataFrame(columns=['col1', 'col2']) 
df['col1'] = df['col1'].astype('int') 
df['col2'] = df['col2'].astype('str') 

cols_dtypes_req = {'col1':'int', 'col2':'object'} #'str' dtype is 'object' in pandas 

def check_df(dataframe, specs): 
    for colname in specs: 
     if colname not in dataframe: 
      return 'Column missing.' 
     elif dataframe[colname].dtype != specs[colname]: 
      return 'Data type incorrect.' 
    for dfcol in dataframe: 
     if dfcol not in specs: 
      return 'Unexpected dataframe column.' 
    return 'Dataframe meets specifications.' 

print(check_df(df, cols_dtypes_req))