Problème de mappage OneHotEncoding entre les données d'apprentissage et les données de test

Question

J'ai transformé l'ensemble de données d'apprentissage et de test par la méthode sklearn OneHotEncoding. Cependant, les résultats trnsformés ont une forme de type différente. Il est donc impossible de l'appliquer à d'autres algorithmes comme la régression logistique.

Comment remodeler les données de test en fonction de la forme du jeu de données d'apprentissage?

Meilleur Regardings, Chris

import pandas as pd 
import numpy as np 
from sklearn.preprocessing import OneHotEncoder, LabelEncoder 

def data_transformation(data, dummy): 
    le = LabelEncoder() 

    # Encoding the columns with multiple categorical levels 
    for col1 in dummy: 
     le.fit(data[col1]) 
     data[col1] = le.transform(data[col1]) 

    dummy_data = np.array(data[dummy]) 
    enc = OneHotEncoder() 
    enc.fit(dummy_data) 

    dummy_data = enc.transform(dummy_data).toarray() 

if __name__ == '__main__': 
    data = pd.read_csv('train.data', delimiter=',') 
    data_test = pd.read_csv('test.data', delimiter=',') 

    dummy_columns = ['Column1', 'Column2'] 
    data = data_transformation(data, dummy_columns) 
    data_test = data_transformation(data_test, dummy_columns) 

# result 
# data shape : (200000, 71) 
# data_test shape : (15000, 32) 

Answer 1

Merci beaucoup, Vivek! J'ai résolu ce problème grâce à votre aide.

def data_transformation2(data, data_test, dummy): 
    le = LabelEncoder() 

    # Encoding the columns with multiple categorical levels 
    for col in dummy: 
     le.fit(data[col]) 
     data[col] = le.transform(data[col]) 

    for col in dummy: 
     le.fit(data_test[col]) 
     data_test[col] = le.transform(data_test[col]) 

    enc = OneHotEncoder() 
    dummy_data = np.array(data[dummy]) 
    dummy_data_test = np.array(data_test[dummy]) 

    enc.fit(dummy_data) 

    dummy_data = enc.transform(dummy_data).toarray() 
    dummy_data_test = enc.transform(dummy_data_test).toarray() 

    print(dummy_data.shape) 
    print(dummy_data_test.shape)