2017-08-25 3 views
1

J'ai deux dataframes df & DF2 et je voudrais les fusionner avec * comme jokerComment joindre des données pandas basées sur des caractères génériques?

import pandas as pd 
data = [[".",".",1],["AB.","B.",3],["B.",".",2]] 
data2 = [["A","B","1"],["ABC","BC",4],["B","A",2]] 
columns = ["Type1","Type2","Value"] 
df = pd.DataFrame(data,columns=columns) 
df2 = pd.DataFrame(data2,columns=columns) 
print(df) 
print(df2) 
    Type1 Type2 Value 
0  *  *  1 
1 AB* B*  3 
2 B*  *  2 
    Type1 Type2 Value 
0  A  B  1 
1 ABC BC  4 
2  B  A  2 

En général ici la deuxième ligne de DF2 doit correspondre à la ligne 1 et la ligne 2. Alors que ligne 0 en DF2 devrait seulement correspondre à la première ligne de df1. D'une certaine façon, je voudrais obtenir quelque chose comme

df2.merge(df,how='left',on=["Type1","Type2"]) 

Mais le résultat ici est rien correspondant.

Voici le résultat que j'aimerais obtenir.

data3 = [["A","B","1","1"],["ABC","BC",4,1],["ABC","BC",4,3],["B","A",2,1],["B","A",2,2]] 
columns3 = ["Type1","Type2","Value_x","Value_y"] 
results = pd.DataFrame(data3,columns=columns3) 
print(results) 
    Type1 Type2 Value_x Value_y 
0  A  B  1  1 
1 ABC BC  4  1 
2 ABC BC  4  3 
3  B  A  2  1 
4  B  A  2  2 

S'il vous plaît noter que la table de DF2 a en fait plus de 1 million de lignes, donc je ne peux pas se permettre de faire une boucle pour des raisons d'efficacité.

+0

Quel est votre résultat attendu? – Alexander

+0

Ok je viens de le faire :) – Nicolas

Répondre

0

Enfin, j'ai décidé d'utiliser le code ci-dessous. Cela transfère la trame de données dans une base de données SQLite, puis effectue la jointure et la ramène finalement à une autre base de données. Ce n'est pas optimal mais ça marche.

import sqlite3 
conn = sqlite3.connect(':memory:') 
df.to_sql('df', conn, index=False) 
df2.to_sql('df2', conn, index=False) 
query = """ 
SELECT [df2].[Type1], 
     [df2].[Type2], 
     [df2].[value], 
     [df].[value] 
FROM ([df] 
     LEFT OUTER JOIN [df2] 
        ON [df].[type1] LIKE [df2].[type1] 
        AND [df].[type2] LIKE [df2].[type2]) 
""" 
df3 = pd.read_sql_query(query, conn) 
conn.close()