Pourquoi les pandas convertissent-ils un entier non signé supérieur à 2 ** 63-1 en objets?

Question

Quand je convertir un tableau numpy à un pandas géants de trame de données pandas géants change UInt64 types de types d'objets si l'entier est supérieur à 2^63 - 1.

import pandas as pd 
import numpy as np 

x = np.array([('foo', 2 ** 63)], dtype = np.dtype([('string', np.str_, 3), ('unsigned', np.uint64)])) 
y = np.array([('foo', 2 ** 63 - 1)], dtype = np.dtype([('string', np.str_, 3), ('unsigned', np.uint64)])) 

print pd.DataFrame(x).dtypes.unsigned 
dtype('O') 
print pd.DataFrame(y).dtypes.unsigned 
dtype('uint64') 

C'est gênant que je ne peux pas écrire les données cadre dans un fichier hdf dans le format de table:

pd.DataFrame(x).to_hdf('x.hdf', 'key', format = 'table') 

Ouput:

TypeError: Impossible de sérialiser la colonne [unsigned] parce que ses données contenus sont l'objet [entier] DTYPE

Quelqu'un peut-il expliquer la conversion de type?

Answer 1

Il est un open bug, mais vous pouvez le forcer à revenir à un uint64usingDataFrame.astype()

x = np.array([('foo', 2 ** 63)], dtype = np.dtype([('string', np.str_, 3), ('unsigned', np.uint64)])) 

a = pd.DataFrame(x) 
a['unsigned'] = a['unsigned'].astype(np.uint64) 
>>>a.dtypes 
string  object 
unsigned uint64 
dtype: object 

Autres méthodes utilisées pour convertir les types de données à des valeurs numériques soulevées erreurs ou n'a pas fonctionné:

>>>pd.to_numeric(a['unsigned'], errors = coerce) 
OverflowError: Python int too large to convert to C long 

>>>a.convert_objects(convert_numeric = True).dtypes 
string  object 
unsigned object 
dtype: object 

Answer 2

x = np.array([('foo', 2 ** 63)], 
      dtype = np.dtype([('string', np.str_, 3), 
           ('unsigned', 'f4')])) 

y = np.array([('foo', 2 ** 63 - 1)], 
      dtype = np.dtype([('string', np.str_, 3), 
           ('unsigned', 'i8')]))