Analyser les entrées "NA" comme des valeurs NaN lors de la lecture dans une trame de données pandas

Question

Je suis nouveau pour les pandas. J'ai chargé csv en utilisant pandas.read_csv. J'ai essayé de ne pas spécifier dtype mais c'était trop lent. Comme c'est un très gros fichier, j'ai aussi spécifié le type de données. cependant, parfois dans des colonnes numériques, il contient "NA". J'ai utilisé na_values ​​= ['NA'], cela affecte-t-il mon cadre de données? je veux toujours préserver ces rangées. ma question est si je spécifie le type de données et ajoute na_values ​​= ['NA'], NA sera jeté loin? Si oui, comment puis-je maintenir un temps de traitement similaire sans perdre ces na? Merci beaucoup!

Answer 1

Des docs:

na_values: scalaire, str, list -comme ou dict, par défaut None

chaînes supplémentaires à reconnaître comme NA/NaN. Si dict est passé, des valeurs spécifiques NA par colonne. Par défaut, les valeurs suivantes sont interprétées comme NaN: '', ... 'NA', ... `.

Gras emphase mien. Ces valeurs ne sont pas jetées, elles sont plutôt converties en NaN. Pandas est assez intelligent pour reconnaître automatiquement ces valeurs sans que vous l'énoncez explicitement.