Comment puis-je imprimer les noms de colonnes dans mon fichier CVS exporté à partir de la recherche élastique?

Question

Voici le code qui récupère des données de la recherche élastique et exporte ces données dans un fichier csv appelé 'mycsvfile'.

Je veux changer les noms de colonne afin qu'il soit lisible par un humain.

Voici le code:

from elasticsearch import Elasticsearch 
import csv 

es = Elasticsearch(["9200"]) 

# Replace the following Query with your own Elastic Search Query 
res = es.search(index="search", body= 
       { 
        "_source": ["DTDT", "TRDT", "SPLE", "RPLE"], 
        "query": { 
         "bool": { 
          "should": [ 
           {"wildcard": {"CN": "TEST1"}} 

          ] 
         } 
        } 
}, size=10) 



with open('mycsvfile.csv', 'w') as f: # Just use 'w' mode in 3.x 
    header_present = False 
    for doc in res['hits']['hits']: 
     my_dict = doc['_source'] 
     if not header_present: 
      w = csv.DictWriter(f, my_dict.keys()) 
      w.writeheader() 
      header_present = True 


     w.writerow(my_dict) 

quand je lance la requête au-dessus des données du fichier CSV ressemblent ci-dessous:

DTDT TRDT SPLE SACL RPLE 

20170512 12/05/2017 15:39 1001 0 0 

20170512 12/05/2017 15:39 1001 0 0 

20170908 08/09/2017 02:42 1001 0 0 

20170908 08/09/2017 06:30 1001 0 0 

Comme vous pouvez voir les noms de colonnes sont les mêmes que dans le requête et je veux leur donner des noms lisibles lorsque le fichier est en cours de génération.

Est-ce que quelqu'un pourrait montrer et réparer mon code pour que je puisse entrer les noms de colonnes dans le fichier CSV?

Nous vous remercions à l'avance

Answer 1

Vous pouvez essayer d'utiliser pandas géants si vous ne me dérange pas ou sont prêts. Si vous avez utilisé Pandas votre solution serait:

import pandas as pd 

df = pd.DataFrame.read_csv('mycsvfile.csv') 

print(df.columns) 

aussi je voulais juste ajouter que si votre situation d'en-tête est différent ou votre colonne d'index non là, vous devrez peut-être faire quelques ajustements à la déclaration de création de df. Voici les documents link:

Answer 2

Ce que vous voulez, c'est pour renommer les clés du dictionnaire. To do that, you can for example pop it to a new column name. Exemple de modification DTDT à date.

my_dict['date'] = my_dict.pop('DTDT') 

Je pense que vous pouvez trouver comment renommer vos autres colonnes. Après cela, vous pouvez appeler w.writerow dans votre boucle for.

Answer 3

Que diriez-vous de cela? Définissez une dict avec des traductions en haut, par ex. juste après l'initialisation de votre es client, sur la ligne 4 ou 5 ou si:

readableColumnNames = {"DTDT" : "Date", "BLI" : "Blub"} 

puis remplacez cette ligne de code:

w = csv.DictWriter(f, [readableColumnNames[colName] for colName in my_dict.keys()]) 

n'a pas testé ce, pour être honnête, mais il devrait faire le travail, et c'est simple et transparent. Vous voulez probablement vous assurer que les traductions de tous les noms de champs sont réellement fournies. Ou alors, qu'en est-il des noms de champs sensibles dans Elasticsearch :-)?