Supprimer les champs Logstash par défaut dans ElasticSearch

Question

Après avoir traité les données avec: input | filtrer | sortie> ElasticSearch le format, il est sont stockés dans est un peu comme:

"_index": "logstash-2012.07.02", 
"_type": "stdin", 
"_id": "JdRaI5R6RT2do_WhCYM-qg", 
"_score": 0.30685282, 
"_source": { 
    "@source": "stdin://dist/", 
    "@type": "stdin", 
    "@tags": [ 
     "tag1", 
     "tag2" 
    ], 
    "@fields": {}, 
    "@timestamp": "2012-07-02T06:17:48.533000Z", 
    "@source_host": "dist", 
    "@source_path": "/", 
    "@message": "test" 
} 

I Filtre/stocker la plupart des informations importantes dans des domaines spécifiques, est-il possible de laisser les champs par défaut comme: @source_path et @source_host? Dans un proche avenir, il va stocker 8 milliards de logs/mois et je voudrais faire des tests de performance avec ces champs par défaut exclus (je n'utilise pas ces champs).

Answer 1

Cela dépend de l'interface Web que vous utilisez pour afficher vos journaux. J'utilise Kibana, et un enregistreur de client (C#) qui indexe les éléments suivants:

{ 
    "_index": "logstash-2013.03.13", 
    "_type": "logs", 
    "_id": "n3GzIC68R1mcdj6Wte6jWw", 
    "_version": 1, 
    "_score": 1, 
    "_source": 
    { 
    "@source": "File", 
    "@message": "Shalom", 
    "@fields": 
    { 
     "tempor": "hit" 
    }, 
    "@tags": 
    [ 
     "tag1" 
    ], 
    "level": "Info" 
    "@timestamp": "2013-03-13T21:47:51.9838974Z" 
    } 
} 

Cela montre en Kibana, et les champs de source ne sont pas là.

Answer 2

Cela supprime les champs de sortie:

filter { 
    mutate { 
     # remove duplicate fields 
     # this leaves timestamp from message and source_path for source 
     remove => ["@timestamp", "@source"] 
    } 
}