Supprimer les champs par leur nom de modèle

Question

Nous utilisons actuellement logstash avec elasticsearch pour consigner certains des événements d'application. Certains événements contiennent des champs nommés dynamiquement.
Nous souhaitons appliquer un filtre qui les supprimera ou les fusionnera avant d'entrer dans elasticsearch.
par exemple:

{ 
    "Root": { 
    "EventType": "Info", 
    "Timestamp": 20150713153757.758 
    }, 
    "Event": { 
    "Message": "itemsViews Created in 1 mSec", 
    "Cache_11542": true, 
    "Cache_10242": false, 
    "Cache_55240": 124 
    } 
} 

Dans ce cas, nous voudrions supprimer tous les champs commençant par « Cache_ » sous l'objet de l'événement.

de sorte que la sortie ElasticSearch sera

{ 
    "Root": { 
    "EventType": "Info", 
    "Timestamp": 20150713153757.758 
    }, 
    "Event": { 
    "Message": "itemsViews Created in 1 mSec" 
    } 
} 

Est-il possible de définir une charge dans le fichier de configuration de logstash pour y parvenir?

Merci beaucoup à l'avance.

Answer 1

On dirait que le Ruby filter solution que @ magnus-bäck souligne pourrait être votre solution. J'avais initialement suggéré le mutate filter en utilisant le tableau "remove_field" en conjonction avec le filtre gsub. Gsub à regex correspond à vos champs Cache * qui peuvent ensuite être renommés en une variable à utiliser dans mute. Cependant, comme vous avez un nombre de champs Cache, j'aime mieux le script ruby. :)