Pile ELK + Filebeat pour la collecte des journaux Rails

Question

J'ai installé une pile ELK sur une machine virtuelle et je veux collecter des journaux à partir de certaines applications Ruby on Rails.

Sur chaque vm où j'ai une application Rails J'ai installé Filebeat avec cette config:

filebeat: 
    prospectors: 
    - 
     paths: 
     - path_to_rails_log_file.log 
     input_type: log 
     fields_under_root: true 
     fields: 
     tags: ['json'] 

output: 
    logstash: 
    hosts: ["192.168.1.232:5044"] 
    bulk_max_size: 1024 
    tls: 
     certificate_authorities: ["path_to_certificate.crt"] 

shipper: 
logging: 
    files: 
    rotateeverybytes: 10485760 # = 10MB 

sur VM avec pile ELK Je possède ce 02-beats-input.conf:

input { 
    beats { 
    port => 5044 
    ssl => true 
    ssl_certificate => "/etc/pki/tls/certs/filebeat-forwarder.crt" 
    ssl_key => "/etc/pki/tls/private/filebeat-forwarder.key" 
    } 
} 

filter { 
if [tag][json] { 
    json { 
    source => "message" 
    } 
} 
} 
output { 
elasticsearch { 
    hosts => "localhost:9200" 
    manage_template => false 
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" 
    document_type => "%{[@metadata][type]}" 
} 
} 

Je ne comprends pas pourquoi dans l'interface Web de Kibana mes journaux ressemblent à:

message: {"method":"GET","path":"/","format":"html","controller":"application","action":"index","status":200, "duration":7.91,"view":0.31,"db":0.0,"ip":"req_ip","route":"application#index","request_id":"some_id","source":"127.0.1.1","tags":["request"],"@timestamp":"2017-02-10T06:52:01.984Z","@version":"1"} @version:1 @timestamp:February 10th 2017, 08:52:10.451 offset:25,747 type:log tags:json, beats_input_codec_plain_applied beat.hostname:deployer-VirtualBox 

Je voudrais li ke, si c'est possible, chaque entrée est le contenu sous la clé "message" sans cette clé.

Qu'est-ce que je fais mal? :(

P.S. Mes journaux Rails sont au format JSON et je suis en train de lire ce fichier à partir Filebeat.

Answer 1

Dans Logstash config vous devriez probablement remplacer if [tag][json] { avec if [tags][json] {