Logstash-5.X Kafka Input plugin: aucun message lu sur kafka topic

Question

Prévu pour mettre à jour mon installation ELK à 5.x avec que j'ai essayé d'ajouter la file d'attente de messages kafka entre le serveur de redirecteur et logstash sur le nouvel environnement.

Il n'y a pas de problèmes sur les expéditeurs envoyé un message à kafka. Je l'ai vérifié à travers le script de consommation kafka.

Mais quand je tire un message de kafka en utilisant le plugin logstash-kafka-input, il n'écrit aucun message. Dois-je ajouter/activer des paramètres spécifiques dans ma configuration?

ma config logstash simples:

input { 
kafka{ 
    topics => ["weblogs"] 
    bootstrap_servers => "10.11.12.202:9092" 
} 
} 

output { 
    stdout { codec => rubydebug } 
file { 
       path => "/tmp/stdout.log" 
      } 
} 

Kafka sortie du script des consommateurs sur le sujet:

[root@logstash kafka_2.11-0.10.2.0]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic weblogs 
10.11.12.169 - - [27/Apr/2017:13:50:26 +0000] "GET/HTTP/1.0" 302 287 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)" 
192.168.10.11 - - [27/Apr/2017:13:50:29 +0000] "GET/HTTP/1.0" 302 281 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)" 
10.11.12.169 - - [27/Apr/2017:13:50:29 +0000] "GET/HTTP/1.0" 302 291 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)" 
10.11.12.169 - - [27/Apr/2017:13:50:32 +0000] "GET/HTTP/1.0" 302 289 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)" 

Answer 1

Ceci est la configuration de base avec laquelle je le faire fonctionner.

input { 
    kafka { 
     bootstrap_servers =>["kafkaIp:9092"] 
     topics => ["topic1"] 
     codec => "json" 
     group_id => "logstashgroup" 
    } 
} 
output { 
    elasticsearch { 
     hosts => ["http://elasticsearchIp:9200"] 
     manage_template => true 
     index => "indexname" 
    } 
} 

Espérons que cela aide.