2017-06-12 4 views
0

Je configure le client Confluent Python Kafka sur mon ordinateur portable (Ubuntu 17) et tout va bien, je peux écouter des sujets distants et recevoir des messages. Mais quand j'essaye de le configurer sur un serveur (Ubuntu 16), il y a ce qui semble être un problème de compression. Les données proviennent de Divolte et sont compressées avec LZ4.KafkaError Codec de compression non supporté 0x3 avec Confluent Python Consommateur Kafka

Les données sont reçues avec succès sans aucune erreur lors de la première connexion à un sujet, mais après la fermeture et la réouverture du consommateur, un premier message est reçu et une erreur est renvoyée:

<cimpl.Message object at 0x7f089db67180> 
KafkaError{code=_NOT_IMPLEMENTED,val=-170,str="Unsupported compression codec 0x3"} 

Je pense qu'il est pas de source de données Divolte mais plus comme un message de Kafka, mais je ne peux pas lire sa valeur depuis l'erreur se produit avant (msg est imprimé, puis nous sauter à Elif pour l'erreur):

c = Consumer({'bootstrap.servers': server['server'], 'group.id': 'mygroup', 
       'default.topic.config': {'auto.offset.reset': 'smallest'}}) 
c.subscribe([server['topic']]) 
running = True 
while running: 
    msg = c.poll() 
    print(msg) 
    if not msg.error(): 
     msg_value = msg.value() 
     print(msg_value) 
    elif msg.error().code() != KafkaError._PARTITION_EOF: 
     print(msg.error()) 
     running = False 

Répondre

0

En effet, il semblait comme un problème de version, mais 0,10 était apparemment pas nécessaire, je suivais http://docs.confluent.io/current/installation.html pour réinstaller le dépôt et la plate-forme confluentes, librdkafka1 puis mis à jour et librdkafka-dev de 0.9.1 à 0.9.5 et ça a résolu mon problème!