Python-Kafka: Programme exécuté en mode interactif et non en mode script

Question

J'essaie d'envoyer des messages à un sujet Kafka au Machine_2 via un script python au Machine_1. Les deux Machine_2 et Machine_1 sont dans le même réseau et les deux sont VM dans Azure.

code: sampl.py

from kafka import KafkaProducer 
Producer = KafkaProducer(bootstrap_servers=['Machine_2:9092']) 
Producer.send('test', 'hello') 

Si je lance le code ci-dessus comme

python sampl.py

Il n'y a pas de messages atteignant le Machine_2. Toutefois, si je fais:

python -i sampl.py

Ensuite, les messages parviennent à la Machine_2. J'ai vérifié la même chose en utilisant kafka-console-consumer.sh. J'ai fait yum update en Machine_1 en pensant qu'il pourrait y avoir quelques bibliothèques manquant ici. Mais pas de chance pour le moment.

Merci.

Answer 1

Mainteneur kafka-python ici. Producer.send('test', b'hello') est asynchrone et ne fournit pas de livraison immédiate. Ce que vous voyez probablement, c'est que l'interpréteur Python s'arrête avant que le producteur ait une chance de terminer l'envoi du réseau.

Si vous voulez attendre que le message soit envoyé avant de terminer le script, vous devez utiliser .get (timeout = ...). Essayez donc:

Producer.send('test', b'hello').get(timeout=1000)

Ou alternativement, vous pouvez appeler flush() pour faire la même chose pour tous les messages non envoyés:

Producer.flush(timeout=1000)