Impossible de se connecter à Kafka après la mise à jour de HDP 2.4 vers HDP 2.5 sur AWS EC2

Question

J'ai eu un projet de producteur kafka implémenté sur Sandbox 2.4 via Virtual box mais depuis implémenté ce projet sur AWS EC2 (en utilisant le cloudbreak de Hortonworks). Cela m'a conduit à passer à HDP 2.5 passant ainsi de kafka 9 à kafka 10. J'ai fait les changements de dépendance et IP (localhost) nécessaires mais je reçois java.net.ConnectException: Connection timed out: no further information

Le kafkaBroker interne ip est 10.0.75.111 et l'échantillon kafka producteur est inférieure à

public void initialise() { 
    Properties props = new Properties(); 
    props.put("bootstrap.servers", "10.0.75.111:6667"); // replaced localhost 
    props.put("acks", "all"); 
    props.put("retries", 0); 
    props.put("batch.size", 16384); 
    props.put("linger.ms", 1); 
    props.put("buffer.memory", 33554432); 
    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); 
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); 
    producer = new org.apache.kafka.clients.producer.KafkaProducer<Integer, String>(props); 
} 

auditeur Kafka est PLAINTEXT://localhost:6667

Après avoir exécuté le programme, il renvoie le message d'erreur ci-dessous

803862 [kafka-producer-network-thread | producer-14] DEBUG org.apache.kafka.clients.NetworkClient - Initiating connection to node -1 at 10.0.75.111:6667. 
824863 [kafka-producer-network-thread | producer-14] DEBUG org.apache.kafka.common.network.Selector - Connection with /10.0.75.111 disconnected 
java.net.ConnectException: Connection timed out: no further information 
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) 
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) 
at org.apache.kafka.common.network.PlaintextTransportLayer.finishConnect(PlaintextTransportLayer.java:51) 
at org.apache.kafka.common.network.KafkaChannel.finishConnect(KafkaChannel.java:73) 
at org.apache.kafka.common.network.Selector.pollSelectionKeys(Selector.java:309) 
at org.apache.kafka.common.network.Selector.poll(Selector.java:283) 
at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:260) 
at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:229) 
at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:134) 
at java.lang.Thread.run(Thread.java:745) 
824863 [kafka-producer-network-thread | producer-14] DEBUG org.apache.kafka.clients.NetworkClient - Node -1 disconnected. 

J'apprécierais toute aide merci

Answer 1

Si vous envoyez des données à votre groupe de configuration AWS, vous devez utiliser les adresses IP externes. Cependant, si vous utilisez le réseau, vous pouvez utiliser les deux.

Dans votre cas, vous semblez courir depuis l'extérieur du réseau. Essayez de courir en utilisant l'IP publique de l'extérieur/interne de l'intérieur. Cela devrait vous permettre de partir.