Comment accéder/lire les données de sujet de kafka de flink?

Question

J'essaie de lire les données kafka de flink et comme je suis nouveau à kafka et flink, je ne sais pas comment les connecter.

Answer 1

Flink fournit un connecteur Kafka. Pour lire les données de sujets Kafka, vous devez d'abord ajouter la dépendance de connecteur Flink-Kafka.

<dependency> 
    <groupId>org.apache.flink</groupId> 
    <artifactId>flink-connector-kafka-0.8_2.10</artifactId> 
    <version>1.1.3</version> 
</dependency> 

Ensuite, vous appelez simplement l'environnement d'exécution Streaming et ajoutez la source Kafka. Voici un exemple

Properties properties = new Properties(); 
properties.setProperty("bootstrap.servers", "localhost:9092"); 
properties.setProperty("zookeeper.connect", "localhost:2181"); 
properties.setProperty("group.id", "test"); 
DataStream<String> stream = env 
.addSource(new FlinkKafkaConsumer08<>("topic", new SimpleStringSchema(),properties)) 
.print(); 

C'est tout. Vous êtes tous prêts à consommer des données du sujet Kafka.

Le code complet est disponible pour téléchargement à ce link