Lire beaucoup de fichiers de Kafka

Question

Je lis 1 fichier journal dans Kafka, et la création d'un sujet. C'est réussi. Pour lire ce fichier, j'édite le fichier config/connect-file-source.properties à cette fin, et selon l'étape 7 de Kafka Quickstart (http://kafka.apache.org/quickstart#quickstart_kafkaconnect).

Mais, maintenant, je voudrais lire beaucoup de fichiers. Dans le fichier config /connect-file-source.properties J'ai modifié le fichier variables avec un motif, par exemple: file =/etc/logs/archive .log * Parce que je veux lire tous les fichiers des journaux d'annuaire, avec le modèle archive * .log. Mais, cette ligne ne fonctionne pas.

Quelle est la meilleure forme pour implémenter la lecture de fichiers avec un motif, en utilisant le fichier config/connect-file-source.properties?

Merci à l'avance

Cordialement

Dario R

Answer 1

Dans config/connect-file-source.properties,

classe source est FileStreamSource et il utilise la classe de tâches comme FileStreamSourceTask.

Il lit un fichier à l'aide de FileInputStream, il ne peut donc pas ouvrir plusieurs fichiers à la fois. (en passant un nom de répertoire ou un modèle regex ..)

Vous devez implémenter votre propre classe Source & SourceTask.