Besoin d'une source Flume multi-thread simple

Question

Vous recherchez des conseils sur la configuration d'une source de canal multifilaire simple.

J'utilise une source de spoolDir dans mon environnement de développement local pour tester mes intercepteurs, mais à partir du lien ci-dessous, il semble que les sources spoolDir sera toujours un seul thread:

Reading Flume spoolDir in parallel

Nous avons un intercepteur qui peut être buggé dans la production parce qu'il utilise un SimpleDateFormatter non thread thread et j'essaye de reproduire dans mon environnement de développement simple.

Answer 1

J'ai finalement réussi à reproduire le comportement bogué multithread que nous voyions en production en basculant mon environnement dev d'une source spoolDir vers une source syslogtcp. Le bug n'était pas ce que nous attendions, il n'avait rien à voir avec SimpleDateFormatter et était plutôt comment il insérait des informations supplémentaires dans les en-têtes d'événements.

J'ai simulé un serveur syslog en utilisant nc (netcat) pour envoyer des données au port syslog. J'ai vérifié que l'intercepteur était appelé par plus d'un thread en enregistrant le nom et l'ID du thread. Donc, pour quiconque est intéressé, il est probablement préférable de tester vos intercepteurs en utilisant une source multithread comme syslogtcp plutôt qu'une source spoolDir.