Planification du travail avec Apache NiFi en transmettant des valeurs de propriétés dynamiques

Question

J'ai créé un flux de travail NiFi comme indiqué ci-dessous: GenerateFlowFile -> Custom Processor -> LogAttribute Mon processeur personnalisé a une propriété comme date de début. Mais la date de début doit changer dans chaque exécution planifiée en fonction de la date de fin maximale de l'exécution précédente. Essentiellement à la recherche d'extraction de données incrémentielle à partir du serveur.

Pourriez-vous s'il vous plaît aider, comment cela peut-il être réalisé dans Apache NiFi?

Answer 1

La planification du processeur est généralement laissée au gestionnaire de flux de données qui configure le processeur dans son flux. Je vous recommande de les laisser planifier le processeur, s'attendant à ce qu'il fonctionne sur une base périodique. Mais vous pouvez utiliser la fonction State Manager d'Apache NiFi pour stocker des données qui suivent votre progression incrémentielle. Vous pouvez ensuite décider de l'action à entreprendre, le cas échéant, lorsque le processeur est déclenché. S'il n'y a rien à faire, ne faites rien. Les meilleurs exemples sont les processeurs List * tels que ListFile. Ces processeurs stockent généralement un horodatage du fichier qu'ils ont lu en dernier, l'utilisation de cet horodatage pour déterminer quels nouveaux fichiers doivent être traités, indépendamment de la fréquence à laquelle ils sont invités à vérifier. Il est probable que la plupart des exécutions d'un processeur List * n'aboutiront à aucune sortie.

Il existe quelques exemples de données d'état de lecture et de persistance dans la classe AbstractListProcessor.