nombre d'enregistrements dans une étape streamsets

Question

J'utilise Streamsets pour importer des enregistrements d'Oracle vers ElasticSearch. Je veux enregistrer dans la destination maprDB le nombre d'enregistrements que je traite chaque étape de ma requête oracle. Comment puis-je obtenir le nombre d'enregistrements à un certain stade de streamsets?

Answer 1

Vous pouvez insérer l'un des processeurs de script (JavaScript Evaluator) pour déclencher l'enregistrement d'événement. Et connectez la destination MaprDB à la piste d'événements du processeur de script.

var eventRecord = sdcFunctions.createEvent("count", 1); 
eventRecord.value = { recordCount : records.length}; 
sdcFunctions.toEvent(eventRecord); 

Sample Pipeline