Je sais qu'il y a des API pour configurer la notification quand un travail est échoué ou fini. Mais que se passe-t-il si, par exemple, j'exécute une requête Hive qui compte le nombre de lignes dans une table. Si le résultat retourné est zéro, je veux envoyer des courriels aux parties concernées. Comment puis je faire ça?Existe-t-il une API pour envoyer des notifications en fonction des résultats du travail?
Merci.
Il n'y a pas d'API directe pour déclencher la notification en fonction des résultats d'une requête. Cependant, il existe un moyen de le faire en utilisant Qubole: -Créer un flux de travail dans qubole avec les étapes suivantes: 1. Votre requête (n'importe quelle requête) qui écrit la sortie à un emplacement particulier sur s3. 2. Un script shell - Ce script lit le résultat de votre s3 et échoue le travail en fonction de n'importe quel critère. Par exemple dans votre cas, échouez le travail si le résultat renvoie 0 lignes. -Planifiez ce flux de travail à l'aide de l'API "Scheduler" pour notifier en cas d'échec.
Vous pouvez également utiliser la commande shell "Sendmail" pour envoyer du courrier en fonction des résultats de l'étape 2 ci-dessus.
Vous pouvez regarder Airflow et l'opérateur de Qubole pour le flux d'air. Nous utilisons le flux d'air pour orchestrer tous les travaux exécutés en utilisant Qubole et dans certains cas des environnements non Qubole. Nous API DataDog pour signaler les succès/échecs de chaque tâche (Qubole/Non Qubole). DataDog dans ce cas peut être remplacé par l'opérateur de messagerie d'Airflow. Airflow a également un opérateur de chat (comme Slack)