Surveillance/reprise pour un graphique de tâches complexes pour le traitement par lots

Question

J'ai un ensemble de tâches de traitement par lots qui doivent être exécutées de manière automatisée sur une base hebdomadaire. La partie de base hebdomadaire n'est pas difficile: j'utilise cron pour lancer les choses. Les tâches sont essentiellement tout ce qui peut être initié avec un script shell. La partie difficile est que mes tâches ont un graphe de dépendance non trivial (B dépend de A, C dépend de B, D dépend de C et B, etc ...). Je suis intéressé à avoir un suivi des tâches afin que je reçoive une notification lorsque quelque chose ne va pas avec une tâche. Encore mieux, j'aimerais pouvoir reprendre facilement le graphe des tâches à partir du point de défaillance sans relancer le tout. Maintenant, je peux imaginer écrire moi-même quelque chose pour que tout cela arrive, mais je dois imaginer que quelqu'un a déjà traversé le problème. Existe-t-il des bibliothèques ou des frameworks existants qui faciliteraient cette tâche? Idéalement, je cherche quelque chose à exécuter dans un environnement linux/unix.

Answer 1

Je voudrais suggérer un Makefile pour résoudre vos problèmes.

Vous devrez avoir des fichiers de marqueurs pour les tâches à indiquer quand elles ont été complétées pour la dernière fois, et élaborer des dépendances pour les tâches 'root' (celles sans dépendances internes).

A : 
    <A's tasks> 
    touch A 

B : A 
    <B's tasks> 
    touch B 

C : B 
    <C's tasks> 
    touch C 

D : B C 
    <D's tasks> 
    touch D 

Maintenant, vous avez juste besoin de comprendre pourquoi un doit être re-fait et vous serez en mesure de faire cron ce fichier et faire seulement les bits appropriés seront refaits.