Dépendances de travail par lots à l'aide de logiciels libres/ouverts

Question

Je gère une grande installation de stockage de données dans laquelle de nombreux travaux nocturnes sont exécutés de manière concordante, mais beaucoup dépendent d'un processus de chargement d'extraction ou de chargement de données. Actuellement, nous utilisons un «système d'ordonnancement coûteux» pour déterminer ceux-ci en ce moment.

Est-il possible de configurer les dépendances de travail en utilisant un outil open source ou un outil gratuit Unix/Linux tel que cron?

Passer à une solution ouverte de soruce serait génial et économise beaucoup!

Cordialement Matt

Answer 1

I dernière asked a similar question années (Serverfault serait peut-être un meilleur endroit de nos jours?). Il ne semble pas y avoir une solution simple, installer-et-aller malheureusement.

Answer 2

Cron ne gère pas cela nativement. Le processus qui charge les données peut-il écrire un fichier d'état à la fin? Cela permettrait aux tâches suivantes de vérifier le fichier d'état avant de faire leur vrai travail. Évidemment, ce n'est pas une solution idéale (trop de points d'échec, je suppose), mais c'est peut-être assez bon pour ce que vous essayez d'accomplir.

Answer 3

Cfengine peut être fait pour faire quelque chose comme ceci. Vous pouvez le configurer en tant que remplacement cron, en exécutant des commandes arbitraires à des heures planifiées, et vous pouvez configurer des "classes" pour que certaines actions soient effectuées uniquement si certaines classes sont activées. Les classes peuvent être quelque chose de "ceci est un système Linux" à "il est actuellement entre 5 et 10 minutes après l'heure" à "la charge du système est supérieure à la valeur x" à "cette commande arbitraire que je viens de spécifier". pourrait configurer vos classes pour indiquer vos dépendances de travail. Je doute que cela soit aussi puissant qu'un système de planification (les dépendances devraient être configurées manuellement en configurant des classes, la programmation simultanée nécessiterait un travail supplémentaire de script ou de configuration), mais elle est libre et open source.

La version 2 de Cfengine n'était pas particulièrement agréable à utiliser (dans les mots de Seth Vidal, "c'est la syntaxe [sic] tue les chatons"). Je n'ai pas utilisé Cfengine 3. Puppet a des objectifs de conception similaires à Cfengine et peut-être plus facile de travailler avec.

Answer 4

Schedulix est une solution d'automatisation de la charge de travail open source pour Linux: http://www.schedulix.org