Débogage des DAG brisés

Question

Lorsque le serveur Web de flux d'air affiche des erreurs telles que Broken DAG: [<path/to/dag>] <error>, comment et où pouvons-nous trouver la pile complète pour ces exceptions?

J'ai essayé ces lieux:

/var/log/airflow/webserver - avait pas de journaux dans les délais d'exécution, d'autres journaux étaient en binaire et le décodage avec strings donné aucune information utile.

/var/log/airflow/scheduler - avait quelques logs mais étaient sous forme binaire, a essayé de les lire et a semblé être principalement des logs de sqlalchemy probablement pour la base de données de flux d'air.

/var/log/airflow/worker - montre les journaux pour faire fonctionner DAG, (les mêmes que ceux que vous voyez sur la page du flux d'air)

puis aussi sous /var/log/airflow/rotated - n'a pas pu trouver le stacktrace que je cherchais.

J'utilise le flux d'air v1.7.1.3

Answer 1

Habituellement j'utiliser la commande airflow list_dags qui impriment la pleine stacktrace d'erreur python trouvé dans DAG.

Cela fonctionnera avec presque toutes les commandes de flux d'air en tant que dossier d'analyse du flux d'air chaque fois que vous utilisez une commande CLI de flux d'air.

Answer 2

Si vous souhaitez compiler et voir une erreur de syntaxe, vous pouvez également essayer python your_dag.py