2017-10-17 19 views
0

J'ai un DAG très simple avec deux tâches, comme suit:Airflow tue mes tâches après 1 minute

default_args = { 
    'owner': 'me', 
    'start_date': dt.datetime.today(), 
    'retries': 0, 
    'retry_delay': dt.timedelta(minutes=1) 
} 

dag = DAG(
    'test DAG', 
    default_args=default_args, 
    schedule_interval=None 
) 

t0 = PythonOperator(
    task_id="task 1", 
    python_callable=run_task_1, 
    op_args=[arg_1, args_2, args_3], 
    dag=dag, 
    execution_timeout=dt.timedelta(minutes=60) 
) 

t1 = PythonOperator(
    task_id="task 2", 
    python_callable=run_task_2, 
    dag=dag, 
    execution_timeout=dt.timedelta(minutes=60) 
) 

t1.set_upstream(t0) 

Cependant, quand je le lance, je vois ce qui suit dans les journaux:

[17/10/2017 16: 18: 35519] {} jobs.py:2083 INFO - Tâche terminé avec code de retour -9

Sans autres journaux d'erreurs utiles. Quelqu'un a-t-il déjà vu ça? Ai-je mal défini mon DAG? Toute aide appréciée!

Répondre

0

Quelle version du débit d'air utilisez-vous?
A partir de la version 1.8, le flux d'air est un planificateur moins tolérant sur start_date dynamique, https://github.com/apache/incubator-airflow/blob/master/UPDATING.md#less-forgiving-scheduler-on-dynamic-start_date.
Essayez de donner une date précise.

+0

Je l'ai essayé. Malheureusement, cela n'a pas résolu mon problème. Je pense que pour une raison quelconque, le planificateur pense que c'est une tâche zombie et le tue. – user1059968