Flux d'air avec systemd: `airflow.pid` vs` airflow-monitor.pid`

Question

Mon fichier d'unité systemd fonctionne (ci-dessous).

Toutefois, le fichier airflow-monitor.pid devient transitoirement en lecture seule, ce qui empêche parfois le démarrage du flux d'air. Notre solution consiste à supprimer airflow-monitor.pid si cela se produit. Ce n'est pas le même fichier que airflow.pid.

Il semble que airflow.pid est gunicorn et airflow-monitor.pid est un processus python en tant que serveur web de flux d'air.

fichier unité systemd:

[Unit] 
Description=Airflow webserver daemon 
After=network.target postgresql.service mysql.service redis.service rabbitmq-server.service 
Wants=postgresql.service mysql.service redis.service rabbitmq-server.service 

[Service] 
# by default we just set $AIRFLOW_HOME to its default dir: $HOME/airflow , so lets skip this for now 
EnvironmentFile=/home/airflow/airflow/airflow.systemd.environment 

#WorkingDirectory=/home/airflow/airflow-venv 
#Environment=PATH="/home/airflow/airflow-venv/bin:$PATH" 
PIDFile=/home/airflow/airflow/airflow.pid 
User=airflow 
Group=airflow 
Type=simple 
# this was originally the file webserver.pid but did not run 
#ExecStart=/bin/bash -c 'source /home/airflow/airflow-venv/bin/activate ; /home/airflow/airflow-venv/bin/airflow webserver -p 8080 --pid /home/airflow/airflow/airflow.pid --daemon' 
#ExecStart=/home/airflow/airflow-venv/bin/airflow webserver -p 8080 --pid /home/airflow/airflow/airflow.pid --daemon 
ExecStart=/usr/local/bin/airflow webserver -p 8080 --pid /home/airflow/airflow/airflow.pid --daemon 
Restart=on-failure 
RestartSec=5s 
PrivateTmp=true 

[Install] 
WantedBy=multi-user.target 

Voici la sortie des fichiers pid:

airflow@airflow:~$ cat airflow/airflow.pid 
8397 
airflow@airflow:~$ cat  airflow/airflow-monitor.pid 
8377 
airflow@airflow:~$ ps faux | grep 8377 
airflow 26004 0.0 0.0 14224 976 pts/0 S+ 18:05 0:00 | \_ grep --color=auto 8377 airflow 8377 0.4 1.0 399676 83804 ? Ss Aug23 6:14 /usr/bin/python /usr/local/bin/airflow webserver -p 8080 --pid /home/airflow/airflow/airflow.pid --daemon 
airflow@airflow:~$ ps faux | grep 8397 
airflow 26028 0.0 0.0 14224 940 pts/0 R+ 18:05 0:00 | \_ grep --color=auto 8397 airflow 8397 0.0 0.6 186652 55496 ? S Aug23 0:32 gunicorn: master [airflow-webserver] 

Answer 1

Pas tout à fait sûr pourquoi airflow-monitor.pid devient en lecture seule, mais vous pouvez éviter ce fichier pid entièrement en n'exécutant pas le serveur Web avec --daemon. Je ne pense pas que ce soit nécessaire avec systemd.

bloc pertinent de code: https://github.com/apache/incubator-airflow/blob/master/airflow/bin/cli.py#L754-L765