Comment ajouter un gestionnaire de journal dans le céleri?

Question

J'ai mon tasks.py ici est un Exerpt:

import builtins 
import logging 
import os 
import urllib 
import inspect 

from celery import Celery 
from common.environment_helper import EnvironmentHelper 
from config import log 

# Logging functionality 
logger = logging.getLogger(__name__) 
EnvironmentHelper.set_environment(logger) 


app = Celery('tasks', broker=BROKER__URL, broker_transport_options=BROKER_TRANSPORT_OPTIONS) 
app.conf.CELERY_ACCEPT_CONTENT = ['json'] 
app.conf.CELERY_TASK_SERIALIZER = 'json' 
app.conf.CELERYD_PREFETCH_MULTIPLIER = 1 
app.log.already_setup=True 
app.conf.CELERY_ENABLE_REMOTE_CONTROL = False 
app.conf.CELERY_DEFAULT_QUEUE = queue_name 

@app.task 
def convert_file(file_conversion_json): 
    file_conversion_json_copy = file_conversion_json.copy() 

Donc, fondamentalement, je veux prendre une valeur du dictionnaire et l'ajouter à mon journal. Je l'ai fait avec succès dans ma demande réelle en utilisant le code suivant:

import uuid 
import logging 
import flask 


# Generate a new request ID, optionally including an original request ID 
def generate_request_id(original_id): 
    new_id = uuid.uuid4() 

    if not original_id: 
     return new_id 
    else: 
     new_id = original_id 
    return new_id 

# Returns the current request ID or a new one if there is none 
# In order of preference: 
# * If we've already created a request ID and stored it in the flask.g context local, use that 
# * If a client has passed in the X-Request-Id header, create a new ID with that prepended 
# * Otherwise, generate a request ID and store it in flask.g.request_id 
def request_id(): 
    if getattr(flask.g, 'request_id', None): 
     return flask.g.request_id 

    headers = flask.request.headers 
    original_request_id = headers.get("X-Request-Id") 
    new_uuid = generate_request_id(original_request_id) 
    flask.g.request_id = new_uuid 

    return new_uuid 


class RequestIdFilter(logging.Filter): 
    # This is a logging filter that makes the request ID available for use in 
    # the logging format. Note that we're checking if we're in a request 
    # context, as we may want to log things before Flask is fully loaded. 
    def filter(self, record): 
     record.request_id = request_id() if flask.has_request_context() else '' 
     return True 

............

# log.py 
import logging.config 
import os 

LOGGER_CONFIGURATION = { 
    'version': 1, 
    'filters': { 
     'request_id': { 
      '()': 'config.utils.RequestIdFilter', 
     }, 
    }, 
    'formatters': { 
     'standard': { 
      'format': '%(asctime)s - %(name)s.%(module)s.%(funcName)s:%(lineno)d - %(levelname)s - %(request_id)s - %(message)s', 
     }, 
    }, 
    'handlers': { 
     'console': { 
      'class': 'logging.StreamHandler', 
      'level': 'INFO', 
      'filters': ['request_id'], 
      'formatter': 'standard' 
     } 
    }, 
    'loggers': { 
     '': { 
      'handlers': ['console'], 
      'level':'INFO', 
     }, 
     'app': { 
      'handlers': ['console'], 
      'level':'INFO', 
     }, 
    } 
} 

logging.config.dictConfig(LOGGER_CONFIGURATION) 

Mais il ne fonctionne pas pour le céleri et Je n'ai aucune idée de comment ajouter une variable à la volée comme ça. Aucun conseil?

Answer 1

Je compris que si je l'ajouter à ma tâche:

logFormatter = logging.Formatter('%(asctime)s - %(name)s.%(module)s.%(funcName)s:%(lineno)d - %(levelname)s - Request ID:'+ file_conversion_json['x_request_id'] + ' - %(message)s') 
rootLogger = logging.getLogger() 
consoleHandler = logging.StreamHandler() 
consoleHandler.setFormatter(logFormatter) 
rootLogger.addHandler(consoleHandler) 

Il ajoutera ce que je veux à la sortie du journal, mais maintenant il dupliqués mes messages du journal, je reçois chaque message deux fois dans la sortie du journal ....