RabbitMQ: Dispatcher pour les messages qui contiennent de nombreuses tâches

Question

Je suis en train de distribuer un message via RabbitMQ qui contient de nombreuses tâches:

Producer --> RabbitMQ Exchange --> 10 Consumers 

.: Le par exemple l'utilisateur envoie un message à l'échange qui contient 1000 tâches. L'échange doit distribuer les tâches de manière égale aux consommateurs ayant la file d'attente la plus courte. Comme le producteur n'a aucune connaissance des mécanismes de mise en file d'attente utilisés dans RabbitMQ, l'échange a besoin d'une logique personnalisée pour scinder l'ordre en tâches et les distribuer aux files d'attente des consommateurs.

Comment cela est-il fait? (J'utilise Python/Pika à la fois sur les producteurs et les consommateurs.)

Answer 1

Cela semble beaucoup plus simple si vous utilisiez une seule file d'attente et que plusieurs utilisateurs étaient connectés à cette file d'attente et utilisaient Consumer Prefetch (QoS). De cette façon, vous pouvez envoyer 1000 messages à cette file d'attente et demander aux consommateurs disponibles de récupérer les messages.

Producer --> RabbitMQ Exchange --> RabbitMQ Queue --> 10 Consumers 

Consumer prélecture (QoS) essentiellement signifie simplement que vous pouvez définir le nombre de messages que le consommateur prélecture. Par exemple, si vous définissez cette valeur à 1, pika ne récupère et ne traite qu'un message à la fois, ce qui donne aux autres consommateurs une chance de consommer et de traiter les 999 autres messages.