Fonction Azure exécutée plusieurs fois pour le même message de file d'attente de bus de service

Question

J'ai une fonction Azure (basée sur les nouvelles fonctions C# au lieu des anciennes fonctions .csx) qui est déclenchée lorsqu'un message arrive dans une file d'attente Azure Service Bus. Une fois la fonction déclenchée, elle commence à traiter le message du bus de service. Il décode le message, lit un tas de bases de données, met à jour un tas d'autres, etc ... Cela peut prendre jusqu'à 30 minutes à la fois. Comme, ce n'est pas un processus sensible au temps, 30 minutes ou même 60 minutes ne sont pas un problème. Le problème est que pendant ce temps, Azure Function semble se remettre en marche et reprend le même message encore et encore et le retraite. Ceci est un problème et cause des problèmes dans notre logique métier. Donc, la question est: pouvons-nous forcer la fonction Azure à fonctionner en mode singleton? Ou si ce n'est pas possible, comment changeons-nous l'intervalle d'interrogation?

Answer 1

Le problème est lié au réglage Service Bus ...

Ce qui se passe est que le message est ajouté à la file d'attente, le message est alors donné à la fonction et un verrou est placé sur ce message afin que Aucun autre consommateur ne peut voir/traiter ce message pendant que vous avez un verrou dessus. Si au cours de cette période de verrouillage, vous ne dites pas au bus de service que vous avez traité le fichier, ou pour étendre le verrou, le verrou est supprimé du message et il devient visible aux autres services qui traiteront ensuite ce message , c'est ce que tu vois. Heureusement, les fonctions Azure peuvent automatiquement renouveler le verrouillage pour vous. Dans le fichier host.json, un paramètre autoRenewTimeout spécifie le délai pendant lequel vous souhaitez que les fonctions Azure continuent de renouveler le verrouillage.

https://github.com/Azure/azure-webjobs-sdk-script/wiki/host.json

"serviceBus": { 
    // the maximum duration within which the message lock will be renewed automatically. 
    "autoRenewTimeout": "00:05:00" 
}, 

Answer 2

AutoRenewTimeout est pas aussi grande que suggéré. Il y a un inconvénient dont vous devez être conscient. C'est not a guaranteed operation. Étant une opération initiée côté client, il peut et parfois échouera, vous laissant dans le même état que vous êtes aujourd'hui.

Ce que vous pouvez faire pour résoudre ce problème est de revoir votre conception. Si vous avez un long processus en cours, alors vous traitez le message, et passez le traitement à quelque chose qui peut fonctionner plus longtemps que MaxLockDuration. Le fait que votre fonction prenne autant de temps indique que vous avez un long processus d'exécution. La messagerie n'est pas conçue pour cela.

L'une des solutions possibles serait d'obtenir un message, d'enregistrer l'intention de traitement dans une table de stockage. Avoir une autre table de stockage déclenchée fonction pour lancer le traitement qui pourrait prendre X minutes. Marquez-le comme un singleton. Ce faisant, vous traiterez vos messages en parallèle, en écrivant "demande de traitement de longue durée" dans la table de stockage, en complétant la messagerie du bus de service et par conséquent en ne déclenchant pas leur re-traitement. Avec le traitement de longue durée, vous pouvez décider comment gérer les cas de défaillance.

Espérons que ça aide.