Azure WebJob Sortie La liste des messages à mettre en file d'attente via ICollector semble lente

Question

J'ai un WebJob Azure qui parcourt les pages d'un fichier et les traite. Le travail a également un ICollector à une file d'attente de sortie:

[Queue("batch-pages-to-process")] ICollector<QueueMessageBatchPage> outputQueueMessage 

-je attendre jusqu'à ce que toutes les pages sont traitées avant d'envoyer tout à la file d'attente de sortie, donc au lieu d'ajouter chaque message au ICollector dans mon dossier boucle de traitement, j'ajouter les messages à une liste de messages de file d'attente:

List<QueueMessageBatchPage> 

Après toutes les pages ont été traitées, je boucle puis à travers la liste et ajouter les messages au ICollector:

foreach (var m in outputMessages) 
{ 
    outputQueueMessage.Add(m); 
} 

Mais cette dernière partie semble prendre beaucoup de temps. Pour ajouter 300 messages de file d'attente, cela prend presque 50 secondes. Je n'ai pas grand chose à évaluer, mais cela semble lent. Est-ce normal?

Answer 1

Il n'y a pas de norme objective par rapport lent rapide à vous offrir, mais quelques réflexions:

a) Une partie du temps de mise en attente sera sérialisation de chaque instance QueueMessageBatchPage ... la performance de ce sera inversement liés à la largeur et la profondeur des graphiques d'objets que ces instances représentent. Plus de données prend évidemment plus de temps pour écrire dans la file d'attente.

b) Je sais que vous avez mentionné que vous ne pouvez pas écrire dans la file d'attente tant que toutes les lignes de fichier n'ont pas été traitées, mais si possible, vous pouvez reconsidérer ce choix. Dans la mesure où vous pouvez paralléliser le traitement des lignes dans le fichier et l'écriture ultérieure dans la file d'attente de sortie (en utilisant plusieurs instances WebJob ou TPL Tasks au sein d'une seule instance WebJob), vous pouvez effectuer ce travail beaucoup plus rapidement. Encore une fois, je me rends compte que vous avez déclaré d'emblée que vous ne pouvez pas faire cela, alors je vous suggère simplement de considérer toutes les implications de ce choix (si ce n'est déjà fait). C) Une autre possibilité à regarder ... assurez-vous que la région où réside votre file d'attente de stockage est la même que celle de votre WebJob, afin de minimiser la latence.

Bonne chance!