C# MultiThreaded HttpWebRequest timeouts .. Aide!

Question

J'ai implémenté un crawler multithread en C#. En utilisant un pool de threads personnalisé, il y a une file d'attente, toutes les pages à télécharger sont mises en file d'attente et chaque thread en prend un et les télécharge. En utilisant 15 fils, En rampant sur un seul site, il est lisse comme de la soie et se fait rapidement. Lors de l'exploration de plusieurs sites sur différents serveurs en même temps, je reçois des TONS de délais d'attente.

Cela peut-il avoir quelque chose à voir avec la résolution DNS? Selon vous, qu'est-ce qui pourrait provoquer cela?

Merci. Roey

Answer 1

Il existe une limite de connexion pour HttpWebRequest comme décrit here. Voir HttpWebRequest.ServicePoint.ConnectionLimit dans MSDN.

Answer 2

Vraisemblablement, vous l'utilisez sous Windows. Bien que vous puissiez configurer le nombre de connexions autorisées par HttpWebRequest, cela ne modifie pas les limites imposées par Windows. Par exemple, je crois comprendre qu'avec XP SP2, Microsoft a imposé une limite de 10 connexions par seconde. Si vous avez un grand nombre de connexions qui attendent d'être autorisées à s'ouvrir, elles peuvent être en cours d'exécution en raison de l'absence d'autorisation à temps.

Certes, je n'ai pas beaucoup de perspicacité dans le problème depuis que je n'ai jamais rencontré le problème. Essayez de réduire le nombre de connexions que vous essayez de faire et voyez si cela réduit les délais.