Comment obtenir le maximum de demandes sortantes lors de la parellellisation d'appels asynchrones?

Question

Analyser le code ci-dessous dans l'action par Fiddler, je réalise que l'utilisation des extensions parallèles que je peux obtenir au maximum 2 demandes sortantes:

new string[] 
    { 
     "http://stackoverflow.com", 
     "http://superuser.com", 
     "http://serverfault.com", 
     "http://stackexchange.com" 
    } 
    .AsParallel() 
    .Select(a => HttpWebRequest.Create(a).GetResponse()) 
    .ToArray() 
    ; 

Quelle méthode dois-je utiliser pour maximiser le nombre de demandes sortantes?

Answer 1

Ce code exécute les 6 requêtes HTTP en parallèle sur ma machine selon Wireshark:

var urls = new string[] 
{ 
    "http://stackoverflow.com", 
    "http://superuser.com", 
    "http://serverfault.com", 
    "http://stackexchange.com", 
    "http://www.howtogeek.com", 
    "http://meta.stackoverflow.com" 
}; 

var reqs = urls.Select<string, WebRequest>(HttpWebRequest.Create).ToArray(); 
var iars = reqs.Select(req => req.BeginGetResponse(null, null)).ToArray(); 
var rsps = reqs.Select((req, i) => req.EndGetResponse(iars[i])).ToArray(); 

Fondamentalement, il crée une WebRequest pour chaque URL, appelle BeginGetResponse sur chaque puis appelle EndGetResponse pour chacun avec le IAsyncResult La documentation indique que BeginGetResponse utilise The Managed Thread Pool pour effectuer la requête HTTP.

Answer 2

ServicePointManager.DefaultConnectionLimit

http://msdn.microsoft.com/en-us/library/system.net.servicepointmanager.defaultconnectionlimit.aspx

Dans votre cas, il a mis à 4.

Answer 3

Par défaut, le PFX crée ce nombre de threads que votre numéro de CPU de cœurs. C'est pourquoi vous avez seulement deux demandes. Utilisez la classe Task de PFX et exécutez-les tous via Task.WaitAll. (J'espère que ma conjecture est correcte.)

EDIT: Exemple

var tasks = servers.Select(Task.Create(() => GetResponseCallHere(...))).ToArray(); 
Task.WaitAll(tasks); 

Answer 4

Notez que dans la question je la version sychronous de la méthode BeginGetResponse. Ce que j'ai trouvé jusqu'à présent, c'est que la seule façon de maximiser la requête sortante est d'utiliser la version asynchrone de la méthode. Mais cette approche donne de nouveaux problèmes, à savoir:

1. Vous devez diviser votre logique de l'appelant dans deux méthodes
2. Il est difficile de garder une trace si tous les appels sortants ont été achevés.
3. Il est difficile de gérer les exceptions.

4. Si le nombre de tâches à exécuter dépasse la taille du pool de fil, alors Dieu seul sait ce qui se passe

   new string[] 
   { 
       "http://stackoverflow.com", 
       "http://superuser.com", 
       "http://serverfault.com", 
       "http://stackexchange.com" 
   } 
   .Select(a => HttpWebRequest.Create(a).BeginGetResponse(callback, null)) 
   .ToArray();