2010-03-17 7 views
1

Comment puis-je gérer un certain nombre de connexions à l'hôte en même temps?Gestion simultanée de plusieurs connexions à l'hôte

+1

cela dépend beaucoup de ce que 'ceci => le problème que vous avez' est! S'il vous plaît développer! – lexu

+0

Je construis un moteur de recherche en utilisant nutch sur hadoop. J'ai généré un segment à récupérer (~ 1 000 000 pages). Quand je cours fetcher nombre de connexion à l'hôte à la même était d'environ 300. Comment puis-je le limiter? P.S. Désolé pour mon anglais – sev

Répondre

0

De nutch-default.xml:

<property> 
    <name>fetcher.threads.fetch</name> 
    <value>10</value> 
    <description>The number of FetcherThreads the fetcher should use. 
    This is also determines the maximum number of requests that are 
    made at once (each FetcherThread handles one connection).</description> 
</property> 

<property> 
    <name>fetcher.threads.per.host</name> 
    <value>1</value> 
    <description>This number is the maximum number of threads that 
    should be allowed to access a host at one time.</description> 
</property> 

Comme indiqué plus haut, le nombre de connexions est au plus égal au nombre de fils. La première propriété contrôle le nombre total de connexions et la seconde le nombre de connexions par hôte - c'est celui que vous devez définir.

Questions connexes