Comment améliorer les performances via Python multithread

Question

Je suis novice en Python et en multithreading, alors s'il vous plaît, supportez-moi. J'écris un script pour traiter les domaines dans une liste via Web of Trust, un service qui classe les sites Web de 1-100 sur une échelle de «fiabilité» et les écrit dans un fichier CSV. Malheureusement, les serveurs de Web of Trust peuvent prendre un certain temps à répondre, et le traitement de 100 000 domaines peut prendre des heures. Mes tentatives de multithreading jusqu'ici ont été décevantes - en essayant de modifier le script de this answer a donné des erreurs de fil, je crois parce que quelques discussions ont été trop longues à résoudre.

Voici mon script non modifié. Quelqu'un peut-il m'aider à le multithread, ou me diriger vers une bonne ressource de multithreading? Merci d'avance.

import urllib 
import re 

text = open("top100k", "r") 
text = text.read() 
text = re.split("\n+", text) 

out = open('output.csv', 'w') 

for element in text: 
     try: 
       content = urllib.urlopen("http://api.mywot.com/0.4/public_query2?target=" + element) 
       content = content.read() 
       content = content[content.index('<application name="0" r="'):content.index('" c')] 
       content = element + "," + content[25] + content[26] + "\n" 
       out.write(content) 
     except: 
       pass 

Answer 1

Une analyse rapide grâce à la documentation de l'API WOT montre que, ainsi que la demande de public_query2 que vous utilisez, il y a une demande de public_query_json qui vous permet d'obtenir les données par lots jusqu'à 100. Je suggère d'utiliser avant de commencer à inonder leur serveur avec beaucoup de demandes en parallèle.