Utiliser gevent avec python xmlrpclib

Question

Est-il possible d'utiliser les librairies standard de python xmlrpclib avec gevent? Actuellement, je suis tenté d'utiliser monkey.patch_all(), mais sans succès.

from gevent import monkey 
monkey.patch_all() 

import gevent 

import time 

import xmlrpclib 
from SimpleXMLRPCServer import SimpleXMLRPCServer 

import urllib2 

def fetch(url): 
     g = gevent.spawn(urllib2.urlopen, url) 
     return g.get().read() 
def is_even(n): 
    return n%2 == 0 

def req(url): 
     return fetch(url) 

server = SimpleXMLRPCServer(("localhost", 8000)) 
print "Listening on port 8000..." 
server.register_function(is_even, "is_even") 
server.register_function(req, "req") 
server.serve_forever() 

urllib2.urlopen bloque le serveur. Il me semble, que monkey.patch_all n'a pas patché le socket, c'est pourquoi il bloque.

Answer 1

Le socket est bien corrigé, mais il y a d'autres problèmes avec votre code.

En premier lieu, ce

def fetch(url): 
    g = gevent.spawn(urllib2.urlopen, url) 
    return g.get().read() 

est le même que

def fetch(url): 
    return urllib2.urlopen(url).read() 

Vous fraie un nouveau Greenlet ici mais bloquant l'actuel jusqu'à ce nouveau se fait. Cela ne rend pas les choses concurrentes. C'est exactement la même chose que de lancer urlopen et d'attendre que ça se termine. Deuxièmement, afin de tirer parti de gevent, il devait y avoir plus d'un fil léger (greenlet) fonctionnant en même temps.

SimpleXMLRPCServer, cependant, est définie comme

class SimpleXMLRPCServer(SocketServer.TCPServer, 
         SimpleXMLRPCDispatcher): 

ce qui signifie qu'il dessert une connexion à la fois.

Si vous créez votre propre classe SimpleXMLRPCServer, mais utilisez ThreadingTCPServer au lieu de TCPServer, vous devriez pouvoir bénéficier de l'utilisation de gevent ici.

monkey.patch_all() patches threading pour devenir un greenlet, de sorte que ce serveur génère un nouveau greenlet pour chaque nouvelle connexion.