Puis-je redémarrer un cluster iPython à partir d'un ordinateur portable?

Question

Je me demande simplement s'il y a du code python ou des magies que je peux exécuter pour redémarrer le cluster ipython. Il semble que chaque fois que je change mon code, il doit être redémarré.

Answer 1

Une idée simple, semble trop pour la production "aki":

Configuration du Client et définir une fonction simple pour les tests.

import ipyparallel as ipp 
c = ipp.Client() 
dv = c[:] 

# simple function 
@dv.remote(block=True) 
def getpid(): 
    import os 
    return os.getpid() 

getpid() 
[1994, 1995, 1998, 2001] 

Définir une fonction pour redémarrer le cluster. shutdown avec targets='all' et hub=True devrait tuer le cluster entier. Ensuite, démarrez un nouveau cluster avec la commande magique ! ou %sx.

import time 
def restart_ipcluster(client): 
    client.shutdown(targets='all', hub=True) 
    time.sleep(5) # give the cluster a few seconds to shutdown 

    # include other args as necessary 
    !ipcluster start -n4 --daemonize 
    time.sleep(60) # give cluster ~min to start 

    return ipp.Client() # with keyword args as necessary 

Un inconvénient de cette approche est que le DirectView doit être réaffecté et toute fonction décorée avec dv.remote ou dv.parallel doit être ré-exécuté.

c = restart_ipcluster(c)  
dv = c[:] 

@dv.remote(block=True) 
def getpid(): 
    import os 
    return os.getpid() 

getpid() 
[3620, 3621, 3624, 3627] 

Lecture de la source pour ipyparallel Client, la méthode shutdown mentionné ci-dessus a un argument mot-clé, restart=False, mais il est actuellement pas mis en œuvre. Peut-être que les développeurs travaillent sur une méthode fiable.