Je veux exécuter des algorithmes évolutifs comme GA, PSO en utilisant pyspark sur spark.Comment faire cela en utilisant MLLib en utilisant la bibliothèque Deap python.Il existe une autre bibliothèque disponible pour effectuer la même tâche.comment exécuter des algorithmes évolutionnaires en utilisant pyspark
Jetez un oeil à my answer sur la façon d'utiliser DEAP avec Spark et voir si cela fonctionne pour vous.
Voici un exemple de configuration de DEAP toolbox en replace the map function par un module personnalisé utilisant Spark.
from pyspark import SparkContext
sc = SparkContext(appName="DEAP")
def sparkMap(algorithm, population):
return sc.parallelize(population).map(algorithm)
toolbox.register("map", sparkMap)
Qu'est-ce que 'toolbox'? S'il vous plaît ne pas dupliquer les réponses. Fournissez-en un bon, puis liez-le via les commentaires –
Il s'agit d'une classe utilitaire fournie par DEAP pour faciliter le changement d'opérateur sans affecter le reste de votre algorithme (docs [ici] (http://deap.readthedocs.io /en/master/tutorials/basic/part2.html#using-the-toolbox) Dans mon exemple, il remplace la fonction map (utilisée pour mapper la fonction de fitness à tous les individus) par une fonction personnalisée utilisant la fonction Spark parallelize. Vous pouvez trouver un autre exemple dans [docs] (http://deap.readthedocs.io/en/master/tutorials/basic/part4.html). – frenchoverflow