Je rencontre un problème avec als, modèle de produit similaire, lors de la formation de 400 000 enregistrements (environ 200 Mo). Il s'arrête à l'étape 13: ===================== [0 + 1]/2Moteur se bloque lors de la formation de grandes données
Quelqu'un peut-il m'aider avec cela?
Vous utilisez le mini serveur Spark lorsque vous lancez la commande:
pio train
Ce mini serveur est limité en ressources. Vous devez lancer votre propre cluster Spark. Il peut être démarré sur la même machine que votre serveur PredictionIO. Vous devez commencer autonome Spark avec ces commandes:
./PredictionIO/vendors/spark-1.5.1/sbin/start-master.sh --webui-port 8180
./PredictionIO/vendors/spark-1.5.1/sbin/start-slave.sh spark://localhost:7077 --webui-port 8181
Ensuite, vous pouvez vous entraîner en utilisant cette instance Spark avec cette commande:
pio train -- --master spark://localhost:7077 --driver-memory 4G --executor-memory 8G
Si spark://localhost:7077 n'est pas accessible, vous pouvez ouvrir l'interface utilisateur Web avec le port 8180 à voir l'URL du maître (première ligne de la page). Utilisez cette URL pour connecter votre esclave et votre train.
Cher @bodyjares, J'utilise une machine RAM 8G, fonctionne-t-elle avec --driver-memory 4G --executor-memory 8G? Si non, à quel nombre de gigaoctets de RAM je dois réduire? Merci beaucoup. –
Par défaut, l'esclave Spark est configuré avec la machine RAM-1G, vous pouvez donc essayer de le lancer avec 7G. Si vous n'êtes pas sûr de la configuration de l'esclave Spark, vous pouvez valider les ressources disponibles en accédant à http: // localhost: 8180. De là, vous verrez la mémoire disponible sur votre travailleur. – bodyjares
Ok, merci @bodyjares. –