2017-10-02 1 views
2

Y at-il une configuration qui permet d'exécuter H2OXGBoostEstimator en multithreading et non dans la configuration minimale avec un CPU, avec la version h2o 3.15.0.4035?est multi-cpu pris en charge par h2o-xgboost?

+0

multi cpu est pris en charge uniquement sur Linux http://docs.h2o.ai/h2o/latest-stable/h2o-docs/data-science/xgboost.html – Richard

+0

Je l'exécute sous Linux, devrait-il fonctionner par défaut dans une config multithread? Il ne fonctionne pas pour moi – nima

Répondre

1

L'implémentation de xgboost sur H2O est multithread et comme tous les autres algorithmes pris en charge dans H2O, elle dépend de la plate-forme qui est décrite dans H2O documentation correctement. Par conséquent, si vous l'essayez sous Linux, et que toutes les bibliothèques prises en charge sont disponibles, vous profiterez de xgboost distribué, à l'inverse d'OSX, vous risquez de perdre une seule fois le processeur. Tout dépend donc de la librairie qui est chargée depuis votre système d'exploitation.

Lorsque H2O commence dans le journal, vous verrez les éléments suivants:

10-02 09:25:34.579 10.0.0.46:54321  54229 main  INFO: Registered 3 core extensions in: 57ms 
10-02 09:25:34.580 10.0.0.46:54321  54229 main  INFO: Registered H2O core extensions: [Watchdog, XGBoost, KrbStandalone] 
10-02 09:25:34.791 10.0.0.46:54321  54229 main  INFO: Registered: 161 REST APIs in: 211ms 
10-02 09:25:34.791 10.0.0.46:54321  54229 main  INFO: Registered REST API extensions: [XGBoost, Algos, AutoML, Core V3, Core V4] 

Ensuite, vous verrez si le CPU/GPU est inclus comme ci-dessous:

10-02 09:23:49.952 10.0.0.46:54321  54143 FJ-1-5 INFO: No GPU (gpu_id: 0) found. Using CPU backend. 

Si vous pouvez exécuter objdump ou ldd commande de voir les libs chargées avec H2O, vous aurez une meilleure idée de ce qui manque, ce qui fait que votre runtime xgboost est un seul CPU.

+0

Exécution d'un conteneur (créé avec le Dockerfile h2o: (https://github.com/h2oai/h2o-3/tree/master/docker)) sur centos. h2o fonctionne bien, sauf H20XGBoost en cours d'exécution en utilisant 1 cpu. – nima

+0

log: "INFO: aucun GPU (gpu_id: 0) trouvé. – nima

+0

10-03 14: 55: 09.368 172.17.0.3:54321 200 principal INFO: Trouvé XGBoost backend avec la bibliothèque: xgboost4j 10-03 14: 55: 09.379 172.17.0.3:54321 200 principal INFO: Votre système prend en charge seulement la version minimale de XGBoost (pas de GPU, pas de multithreading)! 10-03 14: 55: 09.379 172.17.0.3:54321 200 principal INFO: ----- H2O a commencé ----- – nima