Запуск h2o в кластере hadoop с определенным URL узла соединения

lampShadesDrifter спросил: 14 ноября 2017 в 07:19 в: h2o

Есть ли способ запустить интерфейс экземпляра h2o на определенном узле кластера? Например ...

При использовании команды:

$ hadoop jar h2odriver.jar -nodes 4 -mapperXmx 6g -output hdfsOutputDir

из, скажем, в каталоге установки h2o, например, в узле 172.18.4.62, я получаю ( сокращенно) output:

....
H2O node 172.18.4.65:54321 reports H2O cluster size 1
H2O node 172.18.4.66:54321 reports H2O cluster size 1
H2O node 172.18.4.67:54321 reports H2O cluster size 1
H2O node 172.18.4.63:54321 reports H2O cluster size 1
H2O node 172.18.4.63:54321 reports H2O cluster size 4
H2O node 172.18.4.66:54321 reports H2O cluster size 4
H2O node 172.18.4.67:54321 reports H2O cluster size 4
H2O node 172.18.4.65:54321 reports H2O cluster size 4
H2O cluster (4 nodes) is up
(Note: Use the -disown option to exit the driver after cluster formation)Open H2O Flow in your web browser: http://172.18.4.65:54321(Press Ctrl-C to kill the cluster)
Blocking until the H2O cluster shuts down...

А из сценария python, который хочет подключиться к экземпляру h2o, я бы сделал что-то вроде:

h2o.init(ip="172.18.4.65")

для подключения к экземпляру h2o. Однако было бы лучше иметь возможность контролировать, по какому адресу находится соединение экземпляра h2o.

Есть ли способ сделать это? Этот вопрос запутан / ошибочен? Моя общая цель - периодически запускать скрипт на python, запускать кластер h2o, делать что-то на этом кластере, а затем выключать кластер (неспособность узнать адрес, используемый для подключения к кластеру, означает, что скрипт никогда не будет уверен, какой адрес для подключения). Любой совет будет принят во внимание. Спасибо.


0 ответов