Hadoop: datanode не запускается на подчиненном

Ritu Raj спросил: 28 марта 2018 в 04:37 в: hadoop

У меня есть две настройки виртуальных машин с Ubuntu 12.04. Я пытаюсь настроить Hadoop multinode, но после выполнения hadoop/sbin/start-dfs.sh я вижу следующий процесс на моем хозяине:

20612 DataNode
20404 NameNode
20889 SecondaryNameNode
21372 Jps

Однако в подчиненном устройстве нет ничего. Также, когда я делаю hdfs dfsadmin -report, я вижу только:

Live datanodes (1):Name: 10.222.208.221:9866 (master)
Hostname: master

Я проверил журналы, мой start -dfs.sh даже не пытается запустить datanode на моем подчиненном устройстве. Я использую следующую конфигурацию:

#/etc/hosts
127.0.0.1       localhost
10.222.208.221  master
10.222.208.68   slave-1

изменил hostanme в / etc / hostname в соответствующих системах. Также я могу выполнить ping-slave-1 из master-системы и наоборот, используя ping.

<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://master:9000</value>
   </property>
</configuration>

# hadoop / etc / hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///hadoop/data/namenode</value>
        <description>NameNode directory</description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///hadoop/data/datanode</value>
        <description>DataNode directory</description>
    </property>    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
 </configuration>

<configuration>
   <property>
         <name>mapred.job.tracker</name>
         <value>master:9001</value>
   </property>
</configuration>

Я также добавил master и slave-1 в /hadoop/etc/master и /hadoop/etc/slaves на моей главной и подчиненной системе.

Я также попытался очистить данные / а затем hdfs namenode -format до start-dfs.sh, все еще проблема сохраняется.

Кроме того, у меня есть параметр сетевого адаптера, помеченный как адаптер с поддержкой Bridged.

Any возможная причина, по которой datanode не запускается на подчиненном устройстве?


1 ответ

tadamhicks ответил: 01 июня 2018 в 10:46

Не могу утверждать, что получил ответ, но я обнаружил, что "start-all.sh" и"start-dfs.sh" с главного узла не запускают службы подчиненного узла?

Изменил мой файл ведомых на рабочий файл, и все щелкнуло.