2009-03-30

• Hadoop 與 DRBL 整合時，常遇到 storageID 無法識別的困擾，遇到這種問題的時候，就直接給定 hostname 當 storageID 就可以看到全部的 DataNode 都加進 HDFS 了
  • 首先，為了日後重開機以後，維持 NameNode 的 namenodeID 不變，我們把 namenode 的資料存在 /home/hdfsadm 中。修改 /etc/hadoop/hadoop-site.xml 的 dfs.name.dir 來達成這個目標。至於原本安裝 hadoop 套件時設定的 localhost 則應該要改成 DRBL 對內的 IP 位址(這裡以 192.168.100.254 為例)。另外，也把 /etc/hadoop/slaves 修改成目前 DRBL Client 的 IP 範圍。

    jazz@drbl:~$ cat /etc/hadoop/hadoop-site.xml
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
      <property>
        <name>fs.default.name</name>
        <value>192.168.100.254:9000</value>
        <description>
          The name of the default file system. Either the literal string
          "local" or a host:port for NDFS.
        </description>
      </property>
      <property>
        <name>mapred.job.tracker</name>
        <value>192.168.100.254:9001</value>
        <description>
        The host and port that the MapReduce job tracker runs at. If
        "local", then jobs are run in-process as a single map and
        reduce task.
        </description>
      </property>
      <property>
        <name>dfs.name.dir</name>
        <value>/home/hdfsadm/dfs/name</value>
        <description>
          Determines where on the local filesystem the DFS name node
          should store the name table.  If this is a comma-delimited list
          of directories then the name table is replicated in all of the
          directories, for redundancy.
        </description>
      </property>
    </configuration>
    jazz@drbl:~$ cat /etc/hadoop/slaves
    192.168.100.1
    192.168.100.2
    ...
    192.168.100.30
    

  • 接著以 dcs 的功能執行 re-deploy 好讓每一個 nodes 的設定同步。然後只做一次 namenode 格式化，以後就不需要再格式化了。再用 dcs 做 DRBL Client 的 reboot 或 Wake-on-LAN。

    jazz@drbl:~$ sudo /opt/drbl/sbin/dcs
    jazz@drbl:~$ sudo /opt/hadoop/bin/hadoop namenode -format
    jazz@drbl:~$ sudo /opt/drbl/sbin/dcs
    

  • 最後，用 start-all.sh 與 stop-all.sh 確認已停掉目前正在執行的 Hadoop 執行緒。用 dsh 把每台 DRBL Client 目前 /tmp 目錄下的 dfs storageID 是正確的。

    hdfsadm@drbl:~$ /opt/hadoop/bin/start-all.sh
    hdfsadm@drbl:~$ /opt/hadoop/bin/stop-all.sh
    hdfsadm@drbl:~$ dsh -a "echo \"storageID=\$(hostname)\" >> /tmp/hadoop-hdfsadm/dfs/data/current/VERSION"
    hdfsadm@drbl:~$ /opt/hadoop/bin/start-all.sh