wiki:Hinet130923/Lab9

Version 3 (modified by jazz, 11 years ago) (diff)

--

◢ <實作八> | <回課程大綱> ▲ | <實作十> ◣

實作九 Lab9

Hadoop 叢集設定
Configuring Hadoop Cluster
請先連線至 nodeN.3du.me , N 為您的報名編號
  • 首先,我們需要先停止各位目前跑的 Hadoop 背景程式,無論是偽分散模式或全分散模式。
  • 指令如下:
    user@node1:~$ hadoop-daemon.sh stop tasktracker
    user@node1:~$ hadoop-daemon.sh stop datanode
    user@node1:~$ hadoop-daemon.sh stop jobtracker
    user@node1:~$ hadoop-daemon.sh stop namenode
    
  • 為了不破壞各位原本已經建立的環境,我們運用昨天教的方法,產生一個新的設定檔目錄 conf.node50。讓每一位學員的 DataNode?TaskTracker 通通連到 node50 來。
    user@node1:~$ cp -r ~/hadoop/conf.full ~/hadoop/conf.node50 
    user@node1:~$ sed -i "s#$(hostname)#node50#g" ~/hadoop/conf.node50/core-site.xml 
    user@node1:~$ sed -i "s#\/home\/user\/hadoop#\/tmp#g" ~/hadoop/conf.node50/core-site.xml 
    user@node1:~$ sed -i "s#$(hostname)#node50#g" ~/hadoop/conf.node50/mapred-site.xml 
    user@node1:~$ cat ~/hadoop/conf.node50/core-site.xml 
    user@node1:~$ cat ~/hadoop/conf.node50/mapred-site.xml 
    
  • 您也可以比較 conf.full 目錄與 conf.node50 的差異
    user@node1:~$ diff -Naur ~/hadoop/conf.full ~/hadoop/conf.node50