wiki:Hinet130923/Lab9

Version 5 (modified by jazz, 11 years ago) (diff)

--

◢ <實作八> | <回課程大綱> ▲ | <實作十> ◣

實作九 Lab9

Hadoop 叢集設定
Configuring Hadoop Cluster
請先連線至 nodeN.3du.me , N 為您的報名編號
  • 首先,我們需要先停止各位目前跑的 Hadoop 背景程式,無論是偽分散模式或全分散模式。
  • 指令如下:
    user@node1:~$ hadoop-daemon.sh stop tasktracker
    user@node1:~$ hadoop-daemon.sh stop datanode
    user@node1:~$ hadoop-daemon.sh stop jobtracker
    user@node1:~$ hadoop-daemon.sh stop namenode
    
  • 為了不破壞各位原本已經建立的環境,我們運用昨天教的方法,產生一個新的設定檔目錄 conf.node50。讓每一位學員的 DataNode?TaskTracker 通通連到 node50 來。
    user@node1:~$ cp -r ~/hadoop/conf.full ~/hadoop/conf.node50 
    user@node1:~$ sed -i "s#$(hostname)#node50#g" ~/hadoop/conf.node50/core-site.xml 
    user@node1:~$ sed -i "s#\/home\/user\/hadoop#\/tmp#g" ~/hadoop/conf.node50/core-site.xml 
    user@node1:~$ sed -i "s#$(hostname)#node50#g" ~/hadoop/conf.node50/mapred-site.xml 
    user@node1:~$ cat ~/hadoop/conf.node50/core-site.xml 
    user@node1:~$ cat ~/hadoop/conf.node50/mapred-site.xml 
    
  • 您也可以比較 conf.full 目錄與 conf.node50 的差異
    user@node1:~$ diff -Naur ~/hadoop/conf.full ~/hadoop/conf.node50 
    
  • 我們將設定檔透過 HADOOP_CONF_DIR 環境變數,暫時切換到 conf.node50 的設定,並用 hadoop-daemon.sh 指令啟動 DataNode?TaskTracker
    user@node1:~$ export HADOOP_CONF_DIR=~/hadoop/conf.node50
    user@node1:~$ hadoop-daemon.sh start datanode
    user@node1:~$ hadoop-daemon.sh start tasktracker 
    

<補充> Apache Proxy

user@node50:~$ sudo apt-get install apache2                                                         
user@node50:~$ sudo a2enmod proxy_http                                                              
user@node50:~$ sudo vi /etc/apache2/sites-enabled/000-default                                       
user@node50:~$ sudo service apache2 restart                                                         
    <Location /hdfs>
      ProxyPass   http://localhost:50070
      Order       allow,deny
      Allow       from all
    </Location>
                                                                                                    
    <Location /mapred>
      ProxyPass   http://localhost:50030
      Order       allow,deny
      Allow       from all
    </Location>