Version 17 (modified by shunfa, 12 years ago) (diff) |
---|
實作七: Hadoop 叢集安裝
前言
- 您手邊有兩台電腦,假設剛剛操作的電腦為"node1" ,另一台則為"node2" 。則稍後的環境如下
管理Data的身份 管理Job的身份 "node1" namenode + datanode jobtracker + tasktracker "node2" datanode tasktracker
- 這個實做會架設運作在叢集環境上的Hadoop,因此若是你的電腦還存在著之前的實做一的環境,請先作step 0,以移除掉之前的設定。
- 確認您"node1"的 hostname 與 "node2" 的 hostname,並將下面指令有 node1與node2 的地方作正確的取代
- 維持好習慣,請幫你待會要操作的主機設root密碼
~$ sudo passwd
前置準備工作
- STEP 1: 為 node1 修改 /etc/hostname 並重新登入 X-Windows。
~$ echo "node1" > hostname ~$ sudo mv hostname /etc/hostname ~$ sudo hostname -F /etc/hostname
- STEP 2: 為 node2 修改 /etc/hostname 並重新登入 X-Windows。
~$ echo "node2" > hostname ~$ sudo mv hostname /etc/hostname ~$ sudo hostname -F /etc/hostname
- 為 node1 與 node2 設定 /etc/hosts
~$ cat > hosts << EOF 192.168.100.1 node1 192.168.100.2 node2 EOF ~$ sudo mv hosts /etc/hosts
- 使用圖形介面為 node1 的第二張網卡設定 IP 位置 - 192.168.100.1
~$ sudo ifconfig eth1 192.168.100.1
- 使用圖形介面為 node2 的第二張網卡設定 IP 位置 - 192.168.100.2
~$ sudo ifconfig eth1 192.168.100.2
- 為了模擬一個電腦叢集,請各位向講師索取網路線,並將網路線連接到 node1 的第二張網卡與 node2 的第二張網卡。
- 確認網路連線正確
~$ ping node1 ~$ ping node2
清除所有在實做一作過的環境
- 在 "node1" (有操作過 實做一 的電腦)上操作
~$ cd ~ ~$ /opt/hadoop/bin/stop-all.sh ~$ sudo rm -rf /var/hadoop ~$ sudo rm -rf /opt/hadoop ~$ rm -rf /tmp/Jetty_0_0_0_0_500* ~$ rm -rf ~/.ssh
step 0. 設定機器的ip & hostname 資訊
step 1. 設定兩台機器登入免密碼
- 請注意我們實驗環境已經把 /etc/ssh/ssh_config裡的StrictHostKeyChecking改成no,下面的指令可以檢查,如果你的設定不同的話,請修改此檔會比較順。
$ cat /etc/ssh/ssh_config |grep StrictHostKeyChecking StrictHostKeyChecking no
- 在"node1" 上操作
- 接著將key產生並複製到其他node上
~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P "" ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys ~$ scp -r ~/.ssh node2:~/
- 測試看看是否登入免密碼
~$ ssh node2 ~$ ssh node1 ~$ exit ~$ exit ~$
- 完成後請登入確認不用輸入密碼,(第一次登入需按 yes ,第二次就可以直接登入到系統),以免日後輸入密碼不隻手軟而已....
step 2. 安裝java
- 為兩台電腦安裝java
- "node1" & "node2" 都要操作以下指令
~$ sudo apt-get purge java-gcj-compat ~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre ~$ ssh node2 ~$ sudo apt-get purge java-gcj-compat ~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre ~$ exit
- "node1" & "node2" 都要操作以下指令
step 3. 下載安裝Hadoop到"node1"
- 先在"node1" 上安裝,其他node的安裝等設定好之後在一起作
~$ cd /opt /opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz /opt$ sudo tar zxvf hadoop-0.20.2.tar.gz /opt$ sudo mv hadoop-0.20.2/ hadoop /opt$ sudo chown -R hadooper:hadooper hadoop /opt$ sudo mkdir /var/hadoop /opt$ sudo chown -R hadooper:hadooper /var/hadoop
step 4. 設定 hadoop-env.sh
- "node1" 上用gedit 編輯 conf/hadoop-env.sh
/opt$ cd hadoop/ /opt/hadoop$ gedit conf/hadoop-env.sh
將以下資訊貼入 conf/hadoop-env.sh 檔內
export JAVA_HOME=/usr/lib/jvm/java-6-sun export HADOOP_HOME=/opt/hadoop export HADOOP_CONF_DIR=/opt/hadoop/conf export HADOOP_LOG_DIR=/tmp/hadoop/logs export HADOOP_PID_DIR=/tmp/hadoop/pids
- 注意,在此實做中,我們多設定了HADOOP_PID_DIR及HADOOP_LOG_DIR的參數,並且把值寫入到我們hadooper的家目錄中,此舉並非完全必要,但一個目的是介紹更多hadoop-env.sh內的參數,另一目的為讓log,pid等常變資料與hadoop家目錄分離
step 5. 設定 hadoop-site.xml
- 第二個設定檔是 hadoop-site.xml,由於官方所提供的範例並無法直接執行,因此我們參考線上文件,做了以下的修改。
/opt/hadoop# gedit conf/core-site.xml
將以下資料取代掉原本的內容
<configuration> <property> <name>fs.default.name</name> <value>hdfs://node1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop/hadoop-${user.name}</value> </property> </configuration>
/opt/hadoop# gedit conf/hdfs-site.xml
將以下資料取代掉原本的內容
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>
/opt/hadoop# gedit conf/mapred-site.xml
將以下資料取代掉原本的內容
<configuration> <property> <name>mapred.job.tracker</name> <value>node1:9001</value> </property> </configuration>
- 注意!fs.default.name = hdfs://node1:9000/ ;而mapred.job.tracker = node1:9001,看出差異了嗎!一個有指hdfs://,一個沒有,重要!易混淆。
step 6. 設定masters及slaves
- 接著我們要編輯哪個主機當namenode, 若有其他主機則為datanodes
- 編輯 conf/slaves
/opt/hadoop$ gedit conf/slaves
- 編輯 conf/slaves
原本內容只有localhost一行,請刪除此行並換上"node1" 及"node2" 的ip
node1 node2
step 7. Hadoop_Home內的資料複製到其他主機上
- 在"node1" 上對遠端"node2" 作開資料夾/opt/hadoop及權限設定
/opt/hadoop$ ssh node2 "sudo mkdir /opt/hadoop" /opt/hadoop$ ssh node2 "sudo chown -R hadooper:hadooper /opt/hadoop" /opt/hadoop$ ssh node2 "sudo mkdir /var/hadoop" /opt/hadoop$ ssh node2 "sudo chown -R hadooper:hadooper /var/hadoop"
- 複製"node1" 的hadoop資料夾到"node2" 上
/opt/hadoop$ scp -r /opt/hadoop/* node2:/opt/hadoop/
step 8. 格式化HDFS
- 以上我們已經安裝及設定好 Hadoop 的叢集環境,接著讓我們來啟動 Hadoop ,首先還是先格式化hdfs,在"node1" 上操作
/opt/hadoop$ bin/hadoop namenode -format
執行畫面如:
09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = node1 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.20.2 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009 ************************************************************/ 09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper 09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup 09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true 09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds. 09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop/hadoop-hadooper/dfs/name has been successfully formatted. 09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at node1 ************************************************************/
step 9. 啟動Hadoop
- bin/start-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上啟動datanode。
- 在"node1" 上,執行下面的命令啟動HDFS:
/opt/hadoop$ bin/start-dfs.sh
- http://192.168.100.1:50070/ - Hadoop DFS 狀態
- ps: 然而JobTracker還沒啟動,因此 http://192.168.100.1:50030/ 網頁無法顯示
- bin/start-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上啟動tasktracker。
- 在"node1"執行下面的命令啟動Map/Reduce:
/opt/hadoop$ /opt/hadoop/bin/start-mapred.sh
- 啟動之後, jobtracker也正常運作囉!
- http://192.168.100.1:50030/ - Hadoop 管理介面
step 10. 停止hadoop
- 在"node1" 上,執行下面的命令停止HDFS:
/opt/hadoop$ bin/stop-dfs.sh
- bin/stop-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上停止namenode
- 在"node1" 上,執行下面的命令停止Map/Reduce:
/opt/hadoop$ bin/stop-mapred.sh
- bin/stop-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上停止tasktracker。
補充-修改hostname
開啟終端機並執行下列指令修改hostname
- 修改前先停止hadoop服務
# cd /opt/hadoop # bin/stop-all
- 將下列檔案內容改為自己要的名字
# sudo gedit /etc/hostname
- 修改對應ip(localhost)的hostname
# sudo gedit /etc/hosts
- 重新啟動
# /etc/init.d/hostname.sh
- 驗證是否已經修改完畢
# hostname
練習
- 看 conf/hadoop-default.xml 的更多內容
- 和別人組隊,組成4台node的cluster,其中"node1" 只當 namenode ,"node2" 只當 jobtracker,而node3, node4 兩台電腦則身兼 datanode及tasktracker的工作。