[[PageOutline]]

= 實作三： Hadoop 叢集安裝 =

== 前言 ==

 * 您手邊有兩台電腦，假設剛剛操作的電腦為node1,另一台則為node2。稍後的環境我們假設node1 為server, node2 為slaves。
 * 這個實做會架設運作在叢集環境上的Hadoop，因此若是你的電腦還存在著之前的實做一的環境，請先作step 0，以移除掉之前的設定。


=== 清除所有在實做一作過的環境 ===

 * node1 （有操作過實做一的電腦）執行
{{{
~$ killall java
~$ rm -rf /tmp/hadoop-hadooper*
~$ rm -rf /opt/hadoop/logs/*/tmp/hadoop-hadooper
~$ rm -rf /opt/hadoop
~$ rm -rf ~/.ssh
}}}

=== 設定hostname ===

 == step 1. 安裝java ==

 * 為兩台電腦安裝java

   * node1 & node2
   
{{{
~$ sudo apt-get purge java-gcj-compat
~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre
}}}
 
 == step 2. 設定兩台機器登入免密碼 ==
 
 * 在node1上操作
 
{{{
~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
~$ scp -r ~/.ssh node2_ip:~/
~$ ssh node2_ip
~$ ssh node1_ip
~$ exit
~$ exit
}}}

 * 完成後請登入確認不用輸入密碼，（第一次登入需按enter鍵，第二次就可以直接登入到系統），以免日後輸入密碼不只手軟而已....

 == step 3. 下載安裝Hadoop到node1 ==

 * 先在node1上安裝，其他node的安裝等設定好之後在一起作

{{{
~$ cd /opt
/opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz
/opt$ sudo tar zxvf hadoop-0.18.3.tar.gz
/opt$ sudo mv hadoop-0.18.3/ hadoop
/opt$ sudo chown -R hadooper:hadoop hadoop
}}}

 == step 4. 設定 hadoop-env.sh ==
 
 * node1上用gedit 編輯conf/hadoop-env.sh

{{{
/opt$ cd hadoop/
/opt/hadoop$ gedit conf/hadoop-env.sh
}}}

 編輯以下資訊

{{{
#!diff
--- hadoop-0.18.3/conf/hadoop-env.sh.org
+++ hadoop-0.18.3/conf/hadoop-env.sh
@@ -6,7 +6,10 @@
 # remote nodes.
 # The java implementation to use.  Required.
-# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
+export JAVA_HOME=/usr/lib/jvm/java-6-sun
+export HADOOP_HOME=/opt/hadoop
+export HADOOP_CONF_DIR=/opt/hadoop/conf
+export HADOOP_LOG_DIR=/home/hadooper/logs
+export HADOOP_PID_DIR=/home/hadooper/pids

 # Extra Java CLASSPATH elements.  Optional.
 # export HADOOP_CLASSPATH=
}}}

 == step 5. 設定 hadoop-site.xml ==
 
 * 第二個設定檔是 '''hadoop-site.xml'''，由於官方所提供的範例並無法直接執行，因此我們參考[http://hadoop.apache.org/core/docs/r0.18.3/quickstart.html 線上文件]，做了以下的修改。
 
{{{
/opt/hadoop# gedit conf/hadoop-site.xml 
}}}

 編輯以下內容

{{{
#!diff
--- hadoop-0.18.3/conf/hadoop-site.xml.org
+++ hadoop-0.18.3/conf/hadoop-site.xml
@@ -4,5 +4,31 @@
 <!-- Put site-specific property overrides in this file. -->
 <configuration>
-
+  <property>
+    <name>fs.default.name</name>
+    <value>hdfs://node1_ip:9000/</value>
+    <description>
+      The name of the default file system. Either the literal string
+      "local" or a host:port for NDFS.
+    </description>
+  </property>
+  <property>
+    <name>mapred.job.tracker</name>
+    <value>hdfs://node1_ip:9001</value>
+    <description>
+      The host and port that the MapReduce job tracker runs at. If
+      "local", then jobs are run in-process as a single map and
+      reduce task.
+    </description>
+  </property>
+  <property>
+    <name>hadoop.tmp.dir</name>
+    <value>/tmp/hadoop/hadoop-${user.name}</value>
+    <description>A base for other temporary directories.</description>
+  </property>
 </configuration>
}}}

 == step 6. 設定masters及slaves ==
 
 * 接著我們要編輯哪個主機當namenode, 若有其他主機則為datanodes
   * 編輯 conf/slaves
{{{
/opt/hadoop$ gedit conf/hadoop-site.xml 
}}}
 內容
{{{
#!diff
--- hadoop/conf/slaves.org
+++ hadoop/conf/slaves
@@ -1,2 +1,5 @@
-localhost
+node1
+node2
}}}

== step 7. Hadoop_Home內的資料複製到其他主機上 ==

 * 在node1上對遠端node2作開資料夾/opt/hadoop及權限設定
{{{
/opt/hadoop$ ssh node2_ip "sudo mkdir /opt/hadoop"
/opt/hadoop$ ssh node2_ip "sudo chown -R hadoop:hadooper /opt/hadoop"
}}}

 * 複製node1的hadoop資料夾到node2上
{{{
/opt/hadoop$ scp -r /opt/hadoop/* node2_ip:/opt/hadoop/
}}}

== step 8. 格式化HDFS ==


 * 以上我們已經安裝及設定好 Hadoop 的叢集環境，接著讓我們來啟動 Hadoop ，首先還是先格式化hdfs

 * 在node1 上操作
 
{{{
/opt/hadoop$ bin/hadoop namenode -format
}}}

執行畫面如：
{{{
09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = /localhost
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.18.3
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009
************************************************************/
09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper
09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup
09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true
09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds.
09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop-hadooper/dfs/name has been successfully formatted.
09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at /localhost
************************************************************/
}}}

== step 9. 啟動Hadoop ==

 * 在node1上，執行下面的命令啟動HDFS：
$ bin/start-dfs.sh

   * bin/start-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動DataNode守護進程。

 * 在node2上，執行下面的命令啟動Map/Reduce：
{{{
$ ssh node2_ip "bin/start-mapred.sh"
}}}

   * bin/start-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動TaskTracker。

== step 8. 檢查運作狀態 ==

 * 啟動之後，可以檢查以下網址，來觀看服務是否正常。
 
   * http://node2_ip:50030/ - Hadoop 管理介面
   * [[Image(hadoop_administration.png)]]
------
   * http://node1_ip:50070/ - Hadoop DFS 狀態
   * [[Image(hadoop_dfs_status.png)]]


== step 9. 停止hadoop ==

 * 在node1上，執行下面的命令停止HDFS：
{{{
/opt/hadoop$ bin/stop-dfs.sh
}}}
   * bin/stop-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止DataNode

 * 在node1上，執行下面的命令停止Map/Reduce：
{{{
/opt/hadoop$ bin/stop-mapred.sh
}}}
   * bin/stop-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止TaskTracker。