Changes between Version 17 and Version 18 of waue/Hadoop_DRBL

Timestamp:

Feb 27, 2009, 3:01:24 PM (16 years ago)

Author:

jazz

Comment:

--

waue/Hadoop_DRBL

@@ -7 +7 @@
  * 由於DRBL為無碟系統，並非一般的Cluster，因此有些地方需要注意。
 
-== 零、環境說明 ==
+= 零、環境說明 =
 
 環境中共有七台機器，一台為drbl server，也是hadoop的namenode，其他節點則client 與datanode，如下：
@@ -28 +28 @@
 = 一、安裝 =
 
- == 1.1 安裝drbl ==
+== 1.1 安裝drbl ==
+
  * 詳見 [http://drbl.nchc.org.tw/one4all/desktop/ DRBL的安裝]
 
- == 1.2 安裝 java 6 ==
+== 1.2 安裝 java 6 ==
  
  * 在套件庫裡 /etc/apt/sources.list 加入 non-free 庫以及 backports 網址才能安裝 sun-java6
@@ -50 +51 @@
 }}}
 
- == 1.3 安裝 Hadoop 0.18.3 == 
+== 1.3 安裝 Hadoop 0.18.3 == 
 
 {{{
@@ -59 +60 @@
 }}}
 
- = 二、設定 Hadoop =
+= 二、設定 Hadoop =
 
  * 在 /etc/bash.bashrc 的最末加入 以下資訊
@@ -141 +142 @@
 }}}
 
- = 三、操作 =
+= 三、操作 =
  
- == 3.1 開啟DRBL Client == 
+== 3.1 開啟DRBL Client == 
+
  * 將所有的 client 開啟，並且如下
 {{{
@@ -151 +153 @@
 |         DRBL SERVER          |
 |                              |
-|    +-- [eth2] 140.110.xxx.130|   +- to WAN
+|    +-- [eth2] 140.110.X.X    +- to WAN
 |                              |
-|    +-- [eth1] 192.168.1.254 +- to clients group 1 [ 6 clients, their IP
+|    +-- [eth1] 192.168.1.254  +- to clients group 1 [ 6 clients, their IP
 |                              |             from 192.168.1.2 - 192.168.1.7]
 +------------------------------+
@@ -161 +163 @@
 }}}
 
- == 3.2 設定ssh ==
+== 3.2 設定ssh ==
 
  * 編寫 /etc/ssh/ssh_config
@@ -182 +184 @@
 for ((i=2;i<=7;i++));
 do
- scp scp -r ~/.ssh/ "192.168.1.$i":~/
+ scp -r ~/.ssh/ "192.168.1.$i":~/
  scp /etc/ssh/ssh_config "192.168.1.$i":/etc/ssh/ssh_config
  ssh "192.168.1.$i" /etc/init.d/ssh restart
@@ -190 +192 @@
  * 正確無誤則可免密碼登入
 
- === 3.2.1 dsh ===
+=== 3.2.1 dsh ===
  
 {{{
@@ -203 +205 @@
 }}}
 
- == 3.3 啟動 Hadoop  ==
+== 3.3 啟動 Hadoop  ==
+
  * 啟動
 {{{
@@ -210 +213 @@
 $ bin/start-all.sh
 }}}
- == 3.4 Hadoop 測試範例 ==
+
+== 3.4 Hadoop 測試範例 ==
+
  * 運作WordCount以測試
 {{{
@@ -261 +266 @@
 }}}
 == 3.6 重新建立 hadoop ==
+
 {{{
 $ bin/stop-all.sh
@@ -267 +273 @@
 $ bin/start-all.sh
 }}}
-== 參考 ==
+
+= 四、參考資料 ==
 
  * [http://trac.nchc.org.tw/grid/wiki/jazz/DRBL_Hadoop Jazz: DRBL_Hadoop ]
  * [http://trac.nchc.org.tw/cloud/wiki/MR_manual Hadoop手冊]
 
-== 問題排解 ==
+= 五、問題排解 ==
 
  * drbl似乎安裝不順 
@@ -287 +294 @@
 > [[Image(debian_4.0r6_drbl.jpg)]]
 
- ps: 原因為 apt 的鏡像站台沒有複製到資料因此無法安裝新kernel，導致出現問題
+>> 原因： apt 的鏡像站台沒有複製到資料因此無法安裝新kernel，導致出現問題