Changes between Version 30 and Version 31 of waue/2009/0617

Timestamp:

Jun 19, 2009, 2:41:13 PM (15 years ago)

Author:

waue

Comment:

--

waue/2009/0617

@@ -27 +27 @@
  * hadoop目錄： /opt/hadoop
  = 一、安裝 =
- * 安裝的部份沒必要都一模一樣，僅提供參考，反正只要安裝好java , hadoop , eclipse，並清楚自己的路徑就可以了
+
+安裝的部份沒必要都一模一樣，僅提供參考，反正只要安裝好java , hadoop , eclipse，並清楚自己的路徑就可以了
+
  == 1.1. 安裝java ==
- * java 基本套件
+ 
+首先安裝java 基本套件
+ 
 {{{
 $ sudo apt-get install java-common sun-java6-bin sun-java6-jdk sun-java6-jre
@@ -35 +39 @@
 
  == 1.1.1. 安裝sun-java6-doc ==
- * 1 將javadoc (jdk-6u10-docs.zip) 下載下來
+ 
+ 1 將javadoc (jdk-6u10-docs.zip) 下載下來
  [https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/ViewProductDetail-Start?ProductRef=jdk-6u10-docs-oth-JPR@CDS-CDS_Developer 下載點]
 [[Image(1-1.png)]]
  
- * 2 下載完後將檔案放在 /tmp/ 下
- * 3 執行
+ 2 下載完後將檔案放在 /tmp/ 下
+
+ 3 執行
  
 {{{
@@ -54 +60 @@
 $ ssh localhost
 }}}
- * 執行ssh localhost 沒有出現詢問密碼的訊息則無誤
+
+執行ssh localhost 沒有出現詢問密碼的訊息則無誤
 
  == 1.3. 安裝hadoop ==
- * 安裝hadoop0.20到/opt/並取目錄名為hadoop
+
+安裝hadoop0.20到/opt/並取目錄名為hadoop
 
 {{{
@@ -153 +161 @@
 
 == 2.1 安裝hadoop 的 eclipse plugin ==
+
  * 匯入hadoop 0.20.0 eclipse plugin 
+ 
 {{{
 $ cd /opt/hadoop
 $ sudo cp /opt/hadoop/contrib/eclipse-plugin/hadoop-0.20.0-eclipse-plugin.jar /opt/eclipse/plugins
 }}}
+
 {{{
 $ sudo vim /opt/eclipse/eclipse.ini
 }}}
+
  * 可斟酌參考eclipse.ini內容（非必要）
+ 
 {{{
 #!sh
@@ -178 +191 @@
 
 == 2.2 開啟eclipse & 設定 ==
+
  * 打開eclipse 
+ 
 {{{
 $ eclipse &
 }}}
- * 圖 2-1 一開始會出現問你要將工作目錄放在哪裡：在這我們用預設值
+
+一開始會出現問你要將工作目錄放在哪裡：在這我們用預設值
 [[Image(2-1.png)]] 
 -------
-之後的說明則是在eclipse 上的介面操作
-
- * window -> open pers.. -> other.. -> map/reduce
+
+'''PS: 之後的說明則是在eclipse 上的介面操作'''
+
+-------
+|| window -> || open pers.. -> || other.. -> || map/reduce|| 
+
 [[Image(win-open-other.png)]] 
- 
- * 圖 2-2 設定要用 Map/Reduce 的視野
+
+-------
+
+設定要用 Map/Reduce 的視野
 [[Image(2-2.png)]] 
 
- * 圖 2-3 使用 Map/Reduce 的視野後的介面呈現
+---------
+
+使用 Map/Reduce 的視野後的介面呈現
 [[Image(2-3.png)]] 
 
- * file -> new -> project -> Map/Reduce -> Map/Reduce Project -> next
+--------
+
+ || file ->  || new ->  || project ->  || Map/Reduce ->  || Map/Reduce Project -> ||  next || 
 [[Image(file-new-project.png)]]
 
- * 圖 2-4 建立mapreduce專案(1)
+--------
+
+建立mapreduce專案(1)
 [[Image(2-4.png)]] 
 
- * 圖 2-4 建立mapreduce專案的(2)
+-----------
+
+ * 建立mapreduce專案的(2)
 [[Image(2-4-2.png)]]
 
@@ -211 +240 @@
 Finish
 }}}
+--------------
 
 由於剛剛建立了icas這個專案，因此eclipse已經建立了新的專案，出現在左邊視窗，右鍵點選該資料夾，並選properties
 
- * 圖 2-5 右鍵點選project的properties做細部設定
+--------------
+1. 右鍵點選project的properties做細部設定
 [[Image(2-5.png)]]
 
 
-進入專案的細部設定頁
-
- * 圖 2-5-1 hadoop的javadoc的設定(1)
+2. 進入專案的細部設定頁
+
+hadoop的javadoc的設定(1)
 [[Image(2-5-1.png)]]
 
@@ -227 +258 @@
  * java Build Path -> Libraries ->  hadoop-0.20.0-tools.jar
    * 以 hadoop-0.20.0-core.jar 的設定內容如下，其他依此類推
+   
 {{{
 #!sh
@@ -233 +265 @@
 }}}
 
- * 圖 2-5-2 hadoop的javadoc的設定完後(2)
+------------
+3. hadoop的javadoc的設定完後(2)
 [[Image(2-5-2.png)]]
 
+------------
+
  * javadoc location -> 輸入：file:/usr/lib/jvm/java-6-sun/docs/api/
  
- * 圖 2-5-3 java本身的javadoc的設定(3)
+4. java本身的javadoc的設定(3)
 [[Image(2-5-3.png)]]
 
 -----
-回到eclipse 主視窗
-
- * 圖 2-6 視窗右下角黃色大象圖示"Map/Reduce Locations tag" -> 點選齒輪右邊的藍色大象圖示：
+ * 回到eclipse 主視窗
+
+--------
+1. 視窗右下角黃色大象圖示"Map/Reduce Locations tag" -> 點選齒輪右邊的藍色大象圖示：
 [[Image(2-6.png)]]
 
-圖 2-6-1 進行eclipse 與 hadoop 間的設定(2)
+-------------
+2. 進行eclipse 與 hadoop 間的設定(2)
 [[Image(2-6-1.png)]]
 
@@ -258 +295 @@
 Finish
 }}}
-
-圖 2-6-2 設定完後，可以看到下方多了一隻藍色大象，左方展開資料夾也可以秀出在hdfs內的檔案結構
+----------------
+
+設定完後，可以看到下方多了一隻藍色大象，左方展開資料夾也可以秀出在hdfs內的檔案結構
 [[Image(2-6-2.png)]]
+-------------
 
  = 三、 撰寫範例程式 =
@@ -273 +312 @@
  == 3.1  我的第一隻程式 ==
  
- * File -> new -> mapper
+ === 3.1.1 mapper.java ===
+ 
+ 1. new
+ 
+ || File ->  || new ->  || mapper || 
 [[Image(file-new-mapper.png)]]
 
-圖 3-1 mapper.java
+-----------
+
+ 2. create
+ 
 [[Image(3-1.png)]]
 {{{
@@ -284 +330 @@
 Name -> : mapper
 }}}
-
- * mapper.java的程式碼：
+----------
+
+ 3. modify
+ 
 {{{
 #!java
@@ -313 +361 @@
 }}}
 
- * 圖 3-2 建立mapper.java後，貼入程式碼
+建立mapper.java後，貼入程式碼
 [[Image(3-2.png)]]
 
-建立reducer.java檔
+------------
+
+== 3.1.2 reducer.java ===
+
+1. new
 
  * File -> new -> reducer
 [[Image(file-new-reducer.png)]]
 
-圖 3-3 reducer.java
+-------
+2. create
 [[Image(3-3.png)]]
 
@@ -331 +384 @@
 }}}
 
- * reducer.java的程式碼
+-----------
+
+3. modify 
  
 {{{
@@ -360 +415 @@
  * File -> new -> Map/Reduce Driver
 [[Image(file-new-mr-driver.png)]]
-
-
-圖 3-4 建立WordCount.java，此檔用來驅動mapper 與 reducer，因此選擇 Map/Reduce Driver
+----------
+
+=== 3.1.3 WordCount.java (main function)===
+
+1. new
+
+建立WordCount.java，此檔用來驅動mapper 與 reducer，因此選擇 Map/Reduce Driver
 [[Image(3-4.png)]]
+------------
+
+2. create
 
 {{{
@@ -372 +434 @@
 }}}
 
- * 編輯 WordCount.java 檔
+-------
+3. modify
 
 {{{
@@ -412 +475 @@
 }}}
 
-
-
-圖3-5. 三個檔完成後並存檔後，整個程式建立完成
+三個檔完成後並存檔後，整個程式建立完成
 [[Image(3-5.png)]]
 
+-------
 
  * 三個檔都存檔後，可以看到icas專案下的src，bin都有檔案產生，我們用指令來check
@@ -429 +491 @@
 
  = 四、編譯 =
+ 
  * 由於hadoop 0.20 此版本的eclipse-plugin依舊不完整 ，如： 
    * 右鍵點選WordCount.java -> run as -> run on Hadoop ：沒有效果
@@ -480 +543 @@
 
 
+
  == 4.2. 執行 ==
+ 
  * 執行Makefile，可以到該目錄下，執行make [參數]，若不知道參數為何，可以打make 或 make help
+ * make 的用法說明
+
 {{{
 $ cd /home/waue/workspace/icas/
 $ make
+Usage:
+ make jar     - Build Jar File.
+ make clean   - Clean up Output directory on HDFS.
+ make run     - Run your MapReduce code on Hadoop.
+ make output  - Download and show output file
+ make help    - Show Makefile options.
+ 
+Example:
+ make jar; make run; make output; make clean
 }}}