Changes between Version 44 and Version 45 of Hadoop4Win
- Timestamp:
- May 26, 2010, 10:06:11 PM (15 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
Hadoop4Win
v44 v45 66 66 * STEP 3 : 一開始會出現 Cygwin 的安裝畫面,按『下一步(N)』開始安裝。 67 67 * [[BR]][[Image(hadoop4win_03.jpg,width=600)]] 68 * 接著批次程式將會把 Hadoop 單機版所需之 Java 開發環境 (JDK 1.6.0 update 18) 與 Hadoop 0.20.1 壓縮檔拷貝至安裝目錄。若您下載的是網路安裝版本,會看到批次檔先從網路上下載兩個壓縮檔,才開始安裝。68 * 接著批次程式將會把 Hadoop 單機版所需之 Java 開發環境 (JDK 1.6.0 update 18)、 Hadoop 0.20.2 與 HBase 0.20.4 壓縮檔拷貝至安裝目錄。若您下載的是網路安裝版本,會看到批次檔先從網路上下載三個壓縮檔,才開始安裝。 69 69 * [[BR]][[Image(hadoop4win_04.jpg,width=600)]] 70 * STEP 4 : 當拷貝完成後會進入 Cygwin 視窗。此時,請輸入指令『__'''hadoop4win-init'''__』。70 * 程式會自動執行 '''hadoop4win-init''' 與 '''hbase-init''' 兩個指令,進行 Hadoop 與 HBase 的安裝。 71 71 {{{ 72 72 $ hadoop4win-init 73 73 }}} 74 74 * [[Image(hadoop4win_05.jpg,width=600)]] 75 * 此初始化指令將會進行 JDK 與 Hadoop解壓縮動作75 * 此初始化指令將會進行 JDK 、 Hadoop 與 HBase 解壓縮動作 76 76 * [[BR]][[Image(hadoop4win_06.jpg,width=600)]] 77 77 * [[BR]][[Image(hadoop4win_07.jpg,width=600)]] 78 * 最後將會執行 Hadoop Namenode 的格式化78 * 然後將會執行 Hadoop Namenode 的格式化 79 79 * [[BR]][[Image(hadoop4win_08.jpg,width=600)]] 80 * STEP 5 : 按下__'''任意鍵'''__會依序啟動 Hadoop Name Node, Data Node, Job Tracker, Task Tracker80 * 隨即依序啟動 Hadoop Name Node, Data Node, Job Tracker, Task Tracker 81 81 * [[BR]][[Image(hadoop4win_09.jpg,width=600)]] 82 * 並使用預設瀏覽器依序開啟 http://localhost:50030 與 http://localhost:50070 (若使用 IE 可能會只看到一個畫面 )82 * 並使用預設瀏覽器依序開啟 http://localhost:50030 與 http://localhost:50070 (若使用 IE 可能會只看到一個畫面,Firefox 則會看到兩個分頁) 83 83 * [[BR]][[Image(hadoop4win_10.jpg,width=600)]] 84 84 * [[BR]][[Image(hadoop4win_11.jpg,width=600)]] 85 * 最後會解壓縮 HBase,並進行單機版 HBase 的設定,當完成 HBase 安裝後,您會看到以下的畫面。 86 * [[BR]][[Image(hadoop4win_18.jpg,width=600)]] 85 87 86 88 == 測試方法 == 87 89 88 * STEP 6 : 此時系統已完成 Hadoop 0.20.1 的 tar ball 安裝,可以參考 [http://www.classcloud.org/media 國網中心雲端運算課程(一)] 之教學進行相關測試。目前將 Hadoop 0.20.1 安裝於 /opt/hadoop 路徑下,故使用者必須先切換至該目錄才能進行相關指令操作。 90 === 測試 Hadoop 的步驟 === 91 92 * STEP 4 : 此時系統已完成 Hadoop 0.20.2 的 tar ball 安裝,可以參考 [http://www.classcloud.org/media 國網中心雲端運算課程(一)] 之教學進行相關測試。目前將 Hadoop 0.20.2 安裝於 /opt/hadoop 路徑下,故使用者必須先切換至該目錄才能進行相關指令操作。 89 93 {{{ 90 94 $ cd /opt/hadoop 91 95 }}} 92 * STEP 7: 練習 HDFS 指令: 『__'''bin/hadoop fs -put <local file/dir> <HDFS file/dir>'''__』96 * STEP 5 : 練習 HDFS 指令: 『__'''bin/hadoop fs -put <local file/dir> <HDFS file/dir>'''__』 93 97 {{{ 94 98 $ bin/hadoop fs -put conf-org input 95 99 }}} 96 100 * [[Image(hadoop4win_12.jpg,width=600)]] 97 * STEP 8: 練習 HDFS 指令: 『__'''bin/hadoop fs -lsr <HDFS file/dir>'''__』101 * STEP 6 : 練習 HDFS 指令: 『__'''bin/hadoop fs -lsr <HDFS file/dir>'''__』 98 102 {{{ 99 103 $ bin/hadoop fs -lsr 100 104 }}} 101 105 * [[Image(hadoop4win_13.jpg,width=600)]] 102 * STEP 9: 練習 MapReduce 丟 Job 指令: 『__'''bin/hadoop jar <local jar file> <class name> <parameters>'''__』106 * STEP 7 : 練習 MapReduce 丟 Job 指令: 『__'''bin/hadoop jar <local jar file> <class name> <parameters>'''__』 103 107 {{{ 104 108 $ bin/hadoop jar hadoop-0.20.1-examples.jar wordcount input output 105 109 }}} 106 110 * [[Image(hadoop4win_14.jpg,width=600)]] 107 * STEP 10: 練習從 http://localhost:50030 查看目前 MapReduce Job 的運作情形111 * STEP 8 : 練習從 http://localhost:50030 查看目前 MapReduce Job 的運作情形 108 112 * [[BR]][[Image(hadoop4win_15.jpg,width=600)]] 109 * STEP 11: 欲離開 Cygwin 環境前或者要暫時關閉 Hadoop 系統時,請輸入指令『__'''stop-hadoop'''__』。113 * STEP 9 : 欲離開 Cygwin 環境前或者要暫時關閉 Hadoop 系統時,請輸入指令『__'''stop-hadoop'''__』。 110 114 {{{ 111 115 $ stop-hadoop 112 116 }}} 113 117 * [[Image(hadoop4win_16.jpg,width=600)]] 114 * STEP 1 2: 欲重新啟動 Hadoop 系統時,請輸入指令『__'''start-hadoop'''__』。118 * STEP 10 : 欲重新啟動 Hadoop 系統時,請輸入指令『__'''start-hadoop'''__』。 115 119 {{{ 116 120 $ start-hadoop 117 121 }}} 118 122 * [[Image(hadoop4win_17.jpg,width=600)]] 123 124 === 測試 HBase 的步驟 === 125 126 119 127 120 128 == 已知問題 == … … 123 131 * [[BR]][[Image(hadoop4win_18.jpg,width=600)]] 124 132 133 * 由於 Cygwin 的路徑並無法正常被 Hadoop 解析,亦即 Hadoop 經過 Windows OS 告知路徑為 C:\hadoop4win\opt\hadoop\ 但在 Cygwin 中卻為 \opt\hadoop。因此倘若您看到 Path not found 的問題,可用 cygpath 解決。例如: 134 125 135 * [備註] 若需要重新啟動 Cygwin 環境,請至 C:\hadoop4win 目錄執行 cygwin.bat 批次檔