| 1 | [[PageOutline]] |
| 2 | |
| 3 | = '''使用Eclipse開發!MapReduce程式''' = |
| 4 | |
| 5 | || 作者 || 公司 || 日期 || |
| 6 | || 陳威宇 || 國家高速網路中心 || 2009/02/02 || |
| 7 | |
| 8 | * 更多 : http://trac.nchc.org.tw/cloud/ |
| 9 | |
| 10 | |
| 11 | = 一、準備 = |
| 12 | * 系統 : |
| 13 | * Ubuntu 8.10 |
| 14 | * Hadoop 0.18.3 |
| 15 | * 下載安裝方法於 2.2 說明 |
| 16 | |
| 17 | * 開發工具 : |
| 18 | * Eclipse 3.2.2 |
| 19 | |
| 20 | || || 指令 || 註解 || |
| 21 | || $ || apt-get install eclipse || 安裝eclipse || |
| 22 | |
| 23 | * java 6 |
| 24 | |
| 25 | || || 指令 || 註解 || |
| 26 | || $ || sudo apt-get purge java-gcj-compat || 由於版權關係,ubuntu預設安裝的gcj為java的模擬軟體,請移除 || |
| 27 | || $ || sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre sun-java6-plugin || 安裝 Sun版Java || |
| 28 | |
| 29 | * 設定環境變數 |
| 30 | * 開啟bash.bashrc 貼上環境變數設定(sudo gedit /etc/bash.bashrc),在最後一行貼入下面內容 |
| 31 | {{{ |
| 32 | export JAVA_HOME=/usr/lib/jvm/java-6-sun |
| 33 | export HADOOP_HOME=/opt/hadoop/ |
| 34 | export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar |
| 35 | }}} |
| 36 | * 由前面設定後,環境參數如下表 |
| 37 | |
| 38 | || Name || Path || |
| 39 | || Hadoop Home || /opt/hadoop/ || |
| 40 | || Java Home || /usr/lib/jvm/java-6-sun || |
| 41 | |
| 42 | = 二、安裝與設定 Hadoop = |
| 43 | Hadoop 是Apache所維護的自由軟體專案,而HDFS (Hadoop Distributed File System)是指Hadoop檔案系統,因此安裝的時候我們安裝配置了Hadoop專案,但操作時,尤其指Hadoop系統操作,我們會用HDFS來稱呼。因此,整個邏輯可以看成,我們在Linux系統內安裝配置了Hadoop,執行之後,它會產生一個新的分散式的磁碟系統,也就是HDFS,架構在Linux之內。由於是分散式系統,意味著他可以橫跨多台Linux所形成的叢集系統,並聯其磁碟空間。不過此篇的目的為撰寫MapReduce程式,所以在此示範的設定為HDFS運作於單一的本機系統內。 |
| 44 | |
| 45 | == 2.1 幫User產生ssh金鑰 == |
| 46 | |
| 47 | || || 指令 || 註解 || |
| 48 | ||$|| ssh-keygen -t rsa -P "" || 產生免密碼的ssh金鑰 || |
| 49 | ||$|| cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys || 匯入免檢查名單 || |
| 50 | ||$|| ssh localhost || 測試登入是否不用密碼 || |
| 51 | ||$|| exit || 完成離開 || |
| 52 | |
| 53 | == 2.2 安裝 Hadoop == |
| 54 | |
| 55 | || || 指令 || 註解 || |
| 56 | || $ || wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz || 下載原始碼 || |
| 57 | || $ || sudo tar -zxvf hadoop-0.18.3.tar.gz -C /opt/ || 解壓縮 || |
| 58 | || $ || sudo chown -R waue:waue /opt/hadoop-0.18.3 || 改權限 || |
| 59 | || $ || sudo ln -sf /opt/hadoop-0.18.3 /opt/hadoop || 建目錄連結 || |
| 60 | || $ || cd /opt/hadoop || || |
| 61 | |
| 62 | == 2.3 設定 == |
| 63 | * 修改 hadoop-env.sh 檔 ($ gedit /opt/hadoop/conf/hadoop-env.sh ) |
| 64 | * 修改內容: |
| 65 | {{{ |
| 66 | #!diff |
| 67 | --- /opt/hadoop/conf/hadoop-env.sh.bek |
| 68 | +++ /opt/hadoop/conf/hadoop-env.sh |
| 69 | @@ -8,9 +8,12 @@ |
| 70 | # The java implementation to use. Required. |
| 71 | -# export JAVA_HOME=/usr/lib/j2sdk1.5-sun |
| 72 | +export JAVA_HOME=/usr/lib/jvm/java-6-sun |
| 73 | +export HADOOP_HOME=/opt/hadoop |
| 74 | +export HADOOP_LOG_DIR=$HADOOP_HOME/logs |
| 75 | +export HADOOP_SLAVES=$HADOOP_HOME/conf/slaves |
| 76 | }}} |
| 77 | |
| 78 | |
| 79 | * 修改 hadoop-site.xml 檔($ gedit HADOOP_HOME/conf/hadoop-site.xml) |
| 80 | * 整段貼上: |
| 81 | {{{ |
| 82 | #!xml |
| 83 | <configuration> |
| 84 | <property> |
| 85 | <name>fs.default.name</name> |
| 86 | <value>hdfs://localhost:9000/</value> |
| 87 | <description> |
| 88 | </description> |
| 89 | </property> |
| 90 | <property> |
| 91 | <name>mapred.job.tracker</name> |
| 92 | <value>hdfs://localhost:9001/</value> |
| 93 | <description> |
| 94 | </description> |
| 95 | </property> |
| 96 | <property> |
| 97 | <name>mapred.map.tasks</name> |
| 98 | <value>1</value> |
| 99 | <description> |
| 100 | define mapred.map tasks to be number of slave hosts |
| 101 | </description> |
| 102 | </property> |
| 103 | <property> |
| 104 | <name>mapred.reduce.tasks</name> |
| 105 | <value>1</value> |
| 106 | <description> |
| 107 | define mapred.reduce tasks to be number of slave hosts |
| 108 | </description> |
| 109 | </property> |
| 110 | <property> |
| 111 | <name>dfs.replication</name> |
| 112 | <value>1</value> |
| 113 | </property> |
| 114 | </configuration> |
| 115 | }}} |
| 116 | |
| 117 | == 2.4 啟動 HDFS == |
| 118 | * 格式化HDFS (Hadoop Distributed File System) |
| 119 | |
| 120 | || || 指令 || |
| 121 | || $ || cd $HADOOP_HOME || |
| 122 | || $ || bin/hadoop namenode -format || |
| 123 | * 執行結果: |
| 124 | {{{ |
| 125 | 09/02/03 18:08:59 INFO dfs.NameNode: STARTUP_MSG: |
| 126 | |
| 127 | /************************************************************ |
| 128 | |
| 129 | STARTUP_MSG: Starting NameNode |
| 130 | |
| 131 | STARTUP_MSG: host = vPro/140.110.138.193 |
| 132 | |
| 133 | STARTUP_MSG: args = [-format] |
| 134 | |
| 135 | STARTUP_MSG: version = 0.18.3 |
| 136 | |
| 137 | STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009 |
| 138 | |
| 139 | ************************************************************/ |
| 140 | |
| 141 | 09/02/03 18:08:59 INFO fs.FSNamesystem: fsOwner=waue,waue,adm,dialout,cdrom,floppy,audio,dip,video,plugdev,fuse,lpadmin,admin,sambashare |
| 142 | |
| 143 | 09/02/03 18:08:59 INFO fs.FSNamesystem: supergroup=supergroup |
| 144 | |
| 145 | 09/02/03 18:08:59 INFO fs.FSNamesystem: isPermissionEnabled=true |
| 146 | |
| 147 | 09/02/03 18:08:59 INFO dfs.Storage: Image file of size 78 saved in 0 seconds. |
| 148 | |
| 149 | 09/02/03 18:08:59 INFO dfs.Storage: Storage directory /tmp/hadoop-waue/dfs/name has been successfully formatted. |
| 150 | |
| 151 | 09/02/03 18:08:59 INFO dfs.NameNode: SHUTDOWN_MSG: |
| 152 | |
| 153 | /************************************************************ |
| 154 | |
| 155 | SHUTDOWN_MSG: Shutting down NameNode at vPro/140.110.138.193 |
| 156 | |
| 157 | ************************************************************/ |
| 158 | |
| 159 | |
| 160 | }}} |
| 161 | * 啟動HDFS |
| 162 | |
| 163 | || || 指令 || |
| 164 | || $ || bin/start-all.sh || |
| 165 | * 執行結果: |
| 166 | {{{ |
| 167 | starting namenode, logging to /opt/hadoop/logs/hadoop-waue-namenode-vPro.out |
| 168 | |
| 169 | localhost: starting datanode, logging to /opt/hadoop/logs/hadoop-waue-datanode-vPro.out |
| 170 | |
| 171 | localhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-waue-secondarynamenode-vPro.out |
| 172 | |
| 173 | starting jobtracker, logging to /opt/hadoop/logs/hadoop-waue-jobtracker-vPro.out |
| 174 | |
| 175 | localhost: starting tasktracker, logging to /opt/hadoop/logs/hadoop-waue-tasktracker-vPro.out |
| 176 | |
| 177 | }}} |
| 178 | |
| 179 | * 在瀏覽器URL列輸入以下三個網址,若都有畫面則成功啟動 |
| 180 | |
| 181 | || 網址 || 說明 || |
| 182 | || http://localhost:50030 || Map/Reduce Administration || |
| 183 | || http://localhost:50060 || Task Tracker StatusTask Tracker Status || |
| 184 | || http://localhost:50070 || NameNode || |
| 185 | |
| 186 | == 2.5 除錯 == |
| 187 | * 如果你的系統在啟動的時候有錯誤發生,則請停止Hadoop並完全移除Hadoop產生的中間資料,再重新開始 |
| 188 | |
| 189 | || || 指令 || |
| 190 | || $ || cd $HADOOP_HOME || |
| 191 | || $ || bin/stop-all.sh || |
| 192 | || $ || rm -rf /tmp/* || |
| 193 | || || 檢查 2.3 內容,重新執行2.4內容 || |
| 194 | |
| 195 | |
| 196 | = 三、 Hadoop的Eclipse-Plugin安裝與操作 = |
| 197 | Elipse是Sun公司所開發,是個很知名的Java程式語言開發程式,雖然Hadoop也是用java所開發,但要讓eclipse認得Hadoop的API、編譯器、並執行程式,需要調校的地方很多,步驟也很繁瑣。IBM發佈了一個Eclipse插件-IBM MapReduce Tools for Eclipse,通過該插件,開發者可以在Eclipse上創建MapReduce應用程序。以下我們就來示範如何安裝這個Hadoop的eclipse-plugin。 |
| 198 | |
| 199 | == 3.1 eclipse 3.3 以上版本(有bug) == |
| 200 | * 安裝IBM !MapReduce tool |
| 201 | |
| 202 | || || 指令 || |
| 203 | || $ || sudo cp /opt/hadoop-0.18.3/contrib/eclipse-plugin/hadoop-0.18.3-eclipse-plugin.jar /usr/lib/eclipse/plugins/ || |
| 204 | |
| 205 | ps : 上述的方法需eclipse 3.3 以上 搭配 hadoop 0.17 以上版本。 |
| 206 | |
| 207 | * 在系統視窗中,右鍵點選eclipse圖示,在指令欄加入參數以增加穩定度 |
| 208 | {{{ |
| 209 | /usr/bin/eclipse -vmargs -Xmx512M |
| 210 | }}} |
| 211 | |
| 212 | * 啟動eclipse,從視窗介面操作: |
| 213 | |
| 214 | || 視窗操作 || 介面中設定 || 註解 || |
| 215 | || '''File''' > '''New > Project''' || 看到 '''!MapReduce category''' || 檢查是否安裝IBM !MapReduce tool成功 || |
| 216 | || '''Window''' > '''Preferences''' > '''java'''> '''compiler''' ||設定 '''compiler compliance level''' 為 1.6 || 更改java編譯器為1.6 以上,否則會出現一堆error|| |
| 217 | |
| 218 | * 開啟hadoop 專案 |
| 219 | |
| 220 | || 視窗操作 || 介面中設定 || 註解 || |
| 221 | || '''File''' > '''new''' > '''Map/Reduce Project'''>'''next''' || '''Project name''':''sample'' [[br]] '''Configure Hadoop install directory''' => /opt/hadoop || 設定專案名稱及hadoop的家目錄 || |
| 222 | * 完成後 Project Explorer可以看到 sample的專案列出 |
| 223 | |
| 224 | * 讓Eclipse連接到HDFS |
| 225 | |
| 226 | || 視窗操作 || 介面中設定 || 註解 || |
| 227 | || '''Window''' > '''Show View''' > '''Other...''' > '''!MapReduce Tools''' || '''!MapReduce locations''' || 開啟MapReduce編譯環境,完成後右下方視窗會多一個藍色的大象圖示 || |
| 228 | || 點選右下藍色大象圖示 || '''location name''' : ''test'' [[br]] '''Host''':''localhost'' [[br]] M/R Master: '''Port''':''9001'' [[br]] DFS Master: '''Use Use M/R Master host''':''V'' [[br]] '''Port''':''9000''|| 設定對應到 hadoop-site.xml檔 || |
| 229 | |
| 230 | * mapred.job.tracker 的設定若為 hdfs://ubuntu:9010/ ,則M/R Master的設定為 '''host:ubuntu''' , '''Port:9010''' ,DFS Master的設定則對應到 fs.default.name |
| 231 | * 注意 hdfs必須已經啟動,否則無法點選finish鍵 |
| 232 | * 完成後在Project Explorer可以看到'''DFS Locations'''出現 |
| 233 | |
| 234 | * 2009/2/5 測試到目前為止,用最新版的eclipse 3.4 搭配 0.18.3 或 0.19.0 版的 hadoop plugin,在"run as" => "run on hadoop" 都無法正常運作(應該要彈出選擇server location的視窗),此問題在2008/7/31就被發現並已被發佈於[http://webui.sourcelabs.com/hadoop/issues/3744 (HADOOP-3744) Eclipse Plugin does not work with Eclipse Ganymede (3.4)],目前尚待解決。 |
| 235 | |
| 236 | |
| 237 | |
| 238 | == 3.2 eclipse 3.2 以下版本 == |
| 239 | * 安裝IBM !MapReduce tool |
| 240 | |
| 241 | eclipse 3.2 以前的版本必須要去IBM官方網站下載mapReduce_tools.zip,解壓縮後將資料夾複製到$eclipse/plugins/才可以運作 |
| 242 | |
| 243 | * 在系統視窗中,右鍵點選eclipse圖示,在指令欄加入參數以增加穩定度 |
| 244 | {{{ |
| 245 | /usr/bin/eclipse -vmargs -Xmx512m |
| 246 | }}} |
| 247 | |
| 248 | * 啟動eclipse,從視窗介面操作: |
| 249 | |
| 250 | || 視窗操作 || 介面中設定 || 註解 || |
| 251 | || '''File''' > '''New > Project''' || 看到 '''!MapReduce category''' || 檢查是否安裝IBM !MapReduce tool成功 || |
| 252 | || '''Window''' > '''Preferences''' > '''java'''> '''compiler''' ||設定 '''compiler compliance level''' 為 5.0 || 更改java編譯器為5.0以上,否則會出現一堆error|| |
| 253 | |
| 254 | * 啟動eclipse,從視窗介面操作 |
| 255 | |
| 256 | || 視窗操作 || 介面中設定 || 註解 || |
| 257 | || '''File''' > '''new''' > '''project''' > '''map-reduce project''' > '''next''' > || '''project name''' : ''sample'' [[br]] '''use default location''' : V [[br]] '''use default Hadoop''' : V [[br]] > '''Finish''' [[br]] || 設定專案預設值 || |
| 258 | |
| 259 | * 讓Eclipse連接到HDFS |
| 260 | |
| 261 | || 視窗操作 || 介面中設定 || 註解 || |
| 262 | || '''Window''' > '''Show View''' > '''Other...''' > '''!MapReduce Tools''' > '''!MapReduce Servers''' || '''!MapReduce Servers''' || 開啟MapReduce編譯環境,完成後右下方視窗會多一個藍色的大象圖示 || |
| 263 | || 點選藍色大象圖示 || '''Server name''' : ''any_you_want'' [[br]] '''Hostname''' : ''localhost'' [[br]] '''Installation directory''': ''/opt/hadoop/'' [[br]] '''Username''' : ''waue'' [[br]] || 開啟Hadoop伺服器,若有任何的密碼提示對話框出現,請填入登入Linux的系統使用者之密碼 || |
| 264 | |
| 265 | |
| 266 | |
| 267 | |
| 268 | |
| 269 | = 四、用Eclipse編譯!MapReduce範例程式 = |
| 270 | 在這個範例中,我們先上傳一個純文字檔到HDFS內,這個檔案的副檔名為何不重要,只要內文為純文字檔即可,簡單的可以直接把Readme檔上傳上去,但為了突顯MapReduce的威力,當然是放越大的檔案上去給Hadoop操一下越好囉!接著示範如何用Eclipse來編寫!MapReduce的程式,並執行編譯的動作。 |
| 271 | |
| 272 | |
| 273 | '''1. 上傳字典檔,以供!WordCount程序作字數統計的來源檔''' |
| 274 | || || 指令 || |
| 275 | || $ || cd /opt/hadoop/ || |
| 276 | || $ || wget xxx/132.txt || |
| 277 | || $ || bin/hadoop dfs -mkdir input || |
| 278 | || $ || bin/hadoop dfs -put 132.txt input || |
| 279 | || $ || bin/hadoop dfs -ls || |
| 280 | {{{ |
| 281 | Found 1 items |
| 282 | /user/waue/input <dir> 2008-05-23 15:15 rwxr-xr-x waue supergroup |
| 283 | }}} |
| 284 | |
| 285 | |
| 286 | |
| 287 | '''2. 在eclipse中新增程式碼''' |
| 288 | 於Eclipse左邊的'''Project explorer'''內,我們可以看到剛剛設定的工作目錄'''sample'''。 我們新增一個範例程式: |
| 289 | |
| 290 | || 視窗操作 || 介面中設定 || 註解 || |
| 291 | || '''Project explorer'''內,右鍵點選 '''sample'''> '''new''' > '''file''' || '''file name''' : !WordCount.java || 新增一個!WordCount.java檔案 || |
| 292 | |
| 293 | '''3. 撰寫程式''' |
| 294 | 貼上 [http://trac.nchc.org.tw/cloud/attachment/wiki/hadoop-sample-code/WordCount.java?format=raw WordCount.java] 的內容。 |
| 295 | |
| 296 | '''4. 執行''' |
| 297 | |
| 298 | || 視窗操作 || 介面中設定 || 註解 || |
| 299 | || '''Project explorer'''內,右鍵點選 '''!WordCount.java''' > '''run as ...''' > '''choose an existing server from the list below''' || '''finish''' || 執行!MapReduce || |
| 300 | |
| 301 | '''5. 執行畫面會出現在右下方的視窗:console ''' |
| 302 | |
| 303 | '''6. Hadoop的運算結果置於HDFS內的檔案中,要觀看結果內容,有以下三種方法 ''' |
| 304 | * 用瀏覽器: 網址輸入 http://localhost:50070,點檔案目錄, |
| 305 | * 直接用HDFS的指令秀出結果內容 |
| 306 | |
| 307 | * 用指令將輸出結果從HDFS內複製到本機資料夾內再觀看 |
| 308 | |
| 309 | '''7. 執行期間或執行結束,都可以到以下網址來看執行過程及結果 ''' |
| 310 | || 網址 || 說明 || |
| 311 | || http://localhost:50030 || hadoop-master || |
| 312 | || http://localhost:50060 || hadoop-jobTracker || |
| 313 | || http://localhost:50070 || hadoop-fileSystem || |
| 314 | |
| 315 | |
| 316 | = 五、 參考 = |
| 317 | |
| 318 | * NCHC Cloud Technique Develop Group |
| 319 | * http://trac.nchc.org.tw/cloud/ |
| 320 | * IBM Map-Reduce |
| 321 | * http://www.alphaworks.ibm.com/tech/mapreducetools |
| 322 | * Cloud9 |
| 323 | * http://www.umiacs.umd.edu/~jimmylin/cloud9/umd-hadoop-dist/cloud9-docs/howto/start.html |
| 324 | * Runing Hadoop |
| 325 | * http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29 |