Version 3 (modified by jazz, 12 years ago) (diff) |
---|
實作七 Lab 7
在 Hadoop4Win 環境下編譯 MapReduce 程式
Compiling Hadoop MapReduce Java Program in Hadoop4Win
Compiling Hadoop MapReduce Java Program in Hadoop4Win
以下練習,請在本機的 Hadoop4Win 環境操作。
練習一 : 字數統計(基礎篇)
Practice 1 : Word Count (Basic)
- 首先請回到家目錄,建立一個程式專案的目錄,假設取名為 my-code
~$ cd ~$ mkdir my-code ~$ cd my-code
- 接著,建立一個目錄 src 用來存放 Java 原始碼。並且下載 build.xml 到 my-code 目錄中。
~/my-code$ mkdir -p src ~/my-code$ wget http://www.classcloud.org/hadoop4win/build.xml
- 然後將您要編譯的 Java 原始碼置於 src 目錄中(開啟檔案總管,存到 c:\hadoop4win\home\${user}\my-code\src)
- 這裡我們提供一個 WordCount.java 作為示範。
~/my-code$ wget http://www.classcloud.org/hadoop4win/WordCount.java -O src/WordCount.java
- 執行 ant 指令開始編譯,結果會出現在 output.jar ,並且會產生對應的 javadoc 文件在 doc 目錄中。
~/my-code$ ant
- 用 Hadoop 執行剛剛產生的 output.jar 當作 MapReduce Job。
- 註:output.jar 因為沒有設定 manifest 所以必須指定要跑的 Main Class 名稱
~/my-code$ /opt/hadoop/bin/hadoop jar output.jar WordCount input my-output