雲端運算核心技術 Hadoop 與 MapReduce 上機練習

• 深入了解 Hadoop 的參考資料：​http://classcloud.org/media 歷史課程錄影(兩天)
• 作業討論區：​http://forum.hadoop.tw
• 申請 21 台 hadoop 實驗環境帳號：​http://hadoop.nchc.org.tw

2010-04-07 (三)

上午時段	課程內容	投影片	補充資料
13:30~14:00	Hadoop簡介	Part-01
14:10~14:30	Hadoop 安裝與設定解析	Part-02	- 單機 Windows 嚐鮮實驗環境 - Hadoop4Win - ​Cloudera Hadoop 虛擬機器
14:30~15:00	HDFS 操作與 MapReduce 範例程式展示

• 補充：用 Eclipse 開發 hadoop 程式
• 基於 NetBeans 的 MapReduce 開發環境 - ​Hadoop Studio - Karmasphere Studio for Hadoop is a Sample screenshot MapReduce development environment (IDE) based on NetBeans.

作業

• 題組一：
  • 使用 Cloudera Hadoop VM 練習完成 inverse index 題目撰寫。
  • 標準題：因為有多數同學不熟悉 Java 程式語言，因此第一次作業主要以環境安裝、實作練習為主，請各位同學繳交實驗報告一份。(80%)
  • 加分題：以 Cloudera Hadoop VM 那一份待運算的資料，比較 inverse index 在單機虛擬機器的執行時間與在 21 台實驗環境上的執行時間。(20%)
  • 參考報告格式：
    • 實驗步驟
    • 標準題結果：(1) shakespear 資料集跑 inverse index 執行結果前 20 筆；(2) 從 JobTracker 網頁（ ​http://localhost:50030 ）查詢執行時間。
    • 加分題結果：(1) shakespear 資料集跑 inverse index 執行結果前 20 筆；(2) 從 JobTracker 網頁（ ​http://hadoop.nchc.org.tw:50030 ）查詢執行時間。
  • 繳交時間：四月二十一日(三)
  • 繳交方式：以個人為單位，將報告 e-mail 至 jazz@…
• 題組二：
  • 已知 java 語法中，extends 代表繼承自父類別，implement 代表實作某介面(Interface,類似 C++ 多重繼承)，請根據 WordCount 範例程式(wordcount.java)，繪製 UML 類別圖（如下圖）。(20%)
    • 
  • 以 hadoop 0.20.2 預設的 conf 目錄為輸入，使用 hadoop fs -put conf input 上傳檔案至 HDFS，請嘗試在 wordcount 範例程式中加入 system.out.println，並回答 map() 函數輸入的 key 內容為何？(20%)
  • 乘上題，根據 wordcount 執行過程，當單機執行時，請問同時有幾個 mapper 被執行？並請參考以下圖形，繪製單機運作時 mapper 與 reducer 運作順序。(20%)
  • 將 wordcount 範例移植到國網中心 hadoop.nchc.org.tw 上運行，請問同時有幾個 mapper 被執行？並請參考以下圖形，繪製單機運作時 mapper 與 reducer 運作順序。(20%)
  • 試根據單機執行與叢集執行的 JobTracker 網頁（ ​http://localhost:50030 & ​http://hadoop.nchc.org.tw:50030 ）查詢總執行時間，並比較兩者之時間差異。(20%)