Hadoop與MapReduce實作基礎班

課程資訊

• 上課時間： 2011/03/03~04 09:10 ～ 17:20 2 天，共計 16 個小時
• 上課地點： 板橋訓練所 板橋市民族路 168 號，或各營運處遠距教室 綜合大樓 301 電腦教室

課程大綱

• 目標：

  Hadoop 是一個開源雲端運算平台，包含：HDFS分散式檔案系統、MapReduce 分散式平行運算框架。
  搭配 HBase 分散式資料庫，恰可以比擬谷歌(Google)的三項關鍵技術。 MapReduce 架構是一種
  特別適用於處理單一功能性的大量資料處理技術，它可以運行在數千部甚至上萬部伺服器上，同時共同來
  解決某一問題，因此 MapReduce 正好可拿來專門應用在雲端運算需要的大型分散資料處理工作。例如：
  網頁資料搜尋、廣告業務、惡頁網頁分析等。本課程將針對這三項主要技術的實作做介紹，透過講師帶領
  學員實際上機操作，熟悉Hadoop 的平台架設與 MapReduce 程式設計技巧。
  

• 對象

  程式開發人員(具Java程式設計能力)、系統管理人員（具備Linux管理經驗）
  

2011-03-03

上午時段	課程內容	投影片	實作步驟	錄影 / 補充資料
09:10~10:00	Hadoop 簡介：緣起與術語	Part-01		1. ​認識 Hadoop 官方網站 2. ​學習下載 Hadoop 壓縮檔 3. ​有誰在用 Hadoop
10:00~10:10	中場休息
10:10~10:30	Hadoop 單機安裝 (for Windows XP Users) 方法一：​官方單機安裝步驟 方法二：使用 hadoop4win 方法三：使用 虛擬機器（VM）	​文件一 文件二	實作一	<註> Hadoop 的三種模式： (1) 單機模式（Local Mode/Standalone? Mode） (2) 偽分散模式（Pseudo-Distributed Mode） (3) 完整分散模式（Fully-Distributed Mode）
10:30~11:20	HDFS 簡介	Part-02
11:20~12:00	HDFS 操作練習		牛刀小試 實作二
下午時段	課程內容	投影片	實作步驟	錄影 / 補充資料
13:30~14:00	HDFS 常見故障排解		實作三	1. 狀況一：名稱空間不一致 （namespaceId mismatch） 2. 狀況二：進入安全模式（safe mode） 3. 狀況三：區塊遺失（missing blocks）

虛擬機器

• 使用​Cloudera 提供的 VMWare Image (CDH2, 0.20.x)
• 使用​Yahoo! Hadoop Tutorial 的 VMWare Image (0.20.S)
• 使用​Google 提供的 Hadoop VMWare Image (0.13,很舊了)