Hadoop與MapReduce 實作基礎課程

課程資訊

• 上課時間： 2011/12/20 10:00 ～ 12:00 ，共計 2 個小時
• 上課地點： 勤益科技大學

課程大綱

• 目標：

  Hadoop 是一個開源雲端運算平台，包含：HDFS分散式檔案系統、MapReduce 分散式平行運算框架。
  搭配 HBase 分散式資料庫，恰可以比擬谷歌(Google)的三項關鍵技術。 MapReduce 架構是一種
  特別適用於處理單一功能性的大量資料處理技術，它可以運行在數千部甚至上萬部伺服器上，同時共同來
  解決某一問題，因此 MapReduce 正好可拿來專門應用在雲端運算需要的大型分散資料處理工作。
  

• 對象

  程式開發人員(具Java程式設計能力)、系統管理人員（具備Linux管理經驗）
  

10:00~10:30 Hadoop 安裝、運作、操作

三種安裝方法

[ ] 方法一：安裝於 Linux 上

• ​官方單機安裝步驟
• 一步步教學

[＊] 方法二：安裝於 Windows 上

• 使用 hadoop4win

[ ] 方法三：安裝於 虛擬機器（VM） 中

• 使用​Cloudera 提供的 VMWare Image (CDH2, 0.20.x)
• 使用​Yahoo! Hadoop Tutorial 的 VMWare Image (0.20.S)

三種運作模式：

[ ] 單機模式（Local Mode　/　Standalone Mode）

• 無 HDFS 與 Namenode , Datanode, JobTracker, TaskTracker。程式交由 java 運算

[＊] 偽分散模式（Pseudo-Distributed Mode）

• 在一台電腦上，模擬出 Namenode , Datanode, JobTracker, TaskTracker 。程式交由 JobTracker 與TaskTracker 運算。

[ ] 完整分散模式（Fully-Distributed Mode）

• Namenode , Datanode, JobTracker, TaskTracker 散佈在不同節點上

HDFS 簡介與 操作練習

HDFS 簡介投影片

[＊] HDFS 基本操作 （by Hadoop4win）

[ ] HDFS 更多操作指令 (by Linux)

10:30~12:00 MapReduce 與 範例操作

MapReduce 投影片

[＊] Hadoop MapReduce code

[ ] more example code

[＊] HDFS I/O code

[ ] 使用eclipse 開發hadoop

補充

• 投影片參考檔
• ​認識 Hadoop 官方網站
  
• ​學習下載 Hadoop 壓縮檔
  
• ​有誰在用 Hadoop
• ​函數編程（Functional Programming）
• ​Google MapReduce 論文
• ​Google 校園教學
• ​Hadoop 0.20.2 API 線上文件