| Version 10 (modified by waue, 13 years ago) (diff) |
|---|
Hadoop與MapReduce 實作基礎課程
課程資訊
- 上課時間： 2011/12/20 10:00 ～ 12:00 ，共計 2 個小時
- 上課地點： 勤益科技大學
課程大綱
- 目標：
Hadoop 是一個開源雲端運算平台，包含：HDFS分散式檔案系統、MapReduce 分散式平行運算框架。 搭配 HBase 分散式資料庫，恰可以比擬谷歌(Google)的三項關鍵技術。 MapReduce 架構是一種 特別適用於處理單一功能性的大量資料處理技術，它可以運行在數千部甚至上萬部伺服器上，同時共同來 解決某一問題，因此 MapReduce 正好可拿來專門應用在雲端運算需要的大型分散資料處理工作。
- 對象
程式開發人員(具Java程式設計能力)、系統管理人員（具備Linux管理經驗）
10:00~10:30 Hadoop 單機安裝
三種安裝方法
[ ] 方法一：安裝於 Linux 上
[＊] 方法二：安裝於 Windows 上
- 使用 hadoop4win
[ ] 方法三：安裝於 虛擬機器（VM） 中
- 使用Cloudera 提供的 VMWare Image (CDH2, 0.20.x)
- 使用Yahoo! Hadoop Tutorial 的 VMWare Image (0.20.S)
- 使用Google 提供的 Hadoop VMWare Image (0.13,很舊了)
三種運作模式：
[ ] 單機模式（Local Mode / Standalone Mode）
- 無 HDFS 與 Namenode , Datanode, JobTracker, TaskTracker。程式交由 java 運算
[＊] 偽分散模式（Pseudo-Distributed Mode）
- 在一台電腦上，模擬出 Namenode , Datanode, JobTracker, TaskTracker 。程式交由 JobTracker 與TaskTracker 運算。
[ ] 完整分散模式（Fully-Distributed Mode）
- Namenode , Datanode, JobTracker, TaskTracker 散佈在不同節點上
10:30~11:00 HDFS 簡介與 操作練習
11:00~12:00 MapReduce 與 範例操作
補充
Attachments (1)
- MR_Programing.pdf (296.7 KB) - added by waue 13 years ago.
Download all attachments as: .zip
