wiki:Hinet110303

Version 13 (modified by jazz, 13 years ago) (diff)

--

Hadoop與MapReduce實作基礎班

  1. 課程資訊
  2. 課程大綱
    1. 2011-03-03
    2. 2011-03-04
    3. 虛擬機器

課程資訊

  • 上課時間： 2011/03/03~04 09:10 ～ 17:20 2 天，共計 16 個小時
  • 上課地點： 板橋訓練所 板橋市民族路 168 號，或各營運處遠距教室 綜合大樓 301 電腦教室

課程大綱

  • 目標： 
    Hadoop 是一個開源雲端運算平台，包含：HDFS分散式檔案系統、MapReduce 分散式平行運算框架。
搭配 HBase 分散式資料庫，恰可以比擬谷歌(Google)的三項關鍵技術。 MapReduce 架構是一種
特別適用於處理單一功能性的大量資料處理技術，它可以運行在數千部甚至上萬部伺服器上，同時共同來
解決某一問題，因此 MapReduce 正好可拿來專門應用在雲端運算需要的大型分散資料處理工作。例如：
網頁資料搜尋、廣告業務、惡頁網頁分析等。本課程將針對這三項主要技術的實作做介紹，透過講師帶領
學員實際上機操作，熟悉Hadoop 的平台架設與 MapReduce 程式設計技巧。
  • 對象 
    程式開發人員(具Java程式設計能力)、系統管理人員（具備Linux管理經驗）

2011-03-03

上午時段 課程內容 投影片 實作步驟 錄影 / 補充資料
09:10~10:00 Hadoop 簡介：緣起與術語 Part-01 1. ​認識 Hadoop 官方網站
2. ​學習下載 Hadoop 壓縮檔
3. ​有誰在用 Hadoop
10:00~10:20 Hadoop 單機安裝
(for Windows XP Users)
方法一：​官方單機安裝步驟
方法二：使用 hadoop4win
方法三：使用 虛擬機器（VM） 		​文件一
文件二 		實作一 <註> Hadoop 的三種模式：
(1) 單機模式（Local Mode / Standalone Mode）
(2) 偽分散模式（Pseudo-Distributed Mode）
(3) 完整分散模式（Fully-Distributed Mode）
10:20~10:30 中場休息
10:30~11:20 HDFS 簡介 Part-02
11:20~11:50 HDFS 操作練習 牛刀小試
實作二
下午時段 課程內容 投影片 實作步驟 錄影 / 補充資料
13:30~14:20 HDFS 常見故障排解 示範展示 1. 狀況一：名稱空間不一致
（namespaceId mismatch）
2. 狀況二：進入安全模式（safe mode）
3. 狀況三：區塊遺失（missing blocks）
14:20~14:30 中場休息
14:30~15:00 MapReduce 簡介：基本概念 Part-03 1. ​函數編程（Functional Programming）
2. ​Google MapReduce 論文
3. ​Google 校園教學
15:00~15:20 MapReduce 範例操作 牛刀小試
實作三
15:20~15:30 中場休息
15:30~16:00 MapReduce 程式設計 101 Part-03 1. ​Hadoop 0.20.2 API 線上文件
16:00~17:00 從範例學 MapReduce 實作四 1. 閱讀 Hadoop 範例程式 WordCount

2011-03-04

上午時段 課程內容 投影片 實作步驟 錄影 / 補充資料
09:10~09:40 安裝 VirtualBox Part-04
09:40~10:20 Hadoop 叢集安裝
(for VirtualBox Single Node) 		Part-05 光碟使用 1. 使用 ​DRBL-hadoop Live CD
2. Linux 純手工打造參考步驟
3. 參考 ​Cloudera 套件 CDH2/CDH3
4. ​Debian/Ubuntu 安裝 CDH2 的 script
10:20~10:30 中場休息
10:30~11:20 Hadoop 相關專案(1)
- Hadoop Streaming 		Part-06 實作五 1. 用 PHP / Python 跑 Hadoop Streaming
11:20~12:00 Hadoop 相關專案(2)
- HBase 簡介 		Part-06 1. ​HBase 官方網站
下午時段 課程內容 投影片 實作步驟 錄影 / 補充資料
13:30~14:20 Hadoop 開發環境
Eclipse 與 Netbean Plugin 		實作六 1. ​KarmaSphere Hadoop Studio
2. Eclipse 3.3.2 與 Hadoop 外掛
14:20~14:30 中場休息
14:30~16:00 Hadoop 應用實例：
企業內網搜尋引擎 抓抓龍 		Part-07 1. 抓抓龍安裝步驟

虛擬機器

Attachments (12)