wiki:Hinet110303

Version 2 (modified by jazz, 13 years ago) (diff)

--

Hadoop與MapReduce實作基礎班

課程資訊

  • 上課時間: 2011/03/03~04 09:10 ~ 17:20 2 天,共計 16 個小時
  • 上課地點: 板橋訓練所 板橋市民族路 168 號,或各營運處遠距教室 綜合大樓 301 電腦教室

課程大綱

  • 目標:
    Hadoop 是一個開源雲端運算平台,包含:HDFS分散式檔案系統、MapReduce 分散式平行運算框架。
    搭配 HBase 分散式資料庫,恰可以比擬谷歌(Google)的三項關鍵技術。 MapReduce 架構是一種
    特別適用於處理單一功能性的大量資料處理技術,它可以運行在數千部甚至上萬部伺服器上,同時共同來
    解決某一問題,因此 MapReduce 正好可拿來專門應用在雲端運算需要的大型分散資料處理工作。例如:
    網頁資料搜尋、廣告業務、惡頁網頁分析等。本課程將針對這三項主要技術的實作做介紹,透過講師帶領
    學員實際上機操作,熟悉Hadoop 的平台架設與 MapReduce 程式設計技巧。
    
  • 對象
    程式開發人員(具Java程式設計能力)、系統管理人員(具備Linux管理經驗)
    

2011-03-03

上午時段 課程內容 投影片 實作步驟 錄影 / 補充資料
09:10~10:00 Hadoop 簡介:緣起與術語 Part-01 1. 認識 Hadoop 官方網站
2. 學習下載 Hadoop 壓縮檔
3. 有誰在用 Hadoop
10:00~10:10 中場休息
10:10~10:30 Hadoop 單機安裝
(for Windows XP Users)
方法一:官方單機安裝步驟
方法二:使用 hadoop4win
方法三:使用 虛擬機器(VM)
文件一
文件二
實作一 <註> Hadoop 的三種模式:
(1) 單機模式(Local Mode/Standalone? Mode)
(2) 偽分散模式(Pseudo-Distributed Mode)
(3) 完整分散模式(Fully-Distributed Mode)
10:30~11:20 HDFS 簡介 Part-02
11:20~12:00 HDFS 操作練習 牛刀小試
實作二
下午時段 課程內容 投影片 實作步驟 錄影 / 補充資料
13:30~14:00 HDFS 常見故障排解 實作三 1. 狀況一:名稱空間不一致
(namespaceId mismatch)
2. 狀況二:進入安全模式(safe mode)
3. 狀況三:區塊遺失(missing blocks)

虛擬機器

Attachments (12)