{{{ #!html
Hadoop與MapReduce實作基礎班
}}} [[PageOutline]] = 課程資訊 = * 上課時間: 2011/03/03~04 09:10 ~ 17:20 2 天,共計 16 個小時 * 上課地點: 板橋訓練所 板橋市民族路 168 號,或各營運處遠距教室 綜合大樓 301 電腦教室 = 課程大綱 = * 目標: {{{ #!text Hadoop 是一個開源雲端運算平台,包含:HDFS分散式檔案系統、MapReduce 分散式平行運算框架。 搭配 HBase 分散式資料庫,恰可以比擬谷歌(Google)的三項關鍵技術。 MapReduce 架構是一種 特別適用於處理單一功能性的大量資料處理技術,它可以運行在數千部甚至上萬部伺服器上,同時共同來 解決某一問題,因此 MapReduce 正好可拿來專門應用在雲端運算需要的大型分散資料處理工作。例如: 網頁資料搜尋、廣告業務、惡頁網頁分析等。本課程將針對這三項主要技術的實作做介紹,透過講師帶領 學員實際上機操作,熟悉Hadoop 的平台架設與 MapReduce 程式設計技巧。 }}} * 對象 {{{ #!text 程式開發人員(具Java程式設計能力)、系統管理人員(具備Linux管理經驗) }}} == '''2011-03-03''' == || 上午時段 || 課程內容 || 投影片 || 實作步驟 || 錄影 / 補充資料 || || 09:10~10:00 || Hadoop 簡介:緣起與術語 || [raw-attachment:wiki:Hinet110303:part-1.pdf Part-01] || || 1. [http://hadoop.apache.org 認識 Hadoop 官方網站][[BR]]2. [http://hadoop.apache.org/common/releases.html#Download 學習下載 Hadoop 壓縮檔][[BR]]3. [http://wiki.apache.org/hadoop/PoweredBy 有誰在用 Hadoop] || || 10:00~10:10 || 中場休息 || || || || 10:10~10:30 || Hadoop 單機安裝[[BR]](for Windows XP Users) [[BR]] 方法一:[http://hadoop.apache.org/common/docs/current/single_node_setup.html 官方單機安裝步驟] [[BR]] 方法二:使用 [wiki:Hadoop4Win hadoop4win] [[BR]] 方法三:使用 [#虛擬機器 虛擬機器(VM)] || [http://hadoop.apache.org/common/docs/current/single_node_setup.html 文件一][[BR]][wiki:NCHCCloudCourse100802/Lab1 文件二] || [wiki:Hadoop4Win#安裝方法 實作一] || <註> Hadoop 的三種模式:[[BR]](1) 單機模式(Local Mode/Standalone Mode) [[BR]] (2) 偽分散模式(Pseudo-Distributed Mode) [[BR]] (3) 完整分散模式(Fully-Distributed Mode) || || 10:30~11:20 || HDFS 簡介 || [raw-attachment:wiki:Hinet110303:part-2.pdf Part-02] || || || || 11:20~12:00 || HDFS 操作練習 || || [wiki:Hadoop4Win#測試方法 牛刀小試][[BR]][wiki:NCHCCloudCourse100802/Lab2 實作二] || || || 下午時段 || 課程內容 || 投影片 || 實作步驟 || 錄影 / 補充資料 || || 13:30~14:00 || HDFS 常見故障排解 || || 實作三 || 1. 狀況一:名稱空間不一致[[BR]](namespaceId mismatch) [[BR]] 2. 狀況二:進入安全模式(safe mode) [[BR]] 3. 狀況三:區塊遺失(missing blocks) || == 虛擬機器 == * 使用[http://www.cloudera.com/downloads/ Cloudera 提供的 VMWare Image] (CDH2, 0.20.x) * 使用[http://developer.yahoo.com/hadoop/tutorial/module3.html#vm Yahoo! Hadoop Tutorial 的 VMWare Image] (0.20.S) * 使用[http://code.google.com/intl/zh-TW/edu/parallel/tools/hadoopvm/index.html Google 提供的 Hadoop VMWare Image] (0.13,很舊了)