| 1 | {{{ |
| 2 | #!html |
| 3 | <div style="text-align: center;"><big |
| 4 | style="font-weight: bold;"><big><big>Hadoop與MapReduce 實作基礎課程 </big></big></big></div> |
| 5 | }}} |
| 6 | [[PageOutline]] |
| 7 | |
| 8 | |
| 9 | = 課程資訊 = |
| 10 | |
| 11 | * 上課時間: 2011/12/20 10:00 ~ 12:00 ,共計 2 個小時 |
| 12 | * 上課地點: 勤益科技大學 |
| 13 | |
| 14 | = 課程大綱 = |
| 15 | |
| 16 | * 目標: |
| 17 | {{{ |
| 18 | #!text |
| 19 | Hadoop 是一個開源雲端運算平台,包含:HDFS分散式檔案系統、MapReduce 分散式平行運算框架。 |
| 20 | 搭配 HBase 分散式資料庫,恰可以比擬谷歌(Google)的三項關鍵技術。 MapReduce 架構是一種 |
| 21 | 特別適用於處理單一功能性的大量資料處理技術,它可以運行在數千部甚至上萬部伺服器上,同時共同來 |
| 22 | 解決某一問題,因此 MapReduce 正好可拿來專門應用在雲端運算需要的大型分散資料處理工作。 |
| 23 | }}} |
| 24 | |
| 25 | * 對象 |
| 26 | {{{ |
| 27 | #!text |
| 28 | 程式開發人員(具Java程式設計能力)、系統管理人員(具備Linux管理經驗) |
| 29 | }}} |
| 30 | |
| 31 | == 自習 == |
| 32 | [raw-attachment:wiki:Hinet110303:part-1.pdf Hadoop 簡介:緣起與術語][[BR]] |
| 33 | [http://hadoop.apache.org 認識 Hadoop 官方網站][[BR]] |
| 34 | [http://hadoop.apache.org/common/releases.html#Download 學習下載 Hadoop 壓縮檔][[BR]] |
| 35 | [http://wiki.apache.org/hadoop/PoweredBy 有誰在用 Hadoop] |
| 36 | == '''2011-12-20''' == |
| 37 | |
| 38 | * [raw-attachment:wiki:Hinet110303:11-03-03_Day_1.pdf 第一天投影片 PDF 檔] |
| 39 | |
| 40 | || 上午時段 || 課程內容 || 投影片 || 實作步驟 || 錄影 / 補充資料 || |
| 41 | || 10:00~10:30 || Hadoop 單機安裝[[BR]](for Windows XP Users) [[BR]] 方法一:[http://hadoop.apache.org/common/docs/current/single_node_setup.html 官方單機安裝步驟] [[BR]] 方法二:使用 [wiki:Hadoop4Win hadoop4win] [[BR]] 方法三:使用 [#虛擬機器 虛擬機器(VM)] || [http://hadoop.apache.org/common/docs/current/single_node_setup.html 文件一][[BR]][wiki:NCHCCloudCourse100802/Lab1 文件二] || [wiki:Hadoop4Win#安裝方法 實作一] || <註> Hadoop 的三種模式:[[BR]](1) 單機模式(Local Mode/Standalone Mode) [[BR]] (2) 偽分散模式(Pseudo-Distributed Mode) [[BR]] (3) 完整分散模式(Fully-Distributed Mode) || |
| 42 | || 10:30~11:00 || HDFS 簡介與 操作練習 || [raw-attachment:wiki:Hinet110303:part-2.pdf Part-02] [[BR]][wiki:Hadoop4Win#測試方法 牛刀小試][[BR]][wiki:NCHCCloudCourse100802/Lab2 實作二]|| || || |
| 43 | || 11:00~12:00 || MapReduce 與 範例操作 || || || || |
| 44 | |
| 45 | |
| 46 | [wiki:Hadoop4Win#測試方法 牛刀小試] |
| 47 | |
| 48 | [raw-attachment:wiki:Hinet110303:part-3.pdf Part-03] |
| 49 | |
| 50 | [wiki:NCHCCloudCourse100802/Lab4 實作四] |
| 51 | |
| 52 | [raw-attachment:wiki:Hinet110303:part-4.pdf Part-04] |
| 53 | |
| 54 | [wiki:NCHCCloudCourse100802/Lab3 實作三] |
| 55 | |
| 56 | [http://hadoop.apache.org/common/docs/r0.20.2/api/index.html?overview-summary.html Hadoop 0.20.2 API 線上文件] |
| 57 | |
| 58 | 1. [http://en.wikipedia.org/wiki/Functional_Programming 函數編程(Functional Programming)] [[BR]] |
| 59 | 2. [http://labs.google.com/papers/mapreduce.html Google MapReduce 論文] [[BR]] |
| 60 | 3. [http://code.google.com/intl/zh-TW/edu/parallel/mapreduce-tutorial.html Google 校園教學] |