雲端運算基礎課程 (Hadoop簡介、安裝與範例實作)

課程資訊

• 上課時間： 2009/11/24(二) ～ 2009/11/25(三) 09:30 ～ 16:30 2 天，共計 12 個小時
• 上課地點： 國家高速網路與計算中心 新竹事業群(300 新竹市科學工業園區研發六路七號) <​地圖> 電腦教室 B
• ​報名網頁課程資訊

課程大綱

2009-11-24 (二)

上午時段	課程內容	投影片	實作步驟	錄影 / 補充資料
09:30~11:10	介紹課程 與 雲端運算簡介	Part-00, Part-01		​課程介紹與雲端運算簡介 (101 min) 1. <不負責解析> 格網運算與雲端運算的差異 2. 影像處理參考：吳冠龍先生，台大資工系通訊與多媒體實驗室 Image Selection for Large-Scale Flickr Photos using Hadoop 3. ACM 論文:​Canonical image selection ...
11:10~11:20	休息
11:20~11:50	Hadoop簡介	Part-02		​Hadoop 簡介 (27 min)
11:50~12:00	實作A： Hadoop 單機安裝與基本操作		實作A
下午時段	課程內容	投影片	實作步驟	錄影 / 補充資料
13:00~13:40	Hadoop Overview	Part-03		​Hadoop 組成架構概論 與 ​Hadoop Distributed File System 簡介 (72 min)
13:40~14:00	Hadoop Distributed File System簡介	Part-04
15:00~15:10	實作B： HDFS 實用指令操作		實作B
15:10~15:20	休息
15:20~16:00	Map Reduce 介紹	Part-05		Map-Reduce 介紹 (0 min, 錄影失敗)
16:00~16:30	實作C： 執行 MapReduce 基本運算		實作C	1. ​Customizing Input File Formats for Image Processing in Hadoop, Jeff Conner, Arizona State University

2009-11-25 (三)

上午時段	課程內容	投影片	實作步驟	錄影 / 補充資料
09:30~10:00	重點複習	Part-5.5	重新建立新Hadoop
10:00~10:30	Map Reduce 程式設計	Part-06		​Map Reduce 程式設計 (53 min)
10:30~11:00	實作D： Hadoop 程式編譯與執行		實作D	1. Streaming 用法
11:00~11:10	休息
11:10~12:00	Hadoop 應用實例： 搜尋引擎 Nutch 簡介	Part-07	實作E	​搜尋引擎 Nutch 簡介 (29 min)
下午時段	課程內容	投影片	實作步驟
13:00~14:00	Hadoop 叢集安裝設定解析	Part-08		​Hadoop 叢集安裝設定解析 (128 min)
14:00~15:00	實作F： Hadoop 叢集安裝操作		實作F
15:00~15:30	實作G： Hadoop 叢集進階操作		實作G
15:30~15:40	休息
15:40~16:30	實作H：DRBL 快速佈屬 Hadoop	Part-09	實作H	​DRBL-Hadoop Live CD 展示 ( 6 min )
	課程小結	Part-10		1. ​不同語言的 MapReduce 實作

補充資料

課程錄影連結

1. ​Hadoop 簡介 (27 min) 2. ​Hadoop 架構與 HDFS 簡介 (72 min) 3. ​Map Reduce 程式設計 (53 min) 4. ​搜尋引擎 Nutch 簡介 (29 min) 5. ​Hadoop 叢集安裝設定解析 (128 min) 6. ​DRBL-Hadoop Live CD 展示 ( 6 min )

• 補充：用 Eclipse 開發 hadoop 程式