雲端運算之大資料處理實務班

課程目標

• 學習 Hadoop File System 之 API 實作
• 學習 Hadoop MapReduce 開發輔助工具 Eclipse
• 學習 MapReduce 之 API 實作

預備知識

• 具 Linux 操作實務與 Java 程式語言基礎者尤佳。

課程日期

• 102年7月23~24日 (週一/週二 白天9:10 ~16:20 )，共2天、計12小時 。

課程內容

• 完整版投影片

2013-07-23（一）

時段	課程內容	實作	補充資料
09:10-10:00	Big Data 與 Hadoop 的關聯		* 重點一:減少資料搬運的頻寬成本跟時間成本 * 重點二:在地運算(Data Locality)
10:00-10:20	Hadoop 的三種模式與三種安裝方法	實作零	* ​http://www.cloudera.com - RPM/DEB 套件庫 * ​http://hortonworks.com - HDP for Windows
10:20-10:50	單機模式（Local Mode）操作觀察	實作一	* ​阿帕契基金會官網單機安裝流程 * ​Ubuntu 安裝 Hadoop / HBase 單機安裝腳本
10:50-11:00	中場休息
11:00-11:40	偽分散式模式（Pseudo-Distributed Mode）操作觀察	實作二
11:40-12:00	全分散式模式（Full Distributed Mode）操作觀察	實作三
12:00-13:30	午餐時間
13:30-14:30	Hadoop 簡介:四個背景程式的分工情形	投影片	* ​高通量資料處理平台
14:30-14:50	HDFS 基本指令操作	實作四
14:50-15:00	中場休息
15:00-15:30	基本除錯技能(一) Bash 除錯	實作五
15:30-15:50	基本除錯技能(二) Log4J	實作六
15:50-16:20	基本除錯技能(三) 切換 Hadoop 設定檔	實作七
16:20-17:10	課後討論與填寫線上習題		* ​http://elearn.cht.com.tw

2013-07-24（二）

時段	課程內容	實作	補充資料
09:10-09:50	Windows 版 Hadoop 安裝	實作八
09:50-10:20	Hadoop 叢集設定	投影片
10:20-10:40	中場休息
10:40-11:00	實作練習:Hadoop 叢集設定	實作九
11:00-12:00	Eclipse 安裝	實作十	* 設定與操作 Eclipse Plugin 產生 Hadoop 專案的步驟
12:00-13:30	午餐時間
13:30-14:00	MapReduce 基本指令操作	實作十一
14:00-14:45	Hadoop FileSystem API 實作(一) Local 檔案上傳到 HDFS	實作十二
14:45-15:00	中場休息
15:00-15:15	Hadoop FileSystem API 實作(二) HDFS 下載檔案到 Local	實作十三
15:15-15:30	Hadoop FileSystem API 實作(三) 判斷檔案是否存在、屬性為何	實作十四
15:30-16:00	新版 Hadoop MapReduce 語法(0.19以後) 使用 WordCount 範例解說	實作十五
16:00-16:20	舊版 Hadoop MapReduce 語法(0.19以前) 使用 WordCount 範例解說	實作十六