雲端運算之大資料處理實務班

課程目標

• 學習 Hadoop File System 之 API 實作
• 學習 Hadoop MapReduce 開發輔助工具 Eclipse
• 學習 MapReduce 之 API 實作

預備知識

• 具 Linux 操作實務與 Java 程式語言基礎者尤佳。

課程日期

• 102年7月23~24日 (週一/週二 白天9:10 ~16:20 )，共2天、計12小時 。

課程內容

• 完整版投影片

2013-07-23（一）

時段	課程內容	實作	補充資料
09:10-10:00	Big Data 與 Hadoop 的關聯		* 重點一:減少資料搬運的頻寬成本跟時間成本 * 重點二:在地運算(Data Locality)
10:00-10:20	Hadoop 的三種模式與三種安裝方法	實作零	* ​http://www.cloudera.com - RPM/DEB 套件庫 * ​http://hortonworks.com - HDP for Windows
10:20-10:50	單機模式（Local Mode）操作觀察	實作一	* ​阿帕契基金會官網單機安裝流程 * ​Ubuntu 安裝 Hadoop / HBase 單機安裝腳本
10:50-11:00	中場休息
11:00-11:40	偽分散式模式（Pseudo-Distributed Mode）操作觀察	實作二
11:40-12:00	全分散式模式（Full Distributed Mode）操作觀察	實作三
12:00-13:30	午餐時間
13:30-14:30	Hadoop 簡介:四個背景程式的分工情形	簡報	* ​高通量資料處理平台
14:30-14:50	HDFS 基本指令操作	實作四
14:50-15:00	中場休息
15:00-15:30	基本除錯技能(一) Bash 除錯	實作五
15:30-15:50	基本除錯技能(二) Log4J	實作六
15:50-16:20	基本除錯技能(三) 切換 Hadoop 設定檔	實作七
16:20-17:10	課後討論與填寫線上習題		* ​http://elearn.cht.com

2013-07-24（二）

時段	課程內容	實作	補充資料
	Hadoop FileSystem API 實作(一) Local 檔案上傳到 HDFS	實作九
	Hadoop FileSystem API 實作(二) HDFS 下載檔案到 Local	實作十
	Hadoop FileSystem API 實作(三) 判斷檔案是否存在、屬性為何	實作十一
	Eclipse 安裝	實作八
	MapReduce 基本指令操作	實作十二?