wiki:Hinet130923

Version 11 (modified by jazz, 11 years ago) (diff)

--

雲端運算之大資料處理實務班

課程目標

  • 學習 Hadoop File System 之 API 實作
  • 學習 Hadoop MapReduce 開發輔助工具 Eclipse
  • 學習 MapReduce 之 API 實作

預備知識

  • 具 Linux 操作實務與 Java 程式語言基礎者尤佳。

課程日期

  • 102年7月23~24日 (週一/週二 白天9:10 ~16:20 ),共2天、計12小時 。

課程內容

2013-07-23(一)

時段 課程內容 實作 補充資料
09:10-10:00 Big Data 與 Hadoop 的關聯 * 重點一:減少資料搬運的頻寬成本跟時間成本
* 重點二:在地運算(Data Locality)
10:00-10:20 Hadoop 的三種模式與三種安裝方法 實作零 * http://www.cloudera.com - RPM/DEB 套件庫
* http://hortonworks.com - HDP for Windows
10:20-10:50 單機模式(Local Mode)操作觀察 實作一 * 阿帕契基金會官網單機安裝流程
10:50-11:00 中場休息
11:00-11:40 偽分散式模式(Pseudo-Distributed Mode)操作觀察 實作二
11:40-12:00 全分散式模式(Full Distributed Mode)操作觀察 實作三
12:00-13:00 午餐時間
13:00-14:00 Hadoop 簡介:四個背景程式的分工情形
HDFS 基本指令操作 實作四
基本除錯技能(一) Bash 除錯 實作五
基本除錯技能(二) Log4J 實作六
除錯與監控 jconsole 實作七
Eclipse 安裝 實作八
Hadoop FileSystem API 實作(一)
Local 檔案上傳到 HDFS
實作九
Hadoop FileSystem API 實作(二)
HDFS 下載檔案到 Local
實作十
Hadoop FileSystem API 實作(三)
判斷檔案是否存在、屬性為何
實作十一

2013-07-24(二)

時段 課程內容 實作 補充資料
MapReduce 基本指令操作 實作十二?

Attachments (1)