wiki:Hinet120702
雲端平台Hadoop與MapReduce實作基礎班

預備知識

  • 具 Linux 操作實務與 Java 程式語言基礎者尤佳。

課程日期

  • 101年07月02日~07月03日,共 2 天、計 12 小時 。

課程內容

2012-07-02(一)

上午時段 課程內容 投影片 實作 補充資料
09:10~10:00 淺談海量資料的趨勢、挑戰與因應對策 part-1
10:00~10:10 中場休息
10:10~11:00 處理海量資料的資訊架構與關鍵技術 part-2
11:00~11:10 中場休息
11:10~12:00 實作一:Hadoop 單機安裝 實作一
實作二
12:00~13:30 午餐、午休
下午時段 課程內容 投影片 實作 補充資料
13:30~14:20 Hadoop 簡介:緣起與術語 part-3
14:20~14:30 中場休息
14:30~15:20 HDFS 觀念與指令解說 part-4
15:20~15:30 中場休息
15:30~16:20 實作二:HDFS 操作實務 實作三
實作四

2012-07-03(二)

上午時段 課程內容 投影片 實作 補充資料
09:10~10:00 MapReduce 簡介 part-5
10:00~10:10 中場休息
10:10~11:00 實作三:MapReduce 範例操作 實作五
實作六
11:00~11:10 中場休息
11:10~11:30 Hadoop 叢集安裝設定解說 part-6
11:30~12:00 實作四:Hadoop 程式編譯實務 實作七
實作八
下午時段 課程內容 投影片 實作 補充資料
13:30~14:00 Hadoop 相關專案(1) Hadoop Streaming part-7
14:00~14:20 實作五:Hadoop Streaming 操作練習 實作九
實作十
14:20~14:30 中場休息
14:30~15:00 Hadoop 相關專案(2) - Pig part-8
15:00~15:20 實作六:Pig Latin 操作練習 實作十一
15:20~15:30 中場休息
15:30~16:00 HBase 操作觀察 實作十二
16:00~16:20 Hadoop 示範應用 - 抓抓龍(Crawlzilla) part-9
補充 實作七:抓抓龍安裝操作(示範) 實作十三
補充 Hadoop 示範應用 - 雲端入侵日誌分析系統(ICAS) part-10

參考資料

問答集錦

  1. 需求: 用 HBase 做日誌分析, 根據相同 Event 去計數某一時間區段的連線次數(或網路攻擊次數)
  2. 運用 Hadoop 提供 PaaS 服務:

課後練習

公用環境

輔助工具

  • 中華電信 hicloud 帳務 - 02-23445568
Last modified 12 years ago Last modified on Jul 3, 2012, 1:34:21 PM

Attachments (11)