wiki:TCCA140822

Version 1 (modified by jazz, 11 years ago) (diff)

--

雲端巨量資料分析與應用

  1. 預備知識
  2. 課程日期
  3. 上課地點
  4. 課程內容
    1. 2014-08-22（六）
    2. 2014-06-15（日）
  5. 參考書目
  6. 參考資料
  7. 課後練習
  8. 輔助工具

預備知識

  • 具 Linux 操作實務與 Java 程式語言基礎者尤佳。

課程日期

  • 103 年 08 月 23 ~ 24 日 (週六/週日 白天 9:30 ~ 16:30 )，共 2 天、計 12 小時 。

上課地點

  • 台中市北區三民路三段 91 號 ( 台中科大育成中心 2F，203 教室)

課程內容

2014-08-22（六）

上午時段 課程內容 投影片 實作 補充資料
09:00~11:05 淺談海量資料的趨勢、挑戰與因應對策 part-1 1.關於 NoSQL 的選擇依據 - YCSB
2. ​NoSQL 的種類
3. ​NoSQL vs NewSQL
4. ​Big Data 產業供應鏈與人才現況
5. ​Taiwan 學習統計/機器學習的社群
11:05~11:15 中場休息
11:15~12:00 處理海量資料的資訊架構與關鍵技術 part-2 1. ​Big Data : Past, Now and Future
12:00~13:00 午餐、午休
下午時段 課程內容 投影片 實作 補充資料
11:10~12:00 實作一：Hadoop 單機安裝 實作一
實作二 		1. ​Hadoop 單機安裝(Ubuntu Linux)
13:00~14:20 Hadoop 簡介：緣起與術語 part-3
14:20~15:30 HDFS 觀念與指令解說 part-4
15:30~15:40 中場休息
15:40~17:00 實作二：HDFS 操作實務 實作三
實作四

2014-06-15（日）

上午時段 課程內容 投影片 實作 補充資料
09:00~11:00 MapReduce 簡介 part-5 1. 三種 Big Data 應用特性 vs 三種技術
2. ​ChainMapper, ​ChainReducer
11:00~11:10 中場休息
11:10~12:10 實作三：MapReduce 範例操作 實作五
實作六 		1. 叢集安裝與MapReduce除錯
下午時段 課程內容 投影片 實作 補充資料
13:10~13:40 Hadoop 範例程式 WordCount 與觀念講解 ​程式碼
13:40~14:00 Hadoop 相關專案(1) Hadoop Streaming part-7
14:00~14:25 實作五：Hadoop Streaming 操作練習 實作九
實作十
14:25~14:35 中場休息
14:35~15:00 Hadoop 叢集安裝設定解說 part-6
15:00~15:30 Hadoop 相關專案(2) - Pig part-8 1.​將 Pig 運算結果透過 DBStorage 存到 MySQL 資料庫
2. ​將 Pig 運算結果透過 HBaseStorage 存到 HBase 資料庫
15:30~16:00 實作六：Pig Latin 操作練習 實作十一
16:00~16:10 中場休息
16:10~17:00 HBase 操作觀察 part-7 實作十二
實作四：Hadoop 程式編譯實務 實作七
實作八

參考書目

  1. ​<學習資源> Hadoop 目前三本書籍
  2. ​Data-Intensive Text Processing with MapReduce (PDF),​Jimmy Lin, University of Maryland

參考資料

課後練習

  • 使用​Hadoop4Win - 在 Windows 上安裝單機版 Hadoop 與 HBase 練習環境 (注意：僅供練習使用，請勿用於實際營運！）

輔助工具

Attachments (1)