wiki:Hinet120412
雲端運算核心技術 Hadoop 與 MapReduce 概念班

課程資訊

  • 上課時間: 2012/04/12 (四) 09:30 ~ 16:30 1 天,共計 8 個小時
  • 上課地點: 板橋訓練所 板橋市民族路 168 號,或各營運處遠距教室 綜合大樓 G302

課程大綱

  • 目標
    • MapReduce 是一種軟體框架(software framework),這個軟體框架由 Google 實作出,並運行在眾多不可靠電腦組成的叢集(clusters)上,特色是能為大量資料做平行運算處理,此框架的功能概念主要是映射(Map)和化簡 (Reduce)兩種。 Hadoop 本來是 Apache.org 在 Lucene下的一個專案,由 Dong Cutting 所開發。是一個用來處理與保存大量資料的雲端運算平台。本課程目標在認識雲端運算核心技術 Hadoop 與 MapReduce 的基本概念。
  • 對象
    • 程式開發人員、對雲端運算技術有興趣者

2012-04-12 (四)

本日投影片合併版

上午時段 課程內容 投影片 實作 補充資料
08:10~09:00 課程導引
09:10~10:00 雲端運算簡介 Part-01
10:10~11:00 Hadoop簡介 Part-02-1
Part-02-2
1. 雲端資料庫應用 - HBase, NoSQL 運動,
Key-Value Database / Datastore
2. 如何實作 gmail 的架構,讓 webmail server 也可以有快速搜尋的功能??
- A: MarkLogic Server 有類似機制 - Demo
- [影片] Terapot: Email Archiving with Hadoop - 投影片
3. Hadoop 在 log 分析的應用實例: ICAS, NutchEz
4. 國網中心實驗叢集的參考架構是否有公開在網路上? 實驗平台照片
5. 關於 hadoop 在虛擬化機器上的效率
11:10~14:30 Hadoop Distributed File System 簡介 Part-04 申請帳號
操作練習
1. HDFS 可否掛載?!
14:50~16:20 MapReduce 介紹 Part-05 1. 不同語言的 MapReduce 實作

補充內容

Last modified 7 years ago Last modified on Apr 12, 2012, 12:05:16 PM

Attachments (1)