雲端運算核心技術 Hadoop 與 MapReduce 概念班

課程資訊

• 上課時間： 2012/03/14 (三) 09:30 ～ 16:30 1 天，共計 8 個小時
• 上課地點： 板橋訓練所 板橋市民族路 168 號，或各營運處遠距教室 綜合大樓 G300

課程大綱

• 目標
  • MapReduce 是一種軟體框架(software framework)，這個軟體框架由 Google 實作出，並運行在眾多不可靠電腦組成的叢集(clusters)上，特色是能為大量資料做平行運算處理，此框架的功能概念主要是映射(Map)和化簡 (Reduce)兩種。 Hadoop 本來是 Apache.org 在 Lucene下的一個專案，由 Dong Cutting 所開發。是一個用來處理與保存大量資料的雲端運算平台。本課程目標在認識雲端運算核心技術 Hadoop 與 MapReduce 的基本概念。
• 對象
  • 程式開發人員、對雲端運算技術有興趣者

2012-03-14 (三)

本日投影片合併版

上午時段	課程內容	投影片	補充資料
08:10~09:00	課程導引
09:10~10:00	雲端運算簡介	Part-01
10:10~11:00	Hadoop簡介	Part-02-1 Part-02-2	1. 雲端資料庫應用 - ​HBase, ​NoSQL 運動, ​Key-Value Database / Datastore 2. 如何實作 gmail 的架構，讓 webmail server 也可以有快速搜尋的功能?? - A: ​MarkLogic Server 有類似機制 - ​Demo - [影片] ​Terapot: Email Archiving with Hadoop - ​投影片 3. Hadoop 在 log 分析的應用實例: ICAS, NutchEz 4. 國網中心實驗叢集的參考架構是否有公開在網路上? ​實驗平台照片 5. ​關於 hadoop 在虛擬化機器上的效率
11:10~12:00	Hadoop 安裝與設定解析	Part-03	1. 單機 Windows 嚐鮮實驗環境 - Hadoop4Win
11:10~12:00	Hadoop Distributed File System 簡介	Part-04	1. ​HDFS 可否掛載?!
13:30~14:20	MapReduce 介紹	Part-05	1. ​不同語言的 MapReduce 實作
14:30~15:20	Hadoop 相關計畫(生態系)
15:30~16:20	HDFS 操作與 MapReduce 範例程式展示		- 基於 hadoop4win (haduzilla, 黑肚龍)

補充內容

• 補充：用 Eclipse 開發 hadoop 程式
• 基於 NetBeans 的 MapReduce 開發環境 - ​Hadoop Studio - Karmasphere Studio for Hadoop is a Sample screenshot MapReduce development environment (IDE) based on NetBeans. (2010-04-27)

• ​上期參訓學員(.NET碎碎念)在聽完課程之後所寫下的部落格文章：[​以運算就資料(在地運算) vs. 以資料就運算 (雲端運算核心技術 Hadoop & MapReduce 概念班上課心得)、​何謂雲端運算 ＆ HDFS 補充 (雲端運算核心技術 Hadoop & MapReduce 概念班上課心得)。
• ​雲端運算survey項目 - 分散式文件系統
• 

• Hadoop 族譜 - 各版本之間的演化過程：<參考> ​What you wanted to know about Hadoop, but were too afraid to ask: genealogy of elephants
•