| | 1 | {{{ |
| | 2 | #!html |
| | 3 | <div style="text-align: center;"><big |
| | 4 | style="font-weight: bold;"><big><big>雲端運算核心技術 Hadoop 與 MapReduce 概念班</big></big></big></div> |
| | 5 | }}} |
| | 6 | [[PageOutline]] |
| | 7 | |
| | 8 | |
| | 9 | = 課程資訊 = |
| | 10 | |
| | 11 | * 上課時間： 2012/04/12 (四) 09:30 ～ 16:30 1 天，共計 8 個小時 |
| | 12 | * 上課地點： 板橋訓練所 板橋市民族路 168 號，或各營運處遠距教室 綜合大樓 G302 |
| | 13 | |
| | 14 | = 課程大綱 = |
| | 15 | |
| | 16 | * 目標 |
| | 17 | * MapReduce 是一種軟體框架(software framework)，這個軟體框架由 Google 實作出，並運行在眾多不可靠電腦組成的叢集(clusters)上，特色是能為大量資料做平行運算處理，此框架的功能概念主要是映射(Map)和化簡 (Reduce)兩種。 Hadoop 本來是 Apache.org 在 Lucene下的一個專案，由 Dong Cutting 所開發。是一個用來處理與保存大量資料的雲端運算平台。本課程目標在認識雲端運算核心技術 Hadoop 與 MapReduce 的基本概念。 |
| | 18 | * 對象 |
| | 19 | * 程式開發人員、對雲端運算技術有興趣者 |
| | 20 | |
| | 21 | == '''2012-04-12 (四)''' == |
| | 22 | |
| | 23 | ''' [raw-attachment:wiki:Hinet120412:CHT_Hadoop_120412.pdf 本日投影片合併版]''' |
| | 24 | |
| | 25 | || 上午時段 || 課程內容 || 投影片 || 實作 || 補充資料 || |
| | 26 | || 08:10~09:00 || 課程導引 || || || || |
| | 27 | || 09:10~10:00 || [raw-attachment:wiki:Hinet100731:01.CloudIntro.pdf 雲端運算簡介] || || [raw-attachment:wiki:Hinet100731:01.CloudIntro.pdf Part-01] || || |
| | 28 | || 10:10~11:00 || [raw-attachment:wiki:Hinet100731:02.HadoopOverview.pdf Hadoop簡介] || [raw-attachment:wiki:Hinet100731:02.HadoopIntro.pdf Part-02-1][[BR]][raw-attachment:wiki:Hinet100731:02.HadoopOverview.pdf Part-02-2] || || 1. 雲端資料庫應用 - [http://hbase.apache.org HBase], [http://nosql-database.org/ NoSQL 運動],[[BR]] [http://www.metabrew.com/article/anti-rdbms-a-list-of-distributed-key-value-stores Key-Value Database / Datastore][[BR]] 2. 如何實作 gmail 的架構，讓 webmail server 也可以有快速搜尋的功能??[[BR]] - A: [http://developer.marklogic.com/products MarkLogic Server 有類似機制] - [http://markmail.org Demo][[BR]]- [影片] [http://vimeo.com/7600663 Terapot: Email Archiving with Hadoop] - [http://www.scribd.com/doc/20143526/Hadoop-Terapot-Massive-Email-Archiving-with-Hadoop 投影片] [[BR]] 3. Hadoop 在 log 分析的應用實例: [http://trac.nchc.org.tw/cloud/wiki/waue/2009/SEC_to_ICAS ICAS], NutchEz [[BR]] 4. 國網中心實驗叢集的參考架構是否有公開在網路上? [http://trac.nchc.org.tw/grid/raw-attachment/wiki/jazz/10-03-01/hadoop-testbed.jpg 實驗平台照片] [[BR]] 5. [http://forum.hadoop.tw/viewtopic.php?f=4&t=54&start=0&st=0&sk=t&sd=a 關於 hadoop 在虛擬化機器上的效率] || |
| | 29 | || 11:10~14:30 || [raw-attachment:wiki:Hinet100731:04.HDFS.pdf Hadoop Distributed File System 簡介] || [raw-attachment:wiki:Hinet100731:04.HDFS.pdf Part-04] || [wiki:III120211/Lab2 申請帳號][[BR]][wiki:III120211/Lab4 操作練習] || 1. [grid:wiki:jazz/09-07-30#Hadoop HDFS 可否掛載?!] || |
| | 30 | || 14:50~16:20 || [raw-attachment:wiki:Hinet100731:05.MapReduce.pdf MapReduce 介紹] || [raw-attachment:wiki:Hinet100731:05.MapReduce.pdf Part-05] || 1. [grid:wiki:jazz/09-04-14#MapReduce 不同語言的 MapReduce 實作] || |
| | 31 | |
| | 32 | = 補充內容 = |
| | 33 | |
| | 34 | * 補充：[wiki:Hadoop_Lab5 用 Eclipse 開發 hadoop 程式] |
| | 35 | * 基於 !NetBeans 的 MapReduce 開發環境 - [http://www.hadoopstudio.org/ Hadoop Studio] - Karmasphere Studio for Hadoop is a Sample screenshot MapReduce development environment (IDE) based on !NetBeans. ([cloud:wiki:NCHCCloudCourse100427#補充資料 2010-04-27]) |
| | 36 | |
| | 37 | * [http://dotnetmis91.blogspot.com/2010/04/vs-hadoop-mapreduce.html 上期參訓學員(.NET碎碎念)]在聽完課程之後所寫下的部落格文章：[[http://dotnetmis91.blogspot.com/2010/04/vs-hadoop-mapreduce.html 以運算就資料(在地運算) vs. 以資料就運算 (雲端運算核心技術 Hadoop & MapReduce 概念班上課心得)]、[http://dotnetmis91.blogspot.com/2010/04/hdfs-hadoop-mapreduce.html 何謂雲端運算 ＆ HDFS 補充 (雲端運算核心技術 Hadoop & MapReduce 概念班上課心得)]。 |
| | 38 | * [http://blog.roodo.com/rocksaying/archives/10348123.html 雲端運算survey項目 - 分散式文件系統] |
| | 39 | * [[Image(http://blog.roodo.com/rocksaying/ec1935cb.png,width=600)]] |
| | 40 | |
| | 41 | * Hadoop 族譜 - 各版本之間的演化過程：<參考> [http://drcos.boudnik.org/2012/01/what-you-wanted-to-know-about-hadoop.html What you wanted to know about Hadoop, but were too afraid to ask: genealogy of elephants] |
| | 42 | * [[Image(http://3.bp.blogspot.com/-CkSfJdQzP_8/TxSa8Z88HyI/AAAAAAAAABQ/teT9KbV0yWc/s1600/hadoop-vers.png)]] |
