| Version 11 (modified by jazz, 11 years ago) (diff) |
|---|
雲端 Big Data 之處理、分析與應用(進階班)
報名資訊
課程源起
雲端運算掀起了新一代的資訊革命，也帶來了資訊爆炸式的成長，市調單位IDC的研究報告指出： 自2010年全球資料量已進入ZB(zettabytes，1 ZB 為1兆GB)時代，並且每年以60%的速度攀升， 這意味著每18個月全球的資料量將翻倍。面對不斷擴張的驚人資料量，大量資料 (Big Data) 的 儲存、管理、處理、搜尋、分析與智能應用等處理資料的能力也將面臨新的挑戰，而處理資料的技術 將迫切需要可動態與彈性等特點，以支援大量資料處理的計算模式。 工欲善其事，必先利其器，根據市場調查機構IDC的研究顯示，Hadoop 軟體市場的復合年增長率 超過了60%，並預測到了2016年，市場總值將由2011年的7700萬美元增長至8.128億美元，可見得 Hadoop火熱的程度。巨量資料寶庫蘊藏豐沛的珍寶，除了幾乎成為巨量資料代名詞的Hadoop外， 相同框架裡頭的 MapReduce、HDFS等技術，皆為意欲挖掘出這些寶藏之企業所需準備的工具，意欲 開啟巨量資料希望之門，幾乎可以肯定，絕對少不掉Hadoop這把鑰匙！ 為了解決巨量資料的問題，Hadoop 周遭已經發展出相當完整的生態系，其中有兩個最為核心的項目， 一是MapReduce這個執行分散式處理的程式模型，另一則是HDFS這個虛擬的分散式檔案系統，透過 專司運算、儲存的兩根大支柱，牢牢地撐起Hadoop架構。且基於map/reduce的演算，Hadoop可以 利用分散式節點的增加，來持續提供更多的計算能力，因此具備了很好的規模可擴充性。 為了滿足業界需求，資策會 特規劃「雲端Big Data之處理與分析進階班」課程，本課程學員將學習 到雲端運算之三大關鍵技術，利用Hadoop之分散式檔案系統(HDFS)與MapReduce，快速建構出雲端 運算的執行環境和服務，並以Hadoop FileSystem API 實作、MapReduce API 實作、 MapReduce 與資料庫結合與MapReduce 與 Hadoop 生態系整合等實作方式讓學員更加了解如何 透過Hadoop架構以進行雲端資料的大量資料處理、分析與應用。
課程目標
- 學習 Hadoop File System 之 API 實作
- 學習 Hadoop MapReduce 開發輔助工具 Eclipse 與 Netbeans
- 學習 MapReduce 之 API 實作
- 瞭解 MapReduce 與資料庫結合的方式
- 學習 MapReduce 與 Hadoop 生態系之整合方式
課程特色
本課課程重點在於透過採體驗式教學方式的實作，經由多樣性的實際指令操作進行整合實作， 讓參訓學員瞭解正確的觀念與方法，以體驗實際的操作方式驗證課程所學 ，期能讓學員學會 如何將 Hadoop 這項技術與現存資訊架構進行整合。
適合對象
- IT經理或系統網路部門主管
- 專案經理、系統架構師或系統網路管理人員
- 企業或技術決策人員
- 對於雲端運算之大量資料(Big Data)處理、分析、應用有興趣者
預備知識
- 具 Linux 操作實務與 Java 程式語言基礎者尤佳。
- 具雲端運算之大量資料處理、分析與應用實務之基礎課程知識者尤佳。
課程日期
- 102年6月29~30日 (週六/週日 白天9:00 ~17:00 )，共2天、計14小時 。
上課地點
- 資策會數位教育研究所，台北市信義路三段 153 號 10 樓 1001 教室。
- 位於捷運木柵線大安站斜對面(復興南路與信義路交叉口)，燦坤樓上。
- 上課地點與教室之確認，以上課通知函為主。
課程內容
2013-06-29（六）
時段 課程內容 實作 補充資料 Hadoop 的三種模式與三種安裝方法 實作零
實作一
實作二
實作三HDFS 指令操作回顧
MapReduce 指令操作回顧參考一
參考二基本除錯技能(一) Bash 除錯 實作四 基本除錯技能(二) Log4J 實作五? 除錯與監控 jconsole 實作六? Eclipse 安裝 實作七 Hadoop FileSystem? API 實作(一)
Local 檔案上傳到 HDFS實作八?
2013-06-29（六）
Hadoop FileSystem? API 實作(二)
HDFS 下載檔案到 Local實作九? Hadoop FileSystem? API 實作(三)
判斷檔案是否存在、屬性為何實作十?
Attachments (1)
- 13-06-29_Hadoop_Advanced.pdf (6.9 MB) - added by jazz 11 years ago.
