Version 6 (modified by jazz, 12 years ago) (diff) |
---|
雲端海量資料處理概論與 Hadoop 生態系簡介
課程日期
- 2012年11月17日(六) 09:40~17:00 ,共 1 天、計 6 小時 。
上課地點
- 崑山科技大學 教學研究大樓八樓 雲端中心 R0810
課程內容
2012-11-17(六)
時間 | 內容 | 投影片/實作 | 備註 |
09:00~09:50 | 處理海量資料的資訊架構與關鍵技術 | part-1 part-2 | |
09:50~10:00 | Break | ||
10:00~10:50 | Hadoop 簡介:緣起與術語 | part-3 | |
10:50~11:00 | Break | ||
11:00~11:20 | 實作一:Hadoop 單機安裝 | 實作一 實作二 實作三 | |
11:20~12:00 | HDFS 觀念與指令解說 | part-4 | |
12:00~13:30 | 午餐 | ||
13:30~13:50 | 實作二:HDFS 操作實務 | 實作四 實作五 | |
13:50~14:20 | MapReduce 簡介 | part-5 | |
14:20~14:30 | Break | ||
14:30~14:50 | 實作三:MapReduce 範例操作 | 實作六 實作七 | |
14:50~15:20 | Hadoop 相關專案簡介 | part-6 part-7 | |
15:20~15:30 | Break | ||
15:30~16:20 | 實作四:Hadoop Streaming 與 Pig 語言 | 實作八 實作九 | |
16:20~16:30 | 課程 Q&A |
參考書目
- <學習資源> Hadoop 目前三本書籍
- Data-Intensive Text Processing with MapReduce (PDF),Jimmy Lin, University of Maryland
參考資料
- Hadoop 常見應用領域:
- Data Intensive Analytics with Hadoop: A Look Inside
- 商業智慧
- http://www.pentaho.com/ - Pentaho 這間 BI 公司是 Hadoop 技術的長期支持者
- 金融業
- 2010-10-12 : VISA 採用 Hadoop 做風險評估 - HadoopWorld 2009 : Large Scale Transaction Analysis
- 中國信託
- 電信業
- 2011-06-12 : 中華電信用Hadoop技術分析通話明細
- 人力資源
- 行銷趨勢
- 科學教育
- 免費課程 - 把類似今天的課程再聽一次
- Hadoop 進階程式設計相關資訊
課後練習
- 使用Hadoop4Win - 在 Windows 上安裝單機版 Hadoop 與 HBase 練習環境 (注意:僅供練習使用,請勿用於實際營運!)
- 使用 HBase 0.90 改寫以上範例 code example
- DRBL-Hadoop Live CD (CDH2, 0.20.x) - 國網中心 hadoop.nchc.org.tw 的底層作法,使用方法仍在整理中~但已足夠作為練習 Hadoop 的執行環境
- 使用Cloudera 提供的 VMWare Image (CDH2, 0.20.x)
- 使用Yahoo! Hadoop Tutorial 的 VMWare Image (0.20.S)
- 使用Google 提供的 Hadoop VMWare Image (0.13,很舊了)
公用環境
- 課後問題討論,建議優先至台灣 Hadoop 使用者討論區 http://forum.hadoop.tw 進行討論。
- 需要 Hadoop 叢集環境,可至 http://hadoop.nchc.org.tw 申請帳號。
- 申請步驟,請參閱截圖說明
- 關於公用叢集的幾個重要入口:
- http://hadoop.nchc.org.tw - 實驗叢集入口網站
- http://hadoop.nchc.org.tw/ganglia - 實驗叢集負載狀態
- http://hadoop.nchc.org.tw:50030 - 實驗叢集正在執行與執行完畢的任務
- http://hadoop.nchc.org.tw:50070 - 實驗叢集的硬碟空間狀態
- http://hadoop.nchc.org.tw/hadoop-doc - Hadoop 相關說明文件
- http://hadoop.nchc.org.tw/hadoop-doc/api/index.html - Hadoop 0.20.2 javadoc 文件
輔助工具
Attachments (16)
- part-1.pdf (5.9 MB) - added by jazz 12 years ago.
- part-3.pdf (1.3 MB) - added by jazz 12 years ago.
- part-2.pdf (5.9 MB) - added by jazz 12 years ago.
- part-4.pdf (385.4 KB) - added by jazz 12 years ago.
- part-5.pdf (342.7 KB) - added by jazz 12 years ago.
- part-6.pdf (1.2 MB) - added by jazz 12 years ago.
- part-7.pdf (1.2 MB) - added by jazz 12 years ago.
- Fig_1.png (68.2 KB) - added by jazz 12 years ago.
- Fig_2.png (91.8 KB) - added by jazz 12 years ago.
- Fig_3.png (68.2 KB) - added by jazz 12 years ago.
- Fig_4.png (86.1 KB) - added by jazz 12 years ago.
- Fig_5.png (79.3 KB) - added by jazz 12 years ago.
- Fig_6.png (889.0 KB) - added by jazz 12 years ago.
- Fig_7.png (357.8 KB) - added by jazz 12 years ago.
- Fig_8.png (159.7 KB) - added by jazz 12 years ago.
- 12-11-17_Big_Data_and_Hadoop.pdf (16.3 MB) - added by jazz 12 years ago.