雲端海量資料處理概論與 Hadoop 生態系簡介

http://trac.nchc.org.tw/cloud/wiki/KSU121117

課程日期

• 2012年11月17日(六) 09:40~17:00 ，共 1 天、計 6 小時 。

上課地點

• 崑山科技大學 教學研究大樓八樓 雲端中心 R0810

課程內容

• 完整版投影片

2012-11-17（六）

時間	內容	投影片/實作	備註
09:00~09:50	處理海量資料的資訊架構與關鍵技術	part-1 part-2
09:50~10:00	Break
10:00~10:50	Hadoop 簡介：緣起與術語	part-3
10:50~11:00	Break
11:00~11:20	實作一：Hadoop 單機安裝	實作一 實作二 實作三
11:20~12:00	HDFS 觀念與指令解說	part-4
12:00~13:30	午餐
13:30~13:50	實作二：HDFS 操作實務	實作四 實作五
13:50~14:20	MapReduce 簡介	part-5
14:20~14:30	Break
14:30~14:50	實作三：MapReduce 範例操作	實作六 實作七
14:50~15:20	Hadoop 相關專案簡介	part-6 part-7
15:20~15:30	Break
15:30~16:20	實作四：Hadoop Streaming 與 Pig 語言	實作八 實作九
16:20~16:30	課程 Q&A

參考書目

1. ​<學習資源> Hadoop 目前三本書籍
2. ​Data-Intensive Text Processing with MapReduce (PDF),​Jimmy Lin, University of Maryland

參考資料

• 運用 hiCloud 搭建 Hadoop 叢集

• Hadoop 常見應用領域：
  • ​Data Intensive Analytics with Hadoop: A Look Inside
  • 商業智慧
    • ​http://www.pentaho.com/ - Pentaho 這間 BI 公司是 Hadoop 技術的長期支持者
  • 金融業
    • 2010-10-12 : VISA 採用 Hadoop 做風險評估 - ​HadoopWorld 2009 : Large Scale Transaction Analysis
    • 中國信託
  • 電信業
    • 2011-06-12 : ​中華電信用Hadoop技術分析通話明細
  • 人力資源
    • ​SimplyHired 就業技能調查排行榜
    • ​Indeed 就業技能調查排行榜
  • 行銷趨勢
    • ​意藍科技 雲端服務 OpView 品牌口碑雷達 - (​2010-05-06)
    • ​i-Buzz網路口碑研究中心
  • 科學教育
    • 生資
      • ​Hadoop for Bioinformatics
      • ​The Future of Hadoop in Bioinformatics
      • ​Mapreduce and Hadoop Algorithms in Bioinformatics Papers
    • 統計
      • ​Ricardo: Integrating R and Hadoop
      • ​RHIPE: R and Hadoop Integrated Programming Environment

• 免費課程 - 把類似今天的課程再聽一次
  • ​http://www.classcloud.org/media
• Hadoop 進階程式設計相關資訊
  • 雲端運算進階課程(一)@ 新竹 - Hadoop 進階程式設計與 HBase 資料庫整合實作
  • 編譯環境設定- 安裝 Eclipse 3.3.2 與 Hadoop 外掛程式
  • 安裝 Netbean 6.9.1 中文版與 KamaSphere Studio 外掛程式

課後練習

• 使用Hadoop4Win - 在 Windows 上安裝單機版 Hadoop 與 HBase 練習環境 (注意：僅供練習使用，請勿用於實際營運！）
• 使用 HBase 0.90 改寫以上範例 code example
• ​DRBL-Hadoop Live CD (CDH2, 0.20.x) - 國網中心 hadoop.nchc.org.tw 的底層作法，使用方法仍在整理中～但已足夠作為練習 Hadoop 的執行環境
• 使用​Cloudera 提供的 VMWare Image (CDH2, 0.20.x)
• 使用​Yahoo! Hadoop Tutorial 的 VMWare Image (0.20.S)
• 使用​Google 提供的 Hadoop VMWare Image (0.13,很舊了)

公用環境

• 課後問題討論，建議優先至台灣 Hadoop 使用者討論區 ​http://forum.hadoop.tw 進行討論。
• 需要 Hadoop 叢集環境，可至 ​http://hadoop.nchc.org.tw 申請帳號。
  • 申請步驟，請參閱截圖說明
• 關於公用叢集的幾個重要入口：
• ​http://hadoop.nchc.org.tw - 實驗叢集入口網站
• ​http://hadoop.nchc.org.tw/ganglia - 實驗叢集負載狀態
• ​http://hadoop.nchc.org.tw:50030 - 實驗叢集正在執行與執行完畢的任務
• ​http://hadoop.nchc.org.tw:50070 - 實驗叢集的硬碟空間狀態
• ​http://hadoop.nchc.org.tw/hadoop-doc - Hadoop 相關說明文件
• ​http://hadoop.nchc.org.tw/hadoop-doc/api/index.html - Hadoop 0.20.2 javadoc 文件

輔助工具

• ​Firefox Portable (繁體中文版)
• ​ZoomIt (簡報放大鏡)