Hadoop 先修課程

• http://trac.nchc.org.tw/cloud/wiki/TREND120929

活動資訊

• 活動日期：2012年9月29日 (星期六)
• 活動時間：12:30-16:20 (12:30開始報到)
• 活動地點：趨勢科技台北辦公室9F會議室 (台北市大安區敦化南路二段198號)

交通方式

• 捷運：木柵線六張犁站 (往敦化南路方向步行，約10分鐘)
• 公車：坡心站 (3、15、18、36、72、211、275、284、285、294正、901、902、和平幹線、敦化幹線)

活動內容

時 間	議 題	投影片	實作	補充
12:30-13:00	來賓報到
13:00-14:00	Big Data 與 Hadoop 的關係： - 淺談海量資料的趨勢、挑戰與因應對策 - 處理海量資料的資訊架構與關鍵技術	part-1 part-2		1. ​The SMAQ stack for big data
14:00~14:30	Hadoop 單機安裝		實作一 實作二	1. ​Ubuntu 12.04 上官方 Hadoop 1.0.3 安裝腳本
14:30-14:50	Break
14:50-15:20	限定講授 Hadoop 基本背景： - Hadoop緣起與術語簡介	part-3		1. ​<學習資源> Hadoop 目前五本書籍
15:20-15:50	實作中學觀念: HDFS 操作展示	part-4	實作三 實作四
15:50-16:20	實作中學觀念: MapReduce 範例操作	part-5	實作五 實作六

參考書目

1. ​<學習資源> Hadoop 目前五本書籍
2. ​Data-Intensive Text Processing with MapReduce (PDF),​Jimmy Lin, University of Maryland

參考資料

• ​運用 hiCloud 搭建 Hadoop 叢集

• Hadoop 常見應用領域：
  • ​Data Intensive Analytics with Hadoop: A Look Inside
  • 商業智慧
    • ​http://www.pentaho.com/ - Pentaho 這間 BI 公司是 Hadoop 技術的長期支持者
  • 金融業
    • 2010-10-12 : VISA 採用 Hadoop 做風險評估 - ​HadoopWorld 2009 : Large Scale Transaction Analysis
    • 中國信託
  • 電信業
    • 2011-06-12 : ​中華電信用Hadoop技術分析通話明細
  • 人力資源
    • ​SimplyHired 就業技能調查排行榜
    • ​Indeed 就業技能調查排行榜
  • 行銷趨勢
    • ​意藍科技 雲端服務 OpView 品牌口碑雷達 - (​2010-05-06)
    • ​i-Buzz網路口碑研究中心
  • 科學教育
    • 生資
      • ​Hadoop for Bioinformatics
      • ​The Future of Hadoop in Bioinformatics
      • ​Mapreduce and Hadoop Algorithms in Bioinformatics Papers
    • 統計
      • ​Ricardo: Integrating R and Hadoop
      • ​RHIPE: R and Hadoop Integrated Programming Environment

• 免費課程 - 把類似今天的課程再聽一次
  • ​http://www.classcloud.org/media
• Hadoop 進階程式設計相關資訊
  • 雲端運算進階課程(一)@ 新竹 - Hadoop 進階程式設計與 HBase 資料庫整合實作
  • 編譯環境設定- 安裝 Eclipse 3.3.2 與 Hadoop 外掛程式
  • 安裝 Netbean 6.9.1 中文版與 KamaSphere Studio 外掛程式

課後練習

• 使用Hadoop4Win - 在 Windows 上安裝單機版 Hadoop 與 HBase 練習環境 (注意：僅供練習使用，請勿用於實際營運！）
• HBase 程式設計課程範例 code example
• ​DRBL-Hadoop Live CD (CDH2, 0.20.x) - 國網中心 hadoop.nchc.org.tw 的底層作法，使用方法仍在整理中～但已足夠作為練習 Hadoop 的執行環境
• 使用​Cloudera 提供的 VMWare Image (CDH2, 0.20.x)
• 使用​Yahoo! Hadoop Tutorial 的 VMWare Image (0.20.S)
• 使用​Google 提供的 Hadoop VMWare Image (0.13,很舊了)

公用環境

• 課後問題討論，建議優先至台灣 Hadoop 使用者討論區 ​http://forum.hadoop.tw 進行討論。
• 需要 Hadoop 叢集環境，可至 ​http://hadoop.nchc.org.tw 申請帳號。
  • 申請步驟，請參閱截圖說明
• 關於公用叢集的幾個重要入口：
• ​http://hadoop.nchc.org.tw - 實驗叢集入口網站
• ​http://hadoop.nchc.org.tw/ganglia - 實驗叢集負載狀態
• ​http://hadoop.nchc.org.tw:50030 - 實驗叢集正在執行與執行完畢的任務
• ​http://hadoop.nchc.org.tw:50070 - 實驗叢集的硬碟空間狀態
• ​http://hadoop.nchc.org.tw/hadoop-doc - Hadoop 相關說明文件
• ​http://hadoop.nchc.org.tw/hadoop-doc/api/index.html - Hadoop 0.20.2 javadoc 文件

活動紀錄