wiki:NCHCCloudCourse110721

Version 14 (modified by waue, 13 years ago) (diff)

--

Hadoop 進階程式設計與 HBase 資料庫整合實作

  1. 課程資訊
  2. 課程大綱
    1. 第一天
    2. 課程實做
    3. 第二天
    4. 課程實做
  3. 課後練習
  4. 公用環境 Public Cluster

課程資訊

課程大綱

第一天

時間 時數 課程內容 投影片
實作 		補充
09:30~10:40 50m 介紹課程與 Hadoop 簡介 part-1 1. 補充一：Hadoop 單機安裝與設定
2. Ubuntu 10.04 安裝 JDK, Hadoop 0.20.2 的 Bash Script
10:53~11:30 40m Hadoop生態系簡介 part-2 1. ​<學習資源> Hadoop 目前三本書籍
2. ​Data-Intensive Text Processing with MapReduce (PDF),
​Jimmy Lin, University of Maryland
11:30~12:00 0.5h 實作一：Hadoop Streaming 範例操作 Lab-1 1. 實作1.a：Hadoop Streaming 範例操作
13:00~13:30 0.5h MapReduce 與 HDFS 觀念介紹 part-3 1. ​補充：不同語言的 MapReduce 實作 、 實做1.b 安裝與設定參考
13:30~14:20 50m 開發輔助工具 Eclipse | Netbeans part-4
實做2.a 		1. 實作2.b ：編譯環境設定- 安裝 Eclipse 3.3.2 與 Hadoop 外掛程式
2. 補充2.c：安裝 Netbean 6.9.1 中文版與 KamaSphere Studio 外掛程式
14:30~15:00 30m Map Reduce 程式架構 part-5 1. 實作3 ： HDFS IO Code
15:00~16:50 2h 超過 程式設計：範例程式解說與實作 part-5 1. 實作4 ： MapReduce 範例程式

課程實做

  • 本實作基於 Ubuntu 8.04（含）以上版本，其中Ubuntu 10.04（含）以上安裝Java的方法有異動，請到該步驟時注意一下。
  • 本頁面的部分指令，是針對不熟悉 Linux 文字編輯器的使用者所設計的'懶人'設定法，您也可以使用習慣使用的文字編輯器(如:vi,nano,joe等)進行修改。
  • 黑底白字的部分為指令或console秀出的畫面，請自行剪貼提示符號 "$"(代表一般使用者) 或 "#"(代表最高權限 root 管理者) 之後的指令。如： 
    /home/DIR$ Copy_Command From To ...
    則複製 Copy_Command From To ... 這個指令，貼到你的console來執行。（/home/DIR 代表目前所在的目錄路徑）
  • 白底黑字的部分為文件內的內容 ，如 
    I am context.
    如果熟悉vi,nano,joe等編輯器可複製此區內容貼到文件內（雖然此頁面的指令都已經簡化過）
  • 登入資訊
使用者 hadoop
群組 hadoop
密碼
  • Hadoop 擁有sudoer 的權限
  1. Hadoop 基本操作
  1. 編譯環境設定
  1. 程式設計

第二天

時間 時數 課程內容 投影片/實作 補充
09:30~10:20 50m 開發環境確認
範例程式補完
Hadoop應用範例分享 		part-5 1. 實作四：MapReduce 範例程式
10:30~11:30 60m HBase 簡介與架構 part-6 1. 實作5：安裝與設定參考
2. ​Jazz's NoSQL 筆記
3. 關於 Large Scale Website
4. 心得分享：NoSQL 必須視應用特性再決定是否採用
11:30~12:00 30m HBase 安裝操作說明 part-7 1. 實作6：HBase 使用方法
12:00~13:00 60m - 午餐
13:00~14:00 60m HBase 程式架構與範例 part-8 1. 實作7 ：HBase程式設計
2. HBase 範例：台中餐城(TCRC)銷售金額統計
14:20~15:20 60m Hadoop + HBase + PHP 案例實務 part-8 1. 實作8 ：Hbase + Thrift + PHP
15:20~15:40 20m Cassandra 1. Twitter 比較 HBase 與 Cassandra （​原文|​中文）
2. cassandra 安裝使用簡介
15:40~16:00 20m 補充教材: hadoop + 關聯式資料庫 part-9 1. Hadoop 透過 JDBC 連結 MySQL 範例程式碼
2. ​JDBC Driver for MySQL (Connector/J)
3. ​關於 DBInputFormat (from Cloudera) - ​slides
16:00~16:30 30m 應用案例分享 Crawlzilla簡報檔 1. ​Crawlzilla專案網址

課程實做

課後練習

公用環境 Public Cluster