wiki:NCHCCloudCourse110721

Version 14 (modified by waue, 13 years ago) (diff)

--

Hadoop 進階程式設計與 HBase 資料庫整合實作

課程資訊

課程大綱

第一天

時間 時數 課程內容 投影片
實作
補充
09:30~10:40 50m 介紹課程與 Hadoop 簡介 part-1 1. 補充一:Hadoop 單機安裝與設定
2. Ubuntu 10.04 安裝 JDK, Hadoop 0.20.2 的 Bash Script
10:53~11:30 40m Hadoop生態系簡介 part-2 1. <學習資源> Hadoop 目前三本書籍
2. Data-Intensive Text Processing with MapReduce (PDF),
Jimmy Lin, University of Maryland
11:30~12:00 0.5h 實作一:Hadoop Streaming 範例操作 Lab-1 1. 實作1.a:Hadoop Streaming 範例操作
13:00~13:30 0.5h MapReduce 與 HDFS 觀念介紹 part-3 1. 補充:不同語言的 MapReduce 實作實做1.b 安裝與設定參考
13:30~14:20 50m 開發輔助工具 Eclipse | Netbeans part-4
實做2.a
1. 實作2.b :編譯環境設定- 安裝 Eclipse 3.3.2 與 Hadoop 外掛程式
2. 補充2.c:安裝 Netbean 6.9.1 中文版與 KamaSphere Studio 外掛程式
14:30~15:00 30m Map Reduce 程式架構 part-5 1. 實作3 : HDFS IO Code
15:00~16:50 2h 超過 程式設計:範例程式解說與實作 part-5 1. 實作4 : MapReduce 範例程式

課程實做

  • 本實作基於 Ubuntu 8.04(含)以上版本,其中Ubuntu 10.04(含)以上安裝Java的方法有異動,請到該步驟時注意一下。
  • 本頁面的部分指令,是針對不熟悉 Linux 文字編輯器的使用者所設計的'懶人'設定法,您也可以使用習慣使用的文字編輯器(如:vi,nano,joe等)進行修改。
  • 黑底白字的部分為指令或console秀出的畫面,請自行剪貼提示符號 "$"(代表一般使用者) 或 "#"(代表最高權限 root 管理者) 之後的指令。如:
    /home/DIR$ Copy_Command From To ...
    
    則複製 Copy_Command From To ... 這個指令,貼到你的console來執行。(/home/DIR 代表目前所在的目錄路徑)
  • 白底黑字的部分為文件內的內容 ,如
    I am context.
    
    如果熟悉vi,nano,joe等編輯器可複製此區內容貼到文件內(雖然此頁面的指令都已經簡化過)
  • 登入資訊
使用者 hadoop
群組 hadoop
密碼
  • Hadoop 擁有sudoer 的權限
  1. Hadoop 基本操作
  1. 編譯環境設定
  1. 程式設計

第二天

時間 時數 課程內容 投影片/實作 補充
09:30~10:20 50m 開發環境確認
範例程式補完
Hadoop應用範例分享
part-5 1. 實作四:MapReduce 範例程式
10:30~11:30 60m HBase 簡介與架構 part-6 1. 實作5:安裝與設定參考
2. Jazz's NoSQL 筆記
3. 關於 Large Scale Website
4. 心得分享:NoSQL 必須視應用特性再決定是否採用
11:30~12:00 30m HBase 安裝操作說明 part-7 1. 實作6:HBase 使用方法
12:00~13:00 60m - 午餐
13:00~14:00 60m HBase 程式架構與範例 part-8 1. 實作7 :HBase程式設計
2. HBase 範例:台中餐城(TCRC)銷售金額統計
14:20~15:20 60m Hadoop + HBase + PHP 案例實務 part-8 1. 實作8 :Hbase + Thrift + PHP
15:20~15:40 20m Cassandra 1. Twitter 比較 HBase 與 Cassandra (原文|中文
2. cassandra 安裝使用簡介
15:40~16:00 20m 補充教材: hadoop + 關聯式資料庫 part-9 1. Hadoop 透過 JDBC 連結 MySQL 範例程式碼
2. JDBC Driver for MySQL (Connector/J)
3. 關於 DBInputFormat (from Cloudera) - slides
16:00~16:30 30m 應用案例分享 Crawlzilla簡報檔 1. Crawlzilla專案網址

課程實做

課後練習

公用環境 Public Cluster