wiki:waue/2010/0111

Version 27 (modified by waue, 14 years ago) (diff)

--

Hadoop & Hbase教材
進階

Hadoop 管理者課程

http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100127

  • hadoop 介紹、架構
  • 應用範圍
  • hdfs 概念
  • hdfs 操作
  • hdfs 參數進階設定
  • namenode 錯誤復原
  • 其他工具,如 drbl , ganglia
schedular http://hadoop.apache.org/common/docs/r0.20.1/capacity_scheduler.html 排程
service acl http://hadoop.apache.org/common/docs/r0.20.1/service_level_auth.html#Access+Control+Lists 權限控管
Vaidya http://hadoop.apache.org/common/docs/r0.20.1/vaidya.html performance diagnostic tool for map/reduce jobs

Hadoop 開發者課程

時間 時數 課程內容 細部內容 補充
09:30~10:00 0.5 map reduce 簡介
10:00~11:00 1 map reduce 開發專案 與 原理說明
11:00~11:30 0.5 console端編譯與執行
11:30~12:00 0.5 透過 Eclipse 開發
13:30~14:00 0.5 MapReduce 程式解說
14:00~14:30 0.5 程式設計I- HDFS 操作 上傳
下載
刪除
更多操作
14:00~15:00 2 程式設計II-範例程式 ex1, ex2, ex3, ex4 , ex5, ex6, ex7
16:00~17:00 1 實際案例分享與課程討論
  • map reduce 簡介
  • map reduce 開發專案
  • map reduce 概念、架構
  • 開發、編譯、執行 mapreduce 程式 on console
  • 用 eclipse 輔助開發hadoop程式
  • 對 hdfs 檔案的操作
  • 專案分享
    • 前處裡
    • 運算
    • 二次運算
    • 後置動作
  • 其他專案,如: Hive、pig
  • 補充: hadoop eclipse 自行編譯
  • 0.18 -> 0.20 轉變
  • 需解決學員如何運算

HBase

http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100204

1. 系統

  • 介紹、架構
  • 基本操作
    • 新增
    • 移除
  • 帳號配置
  • 設定

2. 程式設計

基本

  • 程式雛型
  • 新增
  • 刪除
  • 讀取

範例:

  • 範例1: 將檔案的內容放到hbase內
  • 範例2: 將檔案的內容 -> 經過hadoop運算 -> 再放到hbase內
  • 範例3: 將 hbase的內容 ->經過hadoop運算 -> 再放到hbase內