wiki:waue/2010/0111

Version 22 (modified by waue, 14 years ago) (diff)

--

Hadoop & Hbase教材
進階

Hadoop 管理者課程

http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100127

  • hadoop 介紹、架構
  • 應用範圍
  • hdfs 概念
  • hdfs 操作
  • hdfs 參數進階設定
  • namenode 錯誤復原
  • 其他工具,如 drbl , ganglia
schedular http://hadoop.apache.org/common/docs/r0.20.1/capacity_scheduler.html 排程
service acl http://hadoop.apache.org/common/docs/r0.20.1/service_level_auth.html#Access+Control+Lists 權限控管
Vaidya http://hadoop.apache.org/common/docs/r0.20.1/vaidya.html performance diagnostic tool for map/reduce jobs

Hadoop 開發者課程

  • map reduce 簡介
  • map reduce 開發專案
  • map reduce 概念、架構
  • 綜合範例
  • 其他專案,如: Hive、pig
  • 補充: hadoop eclipse 自行編譯
  • 0.18 -> 0.20 轉變

HBase

http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100204

1. 系統

  • 介紹、架構
  • 基本操作
    • 新增
    • 移除
  • 帳號配置
  • 設定

2. 程式設計

基本

  • 程式雛型
  • 新增
  • 刪除
  • 讀取

範例:

  • 範例1: 將檔案的內容放到hbase內
  • 範例2: 將檔案的內容 -> 經過hadoop運算 -> 再放到hbase內
  • 範例3: 將 hbase的內容 ->經過hadoop運算 -> 再放到hbase內