wiki:waue/2010/0111

Version 17 (modified by waue, 13 years ago) (diff)

--

Hadoop & Hbase教材
進階

Hadoop 管理者課程

http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100127

  • hadoop 介紹、架構
  • 應用範圍
  • hdfs 概念
  • hdfs 操作
  • hdfs 參數進階設定
  • namenode 錯誤復原
  • 其他工具,如 drbl , ganglia
schedular http://hadoop.apache.org/common/docs/r0.20.1/capacity_scheduler.html
權限控管 http://hadoop.apache.org/common/docs/r0.20.1/service_level_auth.html#Access+Control+Lists
Vaidya performance diagnostic tool for map/reduce jobs

Hadoop 開發者課程

  • map reduce 概念、架構
  • 開發專案
  • 開發、編譯、執行 mapreduce 程式
  • 用 eclipse 輔助開發hadoop程式
  • 對 hdfs 檔案的操作
    • 新增、刪除、修改?
  • 程式介面、連續運算、
  • 綜合範例
  • 其他專案,如: Hive、pig
  • 補充: hadoop eclipse 自行編譯

HBase

http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100204

1. 系統

  • 介紹、架構
  • 帳號配置
  • 設定

2. 程式設計

  • 新增 、刪除
  • (input) hbase -> (運算) mapred -> (output) hbase