Version 25 (modified by waue, 15 years ago) (diff) |
---|
Hadoop & Hbase教材
進階
Hadoop 管理者課程
http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100127
- hadoop 介紹、架構
- 應用範圍
- hdfs 概念
- hdfs 操作
- hdfs 參數進階設定
- namenode 錯誤復原
- 其他工具,如 drbl , ganglia
schedular http://hadoop.apache.org/common/docs/r0.20.1/capacity_scheduler.html 排程 service acl http://hadoop.apache.org/common/docs/r0.20.1/service_level_auth.html#Access+Control+Lists 權限控管 Vaidya http://hadoop.apache.org/common/docs/r0.20.1/vaidya.html performance diagnostic tool for map/reduce jobs
Hadoop 開發者課程
- map reduce 簡介
- map reduce 開發專案
- map reduce 概念、架構
- 搭配 hadoop 進行運算
- 程式雛型
- 練習一 HelloHadoopV1
- 練習二 HelloHadoopV2
- 練習三 HelloHadoopV3
- 練習四 WordCountV1
- 練習五 WordCountV2
- 練習六 WordIndex
- [wiki/waue/2010/0115-program-drive 練習七 TSM-Menu ]
- 專案分享
- 前處裡
- 運算
- 二次運算
- 後置動作
- 其他專案,如: Hive、pig
- 補充: hadoop eclipse 自行編譯
- 0.18 -> 0.20 轉變
- 需解決學員如何運算
HBase
1. 系統
- 介紹、架構
- 基本操作
- 讀
- 寫
- 新增
- 移除
- 帳號配置
- 設定
2. 程式設計
基本
- 程式雛型
- 新增
- 刪除
- 讀取
範例:
- 範例1: 將檔案的內容放到hbase內
- 範例2: 將檔案的內容 -> 經過hadoop運算 -> 再放到hbase內
- 範例3: 將 hbase的內容 ->經過hadoop運算 -> 再放到hbase內