Hadoop & Hbase教材

進階

Hadoop 管理者課程

http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100127

• hadoop 介紹、架構
• 應用範圍
• hdfs 概念
• hdfs 操作
• hdfs 參數進階設定
• namenode 錯誤復原
• 其他工具，如 drbl , ganglia

schedular	​http://hadoop.apache.org/common/docs/r0.20.1/capacity_scheduler.html	排程
service acl	​http://hadoop.apache.org/common/docs/r0.20.1/service_level_auth.html#Access+Control+Lists	權限控管
Vaidya	​http://hadoop.apache.org/common/docs/r0.20.1/vaidya.html	performance diagnostic tool for map/reduce jobs

Hadoop 開發者課程

時間	時數	課程內容	細部內容	補充
09:30~10:00	0.5	map reduce 簡介
10:00~11:00	1	map reduce 開發專案 與 原理說明
11:00~11:30	0.5	console端編譯與執行
11:30~12:00	0.5	透過 Eclipse 開發
13:30~14:00	0.5	MapReduce 程式解說
14:00~14:30	0.5	程式設計I- HDFS 操作	上傳 , 下載 , 刪除 , 更多..
14:00~15:00	2	程式設計II-範例程式	ex1, ex2, ex3, ex4 , ex5, ex6, ex7
16:00~17:00	1	實際案例分享與課程討論

• map reduce 簡介
• map reduce 開發專案
• map reduce 概念、架構

• 開發、編譯、執行 mapreduce 程式 on console
• 用 eclipse 輔助開發hadoop程式
• 對 hdfs 檔案的操作
  • 上傳
  • 下載
  • 刪除

• 搭配 hadoop 進行運算
  • 程式雛型
  • 練習一 HelloHadoopV1
  • 練習二 HelloHadoopV2
  • 練習三 HelloHadoopV3
  • 練習四 WordCountV1
  • 練習五 WordCountV2
  • 練習六 WordIndex
  • 練習七 TSM-Menu

• 專案分享
  • 前處裡
  • 運算
  • 二次運算
  • 後置動作

• 其他專案，如： Hive、pig

• 補充： hadoop eclipse 自行編譯
• 0.18 -> 0.20 轉變

• 需解決學員如何運算

HBase

http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100204

1. 系統

• 介紹、架構
• 基本操作
  • 讀
  • 寫
  • 新增
  • 移除
• 帳號配置
• 設定

2. 程式設計

基本

• 程式雛型
• 新增
• 刪除
• 讀取

範例：

• 範例1： 將檔案的內容放到hbase內
• 範例2： 將檔案的內容 -> 經過hadoop運算 -> 再放到hbase內
• 範例3： 將 hbase的內容 ->經過hadoop運算 -> 再放到hbase內