Hadoop & Hbase教材

進階

待完成

• hadoop 專案分享投影片
• icas running

Hadoop 管理者課程

http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100127

• hadoop 介紹、架構
• 應用範圍
• hdfs 概念
• hdfs 操作
• hdfs 參數進階設定
• namenode 錯誤復原
• 其他工具，如 drbl , ganglia

schedular	​http://hadoop.apache.org/common/docs/r0.20.1/capacity_scheduler.html	排程
service acl	​http://hadoop.apache.org/common/docs/r0.20.1/service_level_auth.html#Access+Control+Lists	權限控管
Vaidya	​http://hadoop.apache.org/common/docs/r0.20.1/vaidya.html	performance diagnostic tool for map/reduce jobs

Hadoop 開發者課程

時間	時數	課程內容	細部內容	補充
09:30~10:00	0.5	Map Reduce 簡介	1.ppt
10:00~11:00	1	Map Reduce 開發專案 與 原理說明	2.ppt
11:00~11:30	0.5	console端編譯與執行	3.ppt
11:30~12:00	0.5	透過 Eclipse 開發	4.ppt
12:00~13:30	1.5	-	-	午餐
13:30~14:00	0.5	Map Reduce 程式架構	5.ppt
14:00~14:30	0.5	程式設計I- HDFS 操作	6.ppt	上傳 , 下載 , 刪除 , 更多..
14:30~16:00	1.5	程式設計II-範例程式	7.ppt	ex1, ex2, ex3, ex4 , ex5, ex6, ex7
16:00~17:00	1	實際案例分享與課程討論	8.ppt

• map reduce 簡介
• map reduce 開發專案
• map reduce 概念、架構

• 開發、編譯、執行 mapreduce 程式 on console
• 用 eclipse 輔助開發hadoop程式
• 對 hdfs 檔案的操作
  • 上傳
  • 下載
  • 刪除

• 搭配 hadoop 進行運算
  • 程式雛型
  • 練習一 HelloHadoopV1
  • 練習二 HelloHadoopV2
  • 練習三 HelloHadoopV3
  • 練習四 WordCountV1
  • 練習五 WordCountV2
  • 練習六 WordIndex
  • 練習七 TSM-Menu

• 其他專案，如： Hive、pig

• 補充： hadoop eclipse 自行編譯
• 0.18 -> 0.20 轉變
• rsync
• 需解決學員如何運算