{{{ #!html
Hadoop & Hbase教材
進階
}}} [[PageOutline]] = Hadoop 管理者課程 = http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100127 * hadoop 介紹、架構 * 應用範圍 * hdfs 概念 * hdfs 操作 * hdfs 參數進階設定 * namenode 錯誤復原 * 其他工具,如 drbl , ganglia || schedular || http://hadoop.apache.org/common/docs/r0.20.1/capacity_scheduler.html || 排程 || || service acl || http://hadoop.apache.org/common/docs/r0.20.1/service_level_auth.html#Access+Control+Lists || 權限控管 || || Vaidya || http://hadoop.apache.org/common/docs/r0.20.1/vaidya.html || performance diagnostic tool for map/reduce jobs || = Hadoop 開發者課程 = * map reduce 簡介 * map reduce 開發專案 * map reduce 概念、架構 * 開發、編譯、執行 mapreduce 程式 on console * 用 eclipse 輔助開發hadoop程式 * 對 hdfs 檔案的操作 * [wiki:waue/2010/0115-profile 雛型] * [wiki:waue/2010/0115-put 上傳] * [wiki:waue/2010/0115-get 下載] * [wiki:waue/2010/0115-del 刪除] * [wiki:waue/2010/0115-program-drive 程式介面] * [wiki:waue/2010/0115-continue-run 連續操作] * 綜合範例 * 其他專案,如: Hive、pig * 補充: hadoop eclipse 自行編譯 * 0.18 -> 0.20 轉變 = HBase = http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100204 == 1. 系統 == * 介紹、架構 * 基本操作 * 讀 * 寫 * 新增 * 移除 * 帳號配置 * 設定 == 2. 程式設計 == 基本 * 程式雛型 * 新增 * 刪除 * 讀取 範例: * 範例1: 將檔案的內容放到hbase內 * 範例2: 將檔案的內容 -> 經過hadoop運算 -> 再放到hbase內 * 範例3: 將 hbase的內容 ->經過hadoop運算 -> 再放到hbase內