[[PageOutline]] = 七月份 工作計畫 = == 預定目標 == * [目標]map-reduce 程式設計 & 範例教學 & paper : IDS with Cloud Computing * [第三階段] 寫論文 * [第二階段] 規劃Hbase資料庫欄位 -> 運行程式 -> 比較 snort in mysql & snort in hbase 的效能 * [第一階段] '''了解apache log parser''' -> '''snort 安裝''' -> '''修改regular expression''' -> '''實做parser程式''' (進行中) == 工作日誌 == === 7/14-15 === [wiki:RegularExp 用正規表示法解析 snort 警訊] === 7/11 === [wiki:SnortMysqlUbuntu 安裝snort -> mysql in Ubuntu] === 7/10 === [wiki:Generic 泛型(generic)] === 7/9 === 讀書會報告 [http://trac.nchc.org.tw/grid/attachment/wiki/Reading/map_reduce.ppt 投影片] === 7/4~8 === * [wiki:LogParser] === 7/3 === * 用java 單獨跑 code ok,但用map-reduce方法跑會出錯: * 原因:hbase 1.x 沒有支援到 hadoop 0.17 >"< (但hadoop 0.17會是hbase 2.0的requirement) * 動機1:因為看到官方網頁API以版本0.17為首,google到的0.16 api連結失效(當時,現在是好的><),想說那就升級吧!反正式遲早的事 * 動機2:官網說0.17改進很多bug,並提高很多效能,(但API也改不少,讓我整個專案要處理100多個error及60 多個warning) * 努力改回 hadoop 0.16.4 + hbase 1.3 === 7/2 === * 完成改寫 hadoop 0.16.4 to 0.17.1 * 遇到 hbase 1.3 無法使用 之前設定檔 運作的問題 * 需要把hbase-site.xml 內的 {{{ hdfs://localhost:9000/hbase }}} 此行註解掉(感謝sunny) === 7/1 === [wiki:HBaseRecordPro 用map reduce 分析文件並存入HBase] * Upgrade map-reduce work platform from hadoop 0.16.4 to 0.17.1 * hadoop.site.xml * Eclipse -> include external jar * [http://www.google.com.tw/url?sa=t&ct=res&cd=1&url=http%3A%2F%2Fdownloads.sourceforge.net%2Fjunit%2Fjunit-4.4.jar%3Fmodtime%3D1184865382%26big_mirror%3D0&ei=BPlpSIXCKpKOsAOZzLiLCw&usg=AFQjCNH2KzOX6Xk9tHk8XsctEQxvhCMm-g&sig2=4wDLYDLs-xt5tKDPXv6H4A junit 4] * [https://sourceforge.net/project/showfiles.php?group_id=73840 jung2-alpha2] * 寫一個Convert.java 用來轉換在hadoop 0.17被淘汰掉的 0.16 function = 六月份 工作計畫 = == 預定目標 == * [Running][5/28] map-reduce 程式設計 && reading "Thinking In JAVA " * [Running][6/1] 找 map-reduce 相關應用範例 * [Running][6/10][wiki:MR_manual Map Reduce 開發文件] * [Planning] HBaseMyAdmin 開發 * [Planning][has not yet started] nutch 應用範例 -> 索引硬碟資料 * [Studing][6/1] paper : IDS in Grid OR Parallel * [wiki:waue_june 六月份工作日誌] = 五月份 工作計畫 = * [完成 5/04] 檢查cps是否有錯誤 * [完成 5/22] hadoop 範例教學 -> 字數統計 * [完成 5/24] Building Nutch/Hadoop project in eclipse * [完成 5/27] Programing map-reduce with eclipse 文件 * [new 5/28 ] map-reduce 程式設計 * [new ] nutch 應用範例 -> 索引硬碟資料 [[br]] * [wiki:waue_may 五月份工作日誌] = 一~四月工作日誌 = [http://trac.nchc.org.tw/gocca/wiki/waue 五月以前工作紀錄]