[[PageOutline]] = 七月份 工作計畫 = == 預定目標 == * [Running]map-reduce 程式設計 & 範例教學 * [Running]paper : IDS with Cloud Computing * [planning] apache pig * [Suspending][wiki:MR_manual Map Reduce 開發文件] == 工作日誌 == === 7/14-15 === * 正規表示法 Rules: {{{ [] 來搜尋集合字元： 't[ae]st' 不想要 oo 前面有 g： '[^g]oo' oo 前面不想要有小寫字元： '[^a-z]oo' 取得有數字的那一行 ： '[0-9]' 只列出在行首的 the ： '^the' 不想要開頭是英文字母：'^[^a-zA-Z]' 行尾結束為小數點 (.) 的那一行 ： '\.$' ^ 符號，在 [] 內代表『反向選擇』，在 [] 之外則代表定位在行首的意義！ }}} * Develop Tool : [http://www.waterproof.fr/products/RegExpEditor/ Regular Expression Editor] * Snort Log 範例 ： > [**] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM [**] [[br]] > [Classification: Detection of a non-standard protocol or event] [Priority: 2] [[br]] > 07/08-14:58:56.295033 140.110.138.253 -> 224.0.0.13 [[br]] > PIM TTL:1 TOS:0xC0 ID:11423 IpLen:20 DgmLen:54 [[br]] > [Xref => http://cve.mitre.org/cgi-bin/cvename.cgi?name=2003-0567][Xref => http://www.securityfocus.com/bid/8211] [[br]] ----------- * [**] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM [**] 正規表示式： {{{ ^\[\**\] \[([1-9]*):([1-9]*):([1-9]*)\] ([^[]*) }}} 結果： || 1 || [**] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM || || 2 || 1 || || 3 || 2189 || || 4 || 3 || || 5 || BAD-TRAFFIC IP Proto 103 PIM || * [Classification: Detection of a non-standard protocol or event] [Priority: 2] 正規表示式： {{{ ^\[Classification: ([^]]*)\] \[Priority: ([1-9]*)\] }}} 結果： || 1 || [Classification: Detection of a non-standard protocol or event] [Priority: 2] || || 2 || Detection of a non-standard protocol or event || || 3 || 2 || * 07/08-14:58:56.295033 140.110.138.253 -> 224.0.0.13 * PIM TTL:1 TOS:0xC0 ID:11423 IpLen:20 DgmLen:54 * [Xref => http://cve.mitre.org/cgi-bin/cvename.cgi?name=2003-0567][Xref => http://www.securityfocus.com/bid/8211] === 7/11 === [wiki:SnortMysqlUbuntu] === 7/10 === [wiki:Generic 泛型（generic）] === 7/9 === 讀書會報告 [http://trac.nchc.org.tw/grid/attachment/wiki/Reading/map_reduce.ppt 投影片] === 7/4~8 === * [wiki:LogParser] === 7/3 === * 用java 單獨跑 code ok，但用map-reduce方法跑會出錯： * 原因：hbase 1.x 沒有支援到 hadoop 0.17 >"< （但hadoop 0.17會是hbase 2.0的requirement） * 動機1：因為看到官方網頁API以版本0.17為首，google到的0.16 api連結失效(當時，現在是好的><)，想說那就升級吧！反正式遲早的事 * 動機2：官網說0.17改進很多bug，並提高很多效能，（但API也改不少，讓我整個專案要處理100多個error及60 多個warning） * 努力改回 hadoop 0.16.4 + hbase 1.3 === 7/2 === * 完成改寫 hadoop 0.16.4 to 0.17.1 * 遇到 hbase 1.3 無法使用 之前設定檔 運作的問題 * 需要把hbase-site.xml 內的 {{{ hdfs://localhost:9000/hbase }}} 此行註解掉（感謝sunny） === 7/1 === [wiki:HBaseRecordPro 用map reduce 分析文件並存入HBase] * Upgrade map-reduce work platform from hadoop 0.16.4 to 0.17.1 * hadoop.site.xml * Eclipse -> include external jar * [http://www.google.com.tw/url?sa=t&ct=res&cd=1&url=http%3A%2F%2Fdownloads.sourceforge.net%2Fjunit%2Fjunit-4.4.jar%3Fmodtime%3D1184865382%26big_mirror%3D0&ei=BPlpSIXCKpKOsAOZzLiLCw&usg=AFQjCNH2KzOX6Xk9tHk8XsctEQxvhCMm-g&sig2=4wDLYDLs-xt5tKDPXv6H4A junit 4] * [https://sourceforge.net/project/showfiles.php?group_id=73840 jung2-alpha2] * 寫一個Convert.java 用來轉換在hadoop 0.17被淘汰掉的 0.16 function = 六月份 工作計畫 = == 預定目標 == * [Running][5/28] map-reduce 程式設計 && reading "Thinking In JAVA " * [Running][6/1] 找 map-reduce 相關應用範例 * [Running][6/10][wiki:MR_manual Map Reduce 開發文件] * [Planning] HBaseMyAdmin 開發 * [Planning][has not yet started] nutch 應用範例 -> 索引硬碟資料 * [Studing][6/1] paper : IDS in Grid OR Parallel * [wiki:waue_june 六月份工作日誌] = 五月份 工作計畫 = * [完成 5/04] 檢查cps是否有錯誤 * [完成 5/22] hadoop 範例教學 -> 字數統計 * [完成 5/24] Building Nutch/Hadoop project in eclipse * [完成 5/27] Programing map-reduce with eclipse 文件 * [new 5/28 ] map-reduce 程式設計 * [new ] nutch 應用範例 -> 索引硬碟資料 [[br]] * [wiki:waue_may 五月份工作日誌] = 一～四月工作日誌 = [http://trac.nchc.org.tw/gocca/wiki/waue 五月以前工作紀錄]