[[PageOutline]]
 = 七月份 工作計畫 = 
 == 預定目標 == 
 * [Running]map-reduce 程式設計 & 範例教學
 * [Running]paper : IDS with Cloud Computing
 * [planning] apache pig  
 * [Suspending][wiki:MR_manual Map Reduce 開發文件]
 == 工作日誌 == 

 === 7/14-15 === 

 * 正規表示法 Rules: 

規則：

 || [^w] || 不要有w的字串 || 
 || ^word || 待搜尋的字串(word)在行首 || 
 || word$ || 待搜尋的字串(word)在行尾 || 
 || . || 代表『任意一個』字符，一定是一個任意字符 || 
 || \ || 跳脫字符，將特殊符號的特殊意義去除 || 
 || * || 重複零個或多個的前一個 RE 字符 || 
 || {n,m} || 連續 n 到 m 個的『前一個 RE 字符』|| 
 || [] || 字元集合的 RE 特殊字符的符號 || 
 || + || 重複『一個或一個以上』的前一個 RE 字符 || 
 || ? ||『零個或一個』的前一個 RE 字符 || 
 || | || 用或( or )的方式找出數個字串 || 
 || ( ) || 找出『群組』字串 || 

範例：

{{{
找tast 或 test： t[ae]st
不想要 oo 前面有 g： [^g]oo
oo 前面不想要有小寫字元： [^a-z]oo
取得有數字的那一行 ： [0-9]
只列出在行首的 the ：  ^the
不想要開頭是英文字母：^[^a-zA-Z]
行尾結束為小數點 (.) 的那一行 ： \.$
該行並沒有輸入任何資料：^$
任意一個字元 .，如找good,gxxd,... ：g..d
重複字元 * ，如找o,oo,oo...o：oo*
找出 g 開頭與 g 結尾的字串：g.*g
找出 g 後面接 2 到 5 個 o ，然後再接一個 g 的字串：go{2,5}g
}}}

---------

 * Snort Log 範例 ： 
{{{
[**] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM [**] [[br]]
[Classification: Detection of a non-standard protocol or event] [Priority: 2]  [[br]]
07/08-14:58:56.295033 140.110.138.253 -> 224.0.0.13 [[br]]
PIM TTL:1 TOS:0xC0 ID:11423 IpLen:20 DgmLen:54 [[br]]
[Xref => http://cve.mitre.org/cgi-bin/cvename.cgi?name=2003-0567][Xref => http://www.securityfocus.com/bid/8211] [[br]]
}}}
 * 開發工具 : [http://www.waterproof.fr/products/RegExpEditor/ Regular Expression Editor]
-----------

 * [**] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM [**] 

正規表示式：

{{{
^\[\**\] \[([1-9]*):([1-9]*):([1-9]*)\] ([^[]*)
}}}

結果：

 || 1 || [**] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM || 
 || 2 || 1 || 
 || 3 || 2189 || 
 || 4 || 3 || 
 || 5 || BAD-TRAFFIC IP Proto 103 PIM || 

 * [Classification: Detection of a non-standard protocol or event] [Priority: 2] 

正規表示式：

{{{
^\[Classification: ([^]]*)\] \[Priority: ([1-9]*)\]
}}}

結果：

 || 1 || [Classification: Detection of a non-standard protocol or event] [Priority: 2] || 
 || 2 || Detection of a non-standard protocol or event || 
 || 3 || 2 || 

 * 07/08-14:58:56.295033 140.110.138.253 -> 224.0.0.13

正規表示式：

{{{
(^[0-9]*)\/([0-9]*)\-([0-9]*)\:([0-9]*)\:([0-9]*)\.[0-9]* ([^ ]*) -> ([^$]*)
}}}

結果：

 || 1 || 07/08-14:58:56.295033 140.110.138.253 -> 224.0.0.13 || 
 || 2 || 07 || 
 || 3 || 08 || 
 || 4 || 14 || 
 || 5 || 57 || 
 || 6 || 56 || 
 || 7 || 140.110.138.253 || 
 || 8 || 224.0.0.13 || 

 * PIM TTL:1 TOS:0xC0 ID:11423 IpLen:20 DgmLen:54

 * [Xref => http://cve.mitre.org/cgi-bin/cvename.cgi?name=2003-0567][Xref => http://www.securityfocus.com/bid/8211]

 === 7/11 === 
 [wiki:SnortMysqlUbuntu]
 === 7/10 === 
 [wiki:Generic 泛型（generic）]
 === 7/9 === 
 讀書會報告 [http://trac.nchc.org.tw/grid/attachment/wiki/Reading/map_reduce.ppt 投影片]
 === 7/4~8 === 
 * [wiki:LogParser]
 === 7/3 === 
 * 用java 單獨跑 code ok，但用map-reduce方法跑會出錯：
   * 原因：hbase 1.x 沒有支援到 hadoop 0.17 >"< （但hadoop 0.17會是hbase 2.0的requirement）
   * 動機1：因為看到官方網頁API以版本0.17為首，google到的0.16 api連結失效(當時，現在是好的><)，想說那就升級吧！反正式遲早的事
   * 動機2：官網說0.17改進很多bug，並提高很多效能，（但API也改不少，讓我整個專案要處理100多個error及60 多個warning）
 * 努力改回 hadoop 0.16.4 + hbase 1.3
 === 7/2 === 
 * 完成改寫 hadoop 0.16.4  to 0.17.1
 * 遇到 hbase 1.3 無法使用 之前設定檔 運作的問題
   * 需要把hbase-site.xml 內的  
{{{
<value>hdfs://localhost:9000/hbase</value>
}}}
此行註解掉（感謝sunny）

 === 7/1 === 
 [wiki:HBaseRecordPro 用map reduce 分析文件並存入HBase]
 * Upgrade map-reduce work platform  from hadoop 0.16.4  to 0.17.1
   * hadoop.site.xml
   * Eclipse -> include external jar 
   *  [http://www.google.com.tw/url?sa=t&ct=res&cd=1&url=http%3A%2F%2Fdownloads.sourceforge.net%2Fjunit%2Fjunit-4.4.jar%3Fmodtime%3D1184865382%26big_mirror%3D0&ei=BPlpSIXCKpKOsAOZzLiLCw&usg=AFQjCNH2KzOX6Xk9tHk8XsctEQxvhCMm-g&sig2=4wDLYDLs-xt5tKDPXv6H4A junit 4]
   * [https://sourceforge.net/project/showfiles.php?group_id=73840 jung2-alpha2]
 * 寫一個Convert.java 用來轉換在hadoop 0.17被淘汰掉的 0.16 function

 = 六月份 工作計畫 = 
 == 預定目標 == 
 * [Running][5/28] map-reduce 程式設計 && reading "Thinking In JAVA "
 * [Running][6/1] 找 map-reduce 相關應用範例
 * [Running][6/10][wiki:MR_manual Map Reduce 開發文件]
 * [Planning] HBaseMyAdmin 開發
 * [Planning][has not yet started] nutch 應用範例 -> 索引硬碟資料
 * [Studing][6/1] paper : IDS in Grid OR Parallel
 * [wiki:waue_june 六月份工作日誌] 
 
 = 五月份 工作計畫 = 
 * [完成 5/04] 檢查cps是否有錯誤         
 * [完成 5/22] hadoop 範例教學 -> 字數統計            
 * [完成 5/24] Building Nutch/Hadoop project in eclipse           
 * [完成 5/27] Programing map-reduce with eclipse 文件
 * [new 5/28 ] map-reduce 程式設計
 * [new ] nutch 應用範例 -> 索引硬碟資料 
[[br]]
 * [wiki:waue_may 五月份工作日誌] 

 = 一～四月工作日誌 = 
[http://trac.nchc.org.tw/gocca/wiki/waue 五月以前工作紀錄]