七月份 工作計畫

預定目標

• [Running]map-reduce 程式設計 & 範例教學
• [Running]paper : IDS with Cloud Computing
• [planning] apache pig
• [Suspending]Map Reduce 開發文件

工作日誌

7/14-15

• 正規表示法 Rules:

規則：

[w]	不要有w的字串
word	待搜尋的字串(word)在行首
word$	待搜尋的字串(word)在行尾
.	代表『任意一個』字符，一定是一個任意字符
\	跳脫字符，將特殊符號的特殊意義去除
*	重複零個或多個的前一個 RE 字符
{n,m}	連續 n 到 m 個的『前一個 RE 字符』
[]	字元集合的 RE 特殊字符的符號
+	重複『一個或一個以上』的前一個 RE 字符
?	『零個或一個』的前一個 RE 字符
|	用或( or )的方式找出數個字串
( )	找出『群組』字串

範例：

找tast 或 test： t[ae]st
不想要 oo 前面有 g： [^g]oo
oo 前面不想要有小寫字元： [^a-z]oo
取得有數字的那一行 ： [0-9]
只列出在行首的 the ：  ^the
不想要開頭是英文字母：^[^a-zA-Z]
行尾結束為小數點 (.) 的那一行 ： \.$
該行並沒有輸入任何資料：^$
任意一個字元 .，如找good,gxxd,... ：g..d
重複字元 * ，如找o,oo,oo...o：oo*
找出 g 開頭與 g 結尾的字串：g.*g
找出 g 後面接 2 到 5 個 o ，然後再接一個 g 的字串：go{2,5}g

---

• Snort Log 範例 ：

  [**] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM [**] [[br]]
  [Classification: Detection of a non-standard protocol or event] [Priority: 2]  [[br]]
  07/08-14:58:56.295033 140.110.138.253 -> 224.0.0.13 [[br]]
  PIM TTL:1 TOS:0xC0 ID:11423 IpLen:20 DgmLen:54 [[br]]
  [Xref => http://cve.mitre.org/cgi-bin/cvename.cgi?name=2003-0567][Xref => http://www.securityfocus.com/bid/8211] [[br]]
  

• 開發工具 : ​Regular Expression Editor

---

• [] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM []

正規表示式：

^\[\**\] \[([1-9]*):([1-9]*):([1-9]*)\] ([^[]*)

結果：

1	[] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM
2	1
3	2189
4	3
5	BAD-TRAFFIC IP Proto 103 PIM

• [Classification: Detection of a non-standard protocol or event] [Priority: 2]

正規表示式：

^\[Classification: ([^]]*)\] \[Priority: ([1-9]*)\]

結果：

1	[Classification: Detection of a non-standard protocol or event] [Priority: 2]
2	Detection of a non-standard protocol or event
3	2

• 07/08-14:58:56.295033 140.110.138.253 -> 224.0.0.13

正規表示式：

(^[0-9]*)\/([0-9]*)\-([0-9]*)\:([0-9]*)\:([0-9]*)\.[0-9]* ([^ ]*) -> ([^$]*)

結果：

1	07/08-14:58:56.295033 140.110.138.253 -> 224.0.0.13
2	07
3	08
4	14
5	57
6	56
7	140.110.138.253
8	224.0.0.13

• PIM TTL:1 TOS:0xC0 ID:11423 IpLen:20 DgmLen:54

正規表示式：

([^ ]*) TTL:([^ ]*) TOS:([^ ]*) ID:([^ ]*) IpLen:([^ ]*) DgmLen:([^ ]*)

結果：

1	PIM TTL:1 TOS:0xC0 ID:11423 IpLen:20 DgmLen:54
2	PIM
3	1
4	0xC0
5	11078
6	20
7	54

• [Xref => ​http://cve.mitre.org/cgi-bin/cvename.cgi?name=2003-0567][Xref => ​http://www.securityfocus.com/bid/8211]

正規表示式：

\[Xref => ([^]]*)\]

注意：只能找出第一個 [Xref => 的連結

結果：

1	[Xref => ​http://cve.mitre.org/cgi-bin/cvename.cgi?name=2003-0567]
2	​http://cve.mitre.org/cgi-bin/cvename.cgi?name=2003-0567

7/11

SnortMysqlUbuntu

7/10

泛型（generic）

7/9

讀書會報告 ​投影片

7/4~8

• LogParser

7/3

• 用java 單獨跑 code ok，但用map-reduce方法跑會出錯：
  • 原因：hbase 1.x 沒有支援到 hadoop 0.17 >"< （但hadoop 0.17會是hbase 2.0的requirement）
  • 動機1：因為看到官方網頁API以版本0.17為首，google到的0.16 api連結失效(當時，現在是好的><)，想說那就升級吧！反正式遲早的事
  • 動機2：官網說0.17改進很多bug，並提高很多效能，（但API也改不少，讓我整個專案要處理100多個error及60 多個warning）
• 努力改回 hadoop 0.16.4 + hbase 1.3

7/2

• 完成改寫 hadoop 0.16.4 to 0.17.1
• 遇到 hbase 1.3 無法使用 之前設定檔 運作的問題
  • 需要把hbase-site.xml 內的

    <value>hdfs://localhost:9000/hbase</value>
    

此行註解掉（感謝sunny）

7/1

用map reduce 分析文件並存入HBase?

• Upgrade map-reduce work platform from hadoop 0.16.4 to 0.17.1
  • hadoop.site.xml
  • Eclipse -> include external jar
  • ​junit 4
  • ​jung2-alpha2
• 寫一個Convert.java 用來轉換在hadoop 0.17被淘汰掉的 0.16 function

六月份 工作計畫

預定目標

• [Running][5/28] map-reduce 程式設計 && reading "Thinking In JAVA "
• [Running][6/1] 找 map-reduce 相關應用範例
• [Running][6/10]Map Reduce 開發文件
• [Planning] HBaseMyAdmin 開發
• [Planning][has not yet started] nutch 應用範例 -> 索引硬碟資料
• [Studing][6/1] paper : IDS in Grid OR Parallel
• 六月份工作日誌

五月份 工作計畫

• [完成 5/04] 檢查cps是否有錯誤
• [完成 5/22] hadoop 範例教學 -> 字數統計
• [完成 5/24] Building Nutch/Hadoop? project in eclipse
• [完成 5/27] Programing map-reduce with eclipse 文件
• [new 5/28 ] map-reduce 程式設計
• [new ] nutch 應用範例 -> 索引硬碟資料

• 五月份工作日誌

一～四月工作日誌

​五月以前工作紀錄