七月份 工作計畫

預定目標

• [Running]map-reduce 程式設計 & 範例教學
• [Running]paper : IDS with Cloud Computing
• [planning] apache pig
• [Suspending]Map Reduce 開發文件

工作日誌

7/14-15

• 正規表示法 Rules:

   [] 來搜尋集合字元： 't[ae]st'
  不想要 oo 前面有 g： '[^g]oo'
  oo 前面不想要有小寫字元： '[^a-z]oo'
  取得有數字的那一行 ： '[0-9]'
  只列出在行首的 the ：  '^the'
  不想要開頭是英文字母：'^[^a-zA-Z]'
  行尾結束為小數點 (.) 的那一行 ： '\.$'
  ^ 符號，在 [] 內代表『反向選擇』，在 [] 之外則代表定位在行首的意義！
  

• Develop Tool : ​Regular Expression Editor
• Snort Log 範例 ：

[] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM []
[Classification: Detection of a non-standard protocol or event] [Priority: 2]
07/08-14:58:56.295033 140.110.138.253 -> 224.0.0.13
PIM TTL:1 TOS:0xC0 ID:11423 IpLen:20 DgmLen:54
[Xref => ​http://cve.mitre.org/cgi-bin/cvename.cgi?name=2003-0567][Xref => ​http://www.securityfocus.com/bid/8211]

---

• [] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM []

正規表示式：

^\[\**\] \[([1-9]*):([1-9]*):([1-9]*)\] ([^[]*)

結果：

1	[] [1:2189:3] BAD-TRAFFIC IP Proto 103 PIM
2	1
3	2189
4	3
5	BAD-TRAFFIC IP Proto 103 PIM

• [Classification: Detection of a non-standard protocol or event] [Priority: 2]

正規表示式：

^\[Classification: ([^]]*)\] \[Priority: ([1-9]*)\]

結果：

1	[Classification: Detection of a non-standard protocol or event] [Priority: 2]
2	Detection of a non-standard protocol or event
3	2

• 07/08-14:58:56.295033 140.110.138.253 -> 224.0.0.13

• PIM TTL:1 TOS:0xC0 ID:11423 IpLen:20 DgmLen:54

• [Xref => ​http://cve.mitre.org/cgi-bin/cvename.cgi?name=2003-0567][Xref => ​http://www.securityfocus.com/bid/8211]

7/11

SnortMysqlUbuntu

7/10

泛型（generic）

7/9

讀書會報告 ​投影片

7/4~8

• LogParser

7/3

• 用java 單獨跑 code ok，但用map-reduce方法跑會出錯：
  • 原因：hbase 1.x 沒有支援到 hadoop 0.17 >"< （但hadoop 0.17會是hbase 2.0的requirement）
  • 動機1：因為看到官方網頁API以版本0.17為首，google到的0.16 api連結失效(當時，現在是好的><)，想說那就升級吧！反正式遲早的事
  • 動機2：官網說0.17改進很多bug，並提高很多效能，（但API也改不少，讓我整個專案要處理100多個error及60 多個warning）
• 努力改回 hadoop 0.16.4 + hbase 1.3

7/2

• 完成改寫 hadoop 0.16.4 to 0.17.1
• 遇到 hbase 1.3 無法使用 之前設定檔 運作的問題
  • 需要把hbase-site.xml 內的

    <value>hdfs://localhost:9000/hbase</value>
    

此行註解掉（感謝sunny）

7/1

用map reduce 分析文件並存入HBase?

• Upgrade map-reduce work platform from hadoop 0.16.4 to 0.17.1
  • hadoop.site.xml
  • Eclipse -> include external jar
  • ​junit 4
  • ​jung2-alpha2
• 寫一個Convert.java 用來轉換在hadoop 0.17被淘汰掉的 0.16 function

六月份 工作計畫

預定目標

• [Running][5/28] map-reduce 程式設計 && reading "Thinking In JAVA "
• [Running][6/1] 找 map-reduce 相關應用範例
• [Running][6/10]Map Reduce 開發文件
• [Planning] HBaseMyAdmin 開發
• [Planning][has not yet started] nutch 應用範例 -> 索引硬碟資料
• [Studing][6/1] paper : IDS in Grid OR Parallel
• 六月份工作日誌

五月份 工作計畫

• [完成 5/04] 檢查cps是否有錯誤
• [完成 5/22] hadoop 範例教學 -> 字數統計
• [完成 5/24] Building Nutch/Hadoop? project in eclipse
• [完成 5/27] Programing map-reduce with eclipse 文件
• [new 5/28 ] map-reduce 程式設計
• [new ] nutch 應用範例 -> 索引硬碟資料

• 五月份工作日誌

一～四月工作日誌

​五月以前工作紀錄