八月份 工作計畫

預定目標

• 論文投稿
• [目標]map-reduce 程式設計 & 範例教學 & paper : IDS with Cloud Computing
• [第三階段] 寫論文
• [第二階段] 瞭解snort資料庫欄位規劃(7/31)-> 規劃Hbase資料庫欄位（進行中）-> 運行程式 -> 比較 snort in mysql & snort in hbase 的效能
• [第一階段] 瞭解apache log parser (7/8完成) -> 修改regular expression (7/15完成) -> 實做parser程式 (7/21完成) -> 實做上傳程式(7/25完成)

工作日誌

8/6

實驗組 ： Cloud compute

1. 修改 /etc/snort/snort.conf

var HOME_NET any
var EXTERNAL_NET !$HOME_NET

2. 紀錄警訊

$ sudo snort -c /etc/snort/snort.conf -i eth0

$ sudo tcpreplay -i eth0 --topspeed /home/waue/sp1.tcpdump

3. 分析格式、載入雲端

• 用一般java application 於 local 運行 SnortParser?.java
  • 修改main的輸入輸出參數

    		String in = new String("/home/waue/Desktop/alert_flex.txt");
    		String ou = new String("/home/waue/Desktop/alert_flex_parsed.txt");
    

• 載入雲端

$ cd /dir/hadoop

$ bin/hadoop dfs -put snort-log/ snort-log/

4. 紀錄雲端運算時間

對照組：mysql database

1. 修改 /etc/snort/snort.conf

   var HOME_NET any
   var EXTERNAL_NET !$HOME_NET
   output database: log, mysql, user=snort password=snort dbname=snort host=localhost
   

2. 紀錄警訊

   同前

3. 紀錄mysql運算時間

7/30~ 7/31

• nchc ca

7/29

• 解決 nchc ca mail 問題...

7/25

• SnortBase.java is complete.
• snort log -> Hbase 的上傳程式已經完成，接下來需規劃 pure log 的資料庫結構 以及 event 的資料結構

7/24

• SnortBase.java 已經完成，但無法運作，還需debug ... XD

7/23

• SnortUploadHbase.java
• 除錯 自動上傳檔案到svn的shell 程式 （原本無法遞迴處理資料夾內資料）

7/22

• 整理 svn tree (移除沒有意義的class檔)
• 更新我 自動上傳檔案到svn的shell 程式

7/21

SnortParser.java is complete.

7/14-15

用正規表示法解析 snort 警訊

7/11

安裝snort -> mysql in Ubuntu

7/10

泛型（generic）

7/9

讀書會報告 ​投影片

7/4~8

• LogParser

7/3

• 用java 單獨跑 code ok，但用map-reduce方法跑會出錯：
  • 原因：hbase 1.x 沒有支援到 hadoop 0.17 >"< （但hadoop 0.17會是hbase 2.0的requirement）
  • 動機1：因為看到官方網頁API以版本0.17為首，google到的0.16 api連結失效(當時，現在是好的><)，想說那就升級吧！反正式遲早的事
  • 動機2：官網說0.17改進很多bug，並提高很多效能，（但API也改不少，讓我整個專案要處理100多個error及60 多個warning）
• 努力改回 hadoop 0.16.4 + hbase 1.3

7/2

• 完成改寫 hadoop 0.16.4 to 0.17.1
• 遇到 hbase 1.3 無法使用 之前設定檔 運作的問題
  • 需要把hbase-site.xml 內的

    <value>hdfs://localhost:9000/hbase</value>
    

此行註解掉（感謝sunny）

7/1

用map reduce 分析文件並存入HBase?

• Upgrade map-reduce work platform from hadoop 0.16.4 to 0.17.1
  • hadoop.site.xml
  • Eclipse -> include external jar
  • ​junit 4
  • ​jung2-alpha2
• 寫一個Convert.java 用來轉換在hadoop 0.17被淘汰掉的 0.16 function

六月份 工作計畫

預定目標

• [Running][5/28] map-reduce 程式設計 && reading "Thinking In JAVA "
• [Running][6/1] 找 map-reduce 相關應用範例
• [Running][6/10]Map Reduce 開發文件
• [Planning] HBaseMyAdmin 開發
• [Planning][has not yet started] nutch 應用範例 -> 索引硬碟資料
• [Studing][6/1] paper : IDS in Grid OR Parallel
• 六月份工作日誌

五月份 工作計畫

• [完成 5/04] 檢查cps是否有錯誤
• [完成 5/22] hadoop 範例教學 -> 字數統計
• [完成 5/24] Building Nutch/Hadoop? project in eclipse
• [完成 5/27] Programing map-reduce with eclipse 文件
• [new 5/28 ] map-reduce 程式設計
• [new ] nutch 應用範例 -> 索引硬碟資料

• 五月份工作日誌

一～四月工作日誌

​五月以前工作紀錄