[[PageOutline]]
 = 八月份 工作計畫 = 
 == 預定目標 == 
 * [wiki:Paper 論文投稿]
 * [目標]map-reduce 程式設計 & 範例教學 & paper : IDS with Cloud Computing
 * [第三階段] 寫論文
 * [第二階段] 瞭解snort資料庫欄位規劃(7/31)-> '''規劃Hbase資料庫欄位'''（8/8）-> "運行程式並紀錄數據" (進行中) -> 比較 snort in mysql & snort in hbase 的效能
 * [第一階段] 瞭解apache log parser (7/8完成) -> 修改regular expression (7/15完成) -> 實做parser程式 (7/21完成)  -> 實做上傳程式(7/25完成)
 == 工作日誌 == 
 === 8/11 === 
 * [wiki:ExperimentLog 分析資料表單設計]
 === 8/6 ===
 ==== 實驗組 ： Cloud compute ==== 

1. 修改 /etc/snort/snort.conf

{{{
var HOME_NET any
var EXTERNAL_NET !$HOME_NET
}}}

2. 紀錄警訊

>
> $ sudo snort -c /etc/snort/snort.conf -i eth0
>
> $ sudo tcpreplay -i eth0 --topspeed /home/waue/sp1.tcpdump
>

3. 分析格式、載入雲端

 * 用一般java application  於 local 運行 SnortParser.java 
   * 修改main的輸入輸出參數
{{{
		String in = new String("/home/waue/Desktop/alert_flex.txt");
		String ou = new String("/home/waue/Desktop/alert_flex_parsed.txt");
}}}

 * 載入雲端

>
> $ cd /dir/hadoop
>
> $ bin/hadoop dfs -put snort-log/ snort-log/
>

4. 運行並紀錄雲端運算時間

 * bug fixing ...
   * 需解決 icmp 沒有payload問題 （已解決8/8）

 ==== 對照組：mysql database ==== 
1. 修改 /etc/snort/snort.conf
{{{
var HOME_NET any
var EXTERNAL_NET !$HOME_NET
output database: log, mysql, user=snort password=snort dbname=snort host=localhost
}}}

2. 紀錄警訊
> 同前

3. 紀錄mysql運算時間

 === 7/30~ 7/31 ===
 * nchc ca 
 === 7/29 === 
 * 解決 nchc ca  mail 問題... 
 === 7/25 === 
 * [http://trac.nchc.org.tw/cloud/browser/sample/hadoop-0.16/tw/org/nchc/code/SnortBase.java SnortBase.java] is complete.
 * snort log -> Hbase 的上傳程式已經完成，接下來需規劃 pure log 的資料庫結構 以及 event 的資料結構 
 === 7/24 === 
 * !SnortBase.java 已經完成，但無法運作，還需debug ...  XD

 === 7/23 === 
 * [http://trac.nchc.org.tw/cloud/browser/sample/hadoop-0.16/tw/org/nchc/code/SnortUploadHbase.java SnortUploadHbase.java]
 * 除錯 [http://trac.nchc.org.tw/cloud/browser/svnupload.sh 自動上傳檔案到svn的shell 程式 ] （原本無法遞迴處理資料夾內資料）
 === 7/22 === 
 * 整理 svn tree (移除沒有意義的class檔)
 * 更新我 [http://trac.nchc.org.tw/cloud/browser/svnupload.sh 自動上傳檔案到svn的shell 程式 ]
 
 === 7/21 === 
 [http://trac.nchc.org.tw/cloud/browser/sample/hadoop-0.16/tw/org/nchc/code/SnortParser.java SnortParser.java] is complete.
 === 7/14-15 === 
 [wiki:RegularExp 用正規表示法解析 snort 警訊]
 === 7/11 === 
 [wiki:SnortMysqlUbuntu 安裝snort -> mysql  in Ubuntu]
 === 7/10 === 
 [wiki:Generic 泛型（generic）]
 === 7/9 === 
 讀書會報告 [http://trac.nchc.org.tw/grid/attachment/wiki/Reading/map_reduce.ppt 投影片]
 === 7/4~8 === 
 * [wiki:LogParser]
 === 7/3 === 
 * 用java 單獨跑 code ok，但用map-reduce方法跑會出錯：
   * 原因：hbase 1.x 沒有支援到 hadoop 0.17 >"< （但hadoop 0.17會是hbase 2.0的requirement）
   * 動機1：因為看到官方網頁API以版本0.17為首，google到的0.16 api連結失效(當時，現在是好的><)，想說那就升級吧！反正式遲早的事
   * 動機2：官網說0.17改進很多bug，並提高很多效能，（但API也改不少，讓我整個專案要處理100多個error及60 多個warning）
 * 努力改回 hadoop 0.16.4 + hbase 1.3
 === 7/2 === 
 * 完成改寫 hadoop 0.16.4  to 0.17.1
 * 遇到 hbase 1.3 無法使用 之前設定檔 運作的問題
   * 需要把hbase-site.xml 內的  
{{{
<value>hdfs://localhost:9000/hbase</value>
}}}
此行註解掉（感謝sunny）

 === 7/1 === 
 [wiki:HBaseRecordPro 用map reduce 分析文件並存入HBase]
 * Upgrade map-reduce work platform  from hadoop 0.16.4  to 0.17.1
   * hadoop.site.xml
   * Eclipse -> include external jar 
   *  [http://www.google.com.tw/url?sa=t&ct=res&cd=1&url=http%3A%2F%2Fdownloads.sourceforge.net%2Fjunit%2Fjunit-4.4.jar%3Fmodtime%3D1184865382%26big_mirror%3D0&ei=BPlpSIXCKpKOsAOZzLiLCw&usg=AFQjCNH2KzOX6Xk9tHk8XsctEQxvhCMm-g&sig2=4wDLYDLs-xt5tKDPXv6H4A junit 4]
   * [https://sourceforge.net/project/showfiles.php?group_id=73840 jung2-alpha2]
 * 寫一個Convert.java 用來轉換在hadoop 0.17被淘汰掉的 0.16 function

 = 六月份 工作計畫 = 
 == 預定目標 == 
 * [Running][5/28] map-reduce 程式設計 && reading "Thinking In JAVA "
 * [Running][6/1] 找 map-reduce 相關應用範例
 * [Running][6/10][wiki:MR_manual Map Reduce 開發文件]
 * [Planning] HBaseMyAdmin 開發
 * [Planning][has not yet started] nutch 應用範例 -> 索引硬碟資料
 * [Studing][6/1] paper : IDS in Grid OR Parallel
 * [wiki:waue_june 六月份工作日誌] 
 
 = 五月份 工作計畫 = 
 * [完成 5/04] 檢查cps是否有錯誤         
 * [完成 5/22] hadoop 範例教學 -> 字數統計            
 * [完成 5/24] Building Nutch/Hadoop project in eclipse           
 * [完成 5/27] Programing map-reduce with eclipse 文件
 * [new 5/28 ] map-reduce 程式設計
 * [new ] nutch 應用範例 -> 索引硬碟資料 
[[br]]
 * [wiki:waue_may 五月份工作日誌] 

 = 一～四月工作日誌 = 
[http://trac.nchc.org.tw/gocca/wiki/waue 五月以前工作紀錄]