wiki:waue

Version 79 (modified by waue, 16 years ago) (diff)

--

七月份 工作計畫

預定目標

  • [目標]map-reduce 程式設計 & 範例教學 & paper : IDS with Cloud Computing
  • [第三階段] 寫論文
  • [第二階段] 了解snort資料庫欄位規劃 -> 規劃Hbase資料庫欄位 -> 運行程式 -> 比較 snort in mysql & snort in hbase 的效能
  • [第一階段] 了解apache log parser (7/8完成) -> 修改regular expression (7/15完成) -> 實做parser程式 (7/21完成) -> 實做上傳程式(進行中)

工作日誌

7/23

7/22

7/21

SnortParser.java is complete.

7/14-15

用正規表示法解析 snort 警訊

7/11

安裝snort -> mysql in Ubuntu

7/10

泛型(generic)

7/9

讀書會報告 投影片

7/4~8

7/3

  • 用java 單獨跑 code ok,但用map-reduce方法跑會出錯:
    • 原因:hbase 1.x 沒有支援到 hadoop 0.17 >"< (但hadoop 0.17會是hbase 2.0的requirement)
    • 動機1:因為看到官方網頁API以版本0.17為首,google到的0.16 api連結失效(當時,現在是好的><),想說那就升級吧!反正式遲早的事
    • 動機2:官網說0.17改進很多bug,並提高很多效能,(但API也改不少,讓我整個專案要處理100多個error及60 多個warning)
  • 努力改回 hadoop 0.16.4 + hbase 1.3

7/2

  • 完成改寫 hadoop 0.16.4 to 0.17.1
  • 遇到 hbase 1.3 無法使用 之前設定檔 運作的問題
    • 需要把hbase-site.xml 內的
      <value>hdfs://localhost:9000/hbase</value>
      

此行註解掉(感謝sunny)

7/1

用map reduce 分析文件並存入HBase?

  • Upgrade map-reduce work platform from hadoop 0.16.4 to 0.17.1
  • 寫一個Convert.java 用來轉換在hadoop 0.17被淘汰掉的 0.16 function

六月份 工作計畫

預定目標

  • [Running][5/28] map-reduce 程式設計 && reading "Thinking In JAVA "
  • [Running][6/1] 找 map-reduce 相關應用範例
  • [Running][6/10]Map Reduce 開發文件
  • [Planning] HBaseMyAdmin 開發
  • [Planning][has not yet started] nutch 應用範例 -> 索引硬碟資料
  • [Studing][6/1] paper : IDS in Grid OR Parallel
  • 六月份工作日誌

五月份 工作計畫

  • [完成 5/04] 檢查cps是否有錯誤
  • [完成 5/22] hadoop 範例教學 -> 字數統計
  • [完成 5/24] Building Nutch/Hadoop? project in eclipse
  • [完成 5/27] Programing map-reduce with eclipse 文件
  • [new 5/28 ] map-reduce 程式設計
  • [new ] nutch 應用範例 -> 索引硬碟資料


一~四月工作日誌

五月以前工作紀錄