wiki:ExperimentHpc-Asia

HPC-Asia 實驗方法

比較 ICAS(6nodes) 與 SOC 不同資料集的 處理效能實驗

pre :

 i 用cloneZilla live 還原 /home/waue/080923-ICAS-HPCASIA-img
 ii hadoop、 hbase 安裝於 /opt  , 實驗資料放在 /home/waue/Desktop/ExpData/
 iii 開啟hadoop、hbase、mysql
  1. 開啟snort監聽
    $ snort -c /etc/snort/snort.database.conf -i eth1
    
  2. 開tcpreplay 餵流量
    $ cd /home/waue/Desktop/ExpData/tcpdumps
    $ sudo tcpreplay -i eth1 --topspeed ./combinedstarted27febat1349.tcpdump
    
  3. 紀錄mysql 的event有 $N 筆資料,再執行SOC,紀錄時間
    $ cd /var/www/soc
    $ php main_uv.php
    
  4. parser 檔案 程序 ($N為alert數,如:512) (原本4~6步驟為同一shell,但java再shell內執行有問題故拆開)(問題已解決10/1)
    $ cd /opt
    $ ./exper.sh $N
    
  5. 用Eclipse執行analysis

修改tablename參數為$N ,然後用ibm MapReduce tool 執行SnortAnalysis.java,紀錄時間

  1. mysql資料庫重置

改snort資料表的名稱、匯入snort空資料表單(~/Desktop/ExpData?/SocTable_snort_2.7.0.sql)

比較 ICAS 不同nodes數量 處理效能的實驗

  1. 停止hbase, hadoop
  2. 修改node集
    /opt/hadoop/conf/slaves
    /opt/hbase/conf/regionserver
    
  3. 開啟 hadoop, hbase
  4. 重複用Eclipse執行analysis procedure

修改tablename參數為$N ,然後用ibm MapReduce tool 執行SnortAnalysis.java,紀錄時間

  1. 用4. 跑完所有的數據集後,再重複1~4步(但2要改成不同的node數)
Last modified 16 years ago Last modified on Oct 1, 2008, 3:27:09 PM