Changes between Version 10 and Version 11 of crawlzilla/stress_testing


Ignore:
Timestamp:
Sep 24, 2010, 10:57:49 AM (15 years ago)
Author:
shunfa
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • crawlzilla/stress_testing

    v10 v11  
    1  * Ubuntu 10.04 (CPU 1, RAM 2G) in VM
     1[[PageOutline]]
     2
     3= Ubuntu 10.04 (CPU 1, RAM 2G) in VM =
    24   * 同時執行 7 個爬行任務 (記憶體使用 1.2G，CPU使用率 80~85%)
    35     1. [http://www.nchc.org.tw/ nchc官網] 的 tw 和 en (深度 6)
    … …  
    6062
    6163
    62 = Ubuntu 10.04 (CPU 1, RAM 1G) in VBox =
     64= Ubuntu 10.04 (CPU 1, RAM 1G, Disk 8G) in VBox =
    6365
    6466== 分別測試爬取3層～10層，結果如下 ==
    … …  
    109111 * 動態加入一個運算節點後，系統繼續執行未完成的job
    110112
     113 * 小結：
     114  * 1. 除了RAM，Disk也需要夠大，才足以存放運算時所產生的中介檔案
     115  * 2. 若遇到類似的錯誤訊息（Datanode容量不足），僅需動態的加入另一個運算節點並啟動，即可讓系統繼續運算，不需要Kill掉已經卡彈的程序。
     116  * 3. 此一測試結果，仍無法得知RAM 1G 的爬取極限。
    111117
     118