Changes between Version 10 and Version 11 of crawlzilla/stress_testing


Ignore:
Timestamp:
Sep 24, 2010, 10:57:49 AM (14 years ago)
Author:
shunfa
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • crawlzilla/stress_testing

    v10 v11  
    1  * Ubuntu 10.04 (CPU 1, RAM 2G) in VM
     1[[PageOutline]]
     2
     3= Ubuntu 10.04 (CPU 1, RAM 2G) in VM =
    24   * 同時執行 7 個爬行任務 (記憶體使用 1.2G,CPU使用率 80~85%)
    35     1. [http://www.nchc.org.tw/ nchc官網] 的 tw 和 en (深度 6)
     
    6062
    6163
    62 = Ubuntu 10.04 (CPU 1, RAM 1G) in VBox =
     64= Ubuntu 10.04 (CPU 1, RAM 1G, Disk 8G) in VBox =
    6365
    6466== 分別測試爬取3層~10層,結果如下 ==
     
    109111 * 動態加入一個運算節點後,系統繼續執行未完成的job
    110112
     113 * 小結:
     114  * 1. 除了RAM,Disk也需要夠大,才足以存放運算時所產生的中介檔案
     115  * 2. 若遇到類似的錯誤訊息(Datanode容量不足),僅需動態的加入另一個運算節點並啟動,即可讓系統繼續運算,不需要Kill掉已經卡彈的程序。
     116  * 3. 此一測試結果,仍無法得知RAM 1G 的爬取極限。
    111117
     118