Version 6 (modified by rock, 14 years ago) (diff) |
---|
Crawlzilla爬取數據參考
單機測試
主機資訊
CPU: Intel® Core™ i7-920 Processor
記憶體: 12GiB
作業系統:
Ubuntu 10.04(lucid)
Linux 2.6.32-26-generic
Cralzilla版本: 0.3.0-101115 安裝於一台主機上
測試方式: 各別summit job,前一crawl job完成後再執行下一個job,非同時summit全部job
起始位址: http://udn.com/NEWS/mainpage.shtml
測試結果
Depth | Exec. Time(HR) | Crawl Files | Crawl Words |
3 | 0.88 | 4599 | 89742 |
4 | 1.58 | 8903 | 126229 |
5 | 2.83 | 13498 | 171480 |
6 | 9.12 | 16744 | 204349 |
7 | 9.61 | 21324 | 312669 |
8 | 10.28 | 24984 | 356119 |
9 | 9.3 | 28044 | 413921 |
10 | 9.44 | 31981 | 431790 |
叢集測試
計算節點數量: 6
主機資訊
CPU: Intel(R) Core(TM)2 Quad CPU Q9550 @ 2.83GHz
記憶體: 8GiB
作業系統:
Ubuntu 10.04(lucid)
Linux Kernel: 2.6.32-27 (PAE enabled)
Cralzilla版本: 0.3.0-101116
測試方式: shell script 執行爬取3~10層的Job
起始位址: http://udn.com/NEWS/mainpage.shtml
測試結果
Depth | Exec. Time(HR) | Crawl Files | Crawl Words |
3 | 0.9 | 4642 | 89168 |
4 | 2.02 | 8212 | 123186 |
5 | 2.98 | 12517 | 163206 |
6 | 3.95 | 16220 | 210714 |
7 | 6.23 | 19577 | 319898 |
8 | |||
9 | |||
10 |