• Ubuntu 10.04 (CPU 1, RAM 2G) in VM
  • 同時執行 7 個爬行任務 (記憶體使用 1.2G，CPU使用率 80~85%)
    1. ​nchc官網 的 tw 和 en (深度 6)
    2. nchc intra (深度 3)
    3. ​google crawlzilla 官網 (深度 8)
    4. ​sourceforge crawlzilla 官網 (深度 8)
    5. ​trac grid (深度 8)
    6. ​trac cloud (深度 10)
    7. ​hadoop forum (深度 10)

jazz 建議 可能是 hadoop 預設 heap = 1G，所以再 2G 的情況下，很正常運作
之後改用較低的 RAM 和 修改過的 hadoop heap 參數 測試

• Ubuntu 10.04 (CPU1, RAM 512M) (hadoop Heap 512M) in VM
  • 同時執行以上3個爬取任務時，一樣會產生 out of memory 問題

• Ubuntu 10.04 (CPU1, RAM 512M) (hadoop Heap 256M) in VM
  • 同時執行以上3個爬取任務時，一樣會產生 out of memory 問題