* Ubuntu 10.04 (CPU 1, RAM 2G) in VM * 同時執行 7 個爬行任務 (記憶體使用 1.2G,CPU使用率 80~85%) 1. [http://www.nchc.org.tw/ nchc官網] 的 tw 和 en (深度 6) 2. nchc intra (深度 3) 3. [http://code.google.com/p/crawlzilla/ google crawlzilla 官網] (深度 8) 4. [http://crawlzilla.sourceforge.net/ sourceforge crawlzilla 官網] (深度 8) 5. [http://trac.nchc.org.tw/grid trac grid] (深度 8) 6. [https://trac.nchc.org.tw/cloud/ trac cloud] (深度 10) 7. [http://forum.hadoop.tw/index.php hadoop forum] (深度 10) >> jazz 建議 可能是 hadoop 預設 heap = 1G,所以再 2G 的情況下,很正常運作 [[BR]] >> 之後改用較低的 RAM 和 修改過的 hadoop heap 參數 測試 [[BR]] * Ubuntu 10.04 (CPU1, RAM 512M) ('''''hadoop Heap 512M''''') in VM * 同時執行以上3個爬取任務時,一樣會產生 out of memory 問題 * Ubuntu 10.04 (CPU1, RAM 512M) ('''''hadoop Heap 256M''''') in VM * 同時執行以上3個爬取任務時,一樣會產生 out of memory 問題