wiki:jazz/11-02-09

2011-02-09

Hadoop Service

  • 最近有人在 hadoop 平台上跑 youtube crawling 的程式,造成 DNS Server Loading 過重的問題。只是不確定是怎樣的程式才會持續不斷地在問 DNS 呢?? 如果每次在爬網,每個網址都會問一次 DNS,如何到達每秒 300~400 次 DNS 查詢,也有點扯。
Last modified 14 years ago Last modified on Feb 9, 2011, 7:32:45 PM