wiki:jazz/11-02-09

Version 4 (modified by jazz, 13 years ago) (diff)

--

2011-02-09

Hadoop Service

  • 最近有人在 hadoop 平台上跑 youtube crawling 的程式,造成 DNS Server Loading 過重的問題。只是不確定是怎樣的程式才會持續不斷地在問 DNS 呢?? 如果每次在爬網,每個網址都會問一次 DNS,如何到達每秒 300~400 次 DNS 查詢,也有點扯。