Version 4 (modified by jazz, 14 years ago) (diff) |
---|
2011-02-09
- [科技詞彙] MPP = Massive Parallel Processing
Hadoop Service
- 最近有人在 hadoop 平台上跑 youtube crawling 的程式,造成 DNS Server Loading 過重的問題。只是不確定是怎樣的程式才會持續不斷地在問 DNS 呢?? 如果每次在爬網,每個網址都會問一次 DNS,如何到達每秒 300~400 次 DNS 查詢,也有點扯。