wiki:jazz/11-10-28

2011-10-28

Sematic Web & Crawlzilla

  • 延續 2010-11-14
    • 由於注意到 Google Reader 訂閱時會出現歷史的紀錄，因此最近在思考能否從歷史 RSS 當作爬取資料的來源（Ex. 給抓抓龍用），所以查了一下有沒有類似的作法。Google 的文章解釋了可行的作法：
  • 延續 2010-11-15
  • ​Evernote 的 API - 如果有用 Evernote 寫筆記的人，應該也可以拿來統計筆記的內容

Crawlzilla

  • <應用> 書籤分析!!
  • 我從 ​readitlater 的網站上，使用 export HTML 功能，把未讀的書籤匯出成 HTML 檔，並上傳到 ​http://cloud.nchc.org.tw/~jazz/ril_export.html
  • 使用 demo.crawlzilla.info 設定爬兩層， 
    索引庫名稱 ril
搜尋引擎連結位置 /home/crawler/crawlzilla/user/jazz/IDB/ril/index
搜尋引擎狀態 OK
爬取深度 2
建立時間 20111028-16:57:36
執行時間 0:19:4
起始連結 http://cloud.nchc.org.tw/~jazz/ril_export.html
總共文字數 241996
文件檔數量 3677
  • 產生的索引庫 - ​http://demo.crawlzilla.info/jazz_ril/zh/
  • 從統計結果可以知道我觀察的前五十大資料來源：
0​http://www.digitimes.com.tw204
1​http://www.bnext.com.tw112
2​http://groups.google.com74
3​http://www.theregister.co.uk56
4​http://highscalability.com52
5​http://www.ithome.com.tw49
6​http://www.cloudera.com48
7​http://gigaom.com44
8​http://www.networkworld.com38
9​http://en.wikipedia.org38
10​http://www.zdnet.com.tw36
11​http://www.howtoforge.com33
12​http://wiki.apache.org32
13​http://www.ibm.com28
14​http://nosql.mypopescu.com28
15​http://www.freegroup.org28
16​http://ajaxian.com27
17​http://www.linuxfordevices.com25
18​http://news.networkmagazine.com.tw24
19​http://ieeexplore.ieee.org24
20​http://insidehpc.com23
21​http://www.readwriteweb.com23
22​http://www.linux-mag.com23
23​http://www.nosqldatabases.com21
24​http://only-perception.blogspot.com21
25​http://www.inside.com.tw19
26​http://www.linkedin.com19
27​http://www.openfoundry.org18
28​http://www.sys-con.com17
29​http://www.hortonworks.com16
30​http://news.cnet.com16
31​http://people.debian.org.tw16
32​http://www.h-online.com16
33​http://www.slideshare.net15
34​http://blog.sematext.com15
35​http://packages.debian.org14
36​http://lwn.net14
37​http://sourceforge.net14
38​http://virtualization.info13
39​http://www.infoq.com13
40​http://radar.oreilly.com13
41​http://blog.gslin.org13
42​http://gevaperry.typepad.com13
43​http://www.cyberciti.biz12
44​http://blog.roodo.com12
45​http://www.libthomas.org12
46​http://www.runpc.com.tw11
47​http://blog.opennebula.org11
48​http://cloudsecurity.trendmicro.com11
49​http://developer.yahoo.com11

Git & SVN

Last modified 13 years ago Last modified on Oct 28, 2011, 10:29:16 PM