wiki:waue/2010/1125

Version 5 (modified by waue, 13 years ago) (diff)

--

nutch 1.2 測試
並加測 protocal : ftp, file , 功能: pdf , url-filter

File 測試

搜尋時,不會自動列出該目錄的內容並從而深入進去,需要檔案一個一個指定於url.txt中,並且file 無法跟 http 一起使用

FTP 測試

ok , 深度也沒問題,但是某些 pdf , word 無法解析,但 html , txt 都 ok

過濾器 crawl-urlfilter.txt

解析器 tika

用 Apache Tika 理解信息内容 nutch 1.2 所附得 pdf 解析器為 pdfbox 0.7.3 ,現在最新的版本為 1.3.1 ,也許置換成最新的就可以解決部份中文不支援的問題,但是更換需要改寫程式碼