{{{ #!html
nutch 1.2 測試
並加測 protocal : ftp, file , 功能: pdf , url-filter
}}} [[PageOutline]] = File 測試 = 搜尋時,不會自動列出該目錄的內容並從而深入進去,需要檔案一個一個指定於url.txt中,並且file 無法跟 http 一起使用 = FTP 測試 = ok , 深度也沒問題,但是某些 pdf , word 無法解析,但 html , txt 都 ok = 過濾器 crawl-urlfilter.txt = * 以下沒有過濾效果 {{{ #!text # accept hosts in MY.DOMAIN.NAME +^http://([a-z0-9]*\.)*.nchc.org.tw/ +^http://([a-z0-9]*\.)*.narl.org.tw/ # skip everything else #-. # accept everything +.* }}} = 解析器 tika = [http://www.ibm.com/developerworks/cn/opensource/tutorials/os-apache-tika/index.html 用 Apache Tika 理解信息内容] * [http://www.oschina.net/p/tika 内容抽取工具集合 Apache Tika] nutch 1.2 所附得 pdf 解析器為 pdfbox 0.7.3 ,現在最新的版本為 1.3.1 ,也許置換成最新的就可以解決部份中文不支援的問題,但是更換需要改寫程式碼 * [http://blog.ring.idv.tw/comment.ser?i=316 當大象遇上PDFBox...] * [http://blog.ring.idv.tw/comment.ser?i=309 PDFBox - 擷取PDF檔案中的純文字] * [http://blog.csdn.net/allenshi_szl/archive/2009/12/06/4953302.aspx lucene pdf+doc+ppt+xls+txt+多层文件] * [http://blog.csdn.net/allenshi_szl/archive/2009/12/13/4951564.aspx 使用PDFBox处理PDF文档] * [http://blog.csdn.net/fuyangchang/archive/2007/06/11/1647774.aspx JAVA读取WORD,EXCEL,POWERPOINT,PDF文件的方法] * [http://blog.csdn.net/weijie_search/archive/2008/07/16/2662189.aspx 用Java读取pdf中的数据]