Changes between Version 5 and Version 6 of waue/2010/0715

Timestamp:

Jul 16, 2010, 11:43:57 AM (14 years ago)

Author:

waue

Comment:

--

waue/2010/0715

@@ -19 +19 @@
  || $my_tomcat_dir || 原本被用來放nutch網頁（在tomcat內）的資料夾 || /opt/nutchez/tomcat || 
 
-= 修改程式碼 =
+= 何謂中文分詞 =
+
+中文自動分詞指的是使用計算機自動對中文文本進行詞語的切分，即像英文那樣使得中文句子中的詞之間有空格以標識。中文自動分詞被認為是中文自然語言處理中的一個最基本的環節。
+
+簡單來說，以'''''"今天天氣真好"'''''這段字而言，若搜尋"氣真"
+ * 沒有中文分詞的結果為：1筆 ＝> 今天天'''''氣真'''''好
+ * 有中文分詞：0筆 (因為詞庫為今天、天天、天氣、真、真好、好)
+
+
+下面的例子即為，透過完成括充中文分詞（ik-analyzer）之後的nutch搜尋引擎，對"國家高速網路中心"的首頁(http://www.nchc.org.tw/tw/) 作資料爬取，並以此為搜尋資料庫。
+
+搜尋"中心"兩字 有74筆資料，但搜尋單一一個"心"字只有 4筆資料；反觀若是沒有經過中文分詞，則單搜尋"心"必定比搜尋"中心"的資料更多
+
+------
+1. 搜尋 中心 這個字串
+[[Image(1.png)]]
+------
+2. 單搜尋 心 這個字
+[[Image(2.png)]]
+------
+3. 搜尋 "冀此" 或單獨 "冀" 都沒有資料
+[[Image(3.png)]]
+ ps : 搜尋"希冀"才會有資料
+------
+
+= 方法 =
+== 修改程式碼 ==
 
  * 安裝必要工具（java 已經安裝）
@@ -119 +145 @@
 }}}
 
- = 重編 nutch =
+ == 重編 nutch ==
  * 重新編譯 nutch-1.0
 {{{
@@ -136 +162 @@
 }}}
 
- = 開始使用 =
+ == 開始使用 ==
 
  * 最後，將nutch-job-1.0.jar複製到我的nutchez資料夾內取代使用
@@ -163 +189 @@
  * 爬取後的資料就會依照中文分詞來分。
  * 即使用原始的nutch所crawl下來的資料，將 重編後的nutch-1.0.jar nutch-1.0.job IKAnalyzer3.1.6 正確放到你原本的nutch搜尋網頁中，重新啟動tomcat後，也可直接享用有分詞的結果
-[[Image(2010-07-15-190139_751x697_scrot.png)]]
+ * 中文分詞之後的結果並不會比較多，反而更少。但是精簡過後的搜尋結果才能提供更準確的搜尋內容。