Changes between Version 9 and Version 10 of waue/2010/0715


Ignore:
Timestamp:
Jul 20, 2010, 11:57:45 AM (14 years ago)
Author:
waue
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • waue/2010/0715

    v9 v10  
    1313 * Nutch 1.0 + IK-Analyzer 3.1.6 中文分詞庫 的詳細方法
    1414 * 本篇參考 [http://zha-zi.javaeye.com/blog/625619 nutch-1.0中文分词（原文連結）]，並且修正與補充
     15
     16= 何謂中文分詞 =
     17
     18中文自動分詞指的是使用計算機自動對中文文本進行詞語的切分，即像英文那樣使得中文句子中的詞之間有空格以標識。中文自動分詞被認為是中文自然語言處理中的一個最基本的環節。
     19
     20簡單來說，以'''''"今天天氣真好"'''''這段字而言，若搜尋"氣真"
     21 * 沒有中文分詞的結果為：1筆 ＝> 今天天'''''氣真'''''好
     22 * 有中文分詞：0筆 (因為詞庫為今天、天天、天氣、真、真好、好)
     23
     24
     25下面的例子即為，透過完成括充中文分詞（ik-analyzer）之後的nutch搜尋引擎，對"國家高速網路中心"的首頁(http://www.nchc.org.tw/tw/) 作資料爬取，並以此為搜尋資料庫。
     26
     27搜尋"中心"兩字 有74筆資料，但搜尋單一一個"心"字只有 4筆資料；反觀若是沒有經過中文分詞，則單搜尋"心"必定比搜尋"中心"的資料更多
     28
     29------
     301. 搜尋 中心 這個字串
     31[[Image(1.png)]]
     32------
     332. 單搜尋 心 這個字
     34[[Image(2.png)]]
     35------
     363. 搜尋 "冀此" 或單獨 "冀" 都沒有資料
     37[[Image(3.png)]]
     38 ps : 搜尋"希冀"才會有資料
     39------
     40
     41= 方法 =
     42
    1543 * [http://ftp.twaren.net/Unix/Web/apache/nutch/ nutch 1.0 的下載位置]
    1644
    … …  
    1947 || $my_tomcat_dir || 原本被用來放nutch網頁（在tomcat內）的資料夾 || /opt/nutchez/tomcat ||
    2048
    21 = 何謂中文分詞 =
    22 
    23 中文自動分詞指的是使用計算機自動對中文文本進行詞語的切分，即像英文那樣使得中文句子中的詞之間有空格以標識。中文自動分詞被認為是中文自然語言處理中的一個最基本的環節。
    24 
    25 簡單來說，以'''''"今天天氣真好"'''''這段字而言，若搜尋"氣真"
    26  * 沒有中文分詞的結果為：1筆 ＝> 今天天'''''氣真'''''好
    27  * 有中文分詞：0筆 (因為詞庫為今天、天天、天氣、真、真好、好)
    28 
    29 
    30 下面的例子即為，透過完成括充中文分詞（ik-analyzer）之後的nutch搜尋引擎，對"國家高速網路中心"的首頁(http://www.nchc.org.tw/tw/) 作資料爬取，並以此為搜尋資料庫。
    31 
    32 搜尋"中心"兩字 有74筆資料，但搜尋單一一個"心"字只有 4筆資料；反觀若是沒有經過中文分詞，則單搜尋"心"必定比搜尋"中心"的資料更多
    33 
    34 ------
    35 1. 搜尋 中心 這個字串
    36 [[Image(1.png)]]
    37 ------
    38 2. 單搜尋 心 這個字
    39 [[Image(2.png)]]
    40 ------
    41 3. 搜尋 "冀此" 或單獨 "冀" 都沒有資料
    42 [[Image(3.png)]]
    43  ps : 搜尋"希冀"才會有資料
    44 ------
    45 
    46 = 方法 =
     49
    4750== 修改程式碼 ==
    4851