Changes between Version 1 and Version 2 of WebIndexing

Timestamp:

Jun 25, 2008, 4:31:45 PM (17 years ago)

Author:

sunny

Comment:

--

WebIndexing

@@ -20 +20 @@
  * 以上的字詞庫，例如:關鍵字a b代表2個字詞，它所對映到的網頁內容可能是a b/ab或是以其他字詞隔開的可能內容
 
+== 【簡單的範例說明】 ==
+ * 以下的範例會介紹當關鍵字與網頁內容對映關連整理出來之後，怎麼把這些對映建立到像是hypertable或hbase這種key-value mapping table的object stored當中，透過這樣的資料結構存放方式，在搜尋引擎當中如何發揮功效。[[br]]
+下列這張表格是假設從網路上取得的模擬資料範例，真實的網址與網頁內容應該是較複雜的資料數據，為求簡化說明方式，我們以最簡單的a/b/c/d/e代表不同的關鍵字內容，01.htm-10.htm代表10份不同的網址。
+ 1. 虛擬網頁內容說明
+||虛擬網址||虛擬網頁內容||
+||01.htm||a b c d e||
+||02.htm||a b c d||
+||03.htm||a b c||
+||04.htm||a b||
+||05.htm||a||
+||06.htm||b||
+||07.htm||c||
+||08.htm||d||
+||09.htm||e||
+||10.htm||b c||
+
+ 2. 建立資料庫schema
+以關鍵字為Rowkey，column family目前只建立一組取名url，虛擬網址就是column qualifier/key，虛擬網頁內容就是value，這樣一來只要查詢關鍵字，就可以立刻找出相關網址及網頁內容。
+
+||Rowkey||Column Family||Column Qualifier||Value||
+||關鍵字||url(或其他名稱)||虛擬網址||虛擬網頁內容||
+
+ 3. 建立多組關鍵字對映表[[br]]
+
+假設經過map reduce的數據處理之後，產生了多組關鍵字的對應關係資料表格，然後根據這份表格再把它匯入到hypertable或hbase當中，當作搜尋引擎的搜尋資料庫。
+
+  2.1 建立一組關鍵字對映表
+
+||關鍵字||虛擬網址||虛擬網頁內容||
+||a||01.htm||a b c d e||
+||a||02.htm||a b c d||
+||a||03.htm||a b c||
+||a||04.htm||a b||
+||a||05.htm||a||
+||b||01.htm||a b c d e||
+||b||02.htm||a b c d||
+||b||03.htm||a b c||
+||b||04.htm||a b||
+||b||06.htm||b||
+||b||10.htm||b c||
+||c||01.htm||a b c d e||
+||c||02.htm||a b c d||
+||c||03.htm||a b c||
+||c||07.htm||c||
+||c||10.htm||b c||
+||d||01.htm||a b c d e||
+||d||02.htm||a b c d||
+||d||08.htm||d||
+||e||01.htm||a b c d e||
+||e||09.htm||e||
+
+ 2.2 建立二組關鍵字對映表
+
+||關鍵字||虛擬網址||虛擬網頁內容||
+||a b||01.htm||a b c d e||
+||a b||02.htm||a b c d||
+||a b||03.htm||a b c||
+||a b||04.htm||a b||
+||b c||01.htm||a b c d e||
+||b c||02.htm||a b c d||
+||b c||03.htm||a b c||
+||b c||10.htm||b c||
+
 == 【面臨的問題點】 ==
  1. 應該挑選哪些字詞作為關鍵字，以及當關鍵字詞組數目一多起來的時候，Map Reduce程式的複雜度會隨之增加