wiki:waue/2010/nutchez2_procedure

Version 15 (modified by rock, 14 years ago) (diff)

--

1. 安裝流程

1.1 流程解說

  1. 在 master node 下載 nutchez v0.2.tar.gz 檔,並解開壓縮檔
  2. 在 master node 執行 master_install 檔進行安裝 (詳細安裝步驟於1.2)
  3. 安裝成功會產生client_install 的安裝檔
  4. 在 slave node 上執行此 client_install 安裝檔 (詳細安裝步驟於1.3)
  5. 所有 slave node 都分別執行了此 client_install 皆正確無誤後,叢集安裝完成

1.2 Master Install 安裝細部流程圖

  • Master Install GraphViz image

1.3 Client Install 安裝細部流程圖

  • Client Install
GraphViz image

2. 管理設定介面

  • Nutchez 設定: nutchez
    • 設置叢集: cluster_setup
      • 設置 datanode 與 tasktracker 節點
    • 網頁伺服器開關: tomcat_switch
      • 自動開啟關閉tomcat
    • 網頁伺服器port 號改變:tomcat_port
GraphViz image
  • BugList
Bug ID 錯誤等級 程式 行數  問題  解法 狀態
1 B   nutchez 36  無 su 失敗的錯誤提示  新增 if 判斷,失敗及跳出管理介面 已解決
2 C   nutchez     每次執行前都會詢問更新的訊息  增加 nutch_nodes 的判斷,若有更新則要求使用者更新 已解決
3 D   nutchez     無 ALL 和 Part 選單  增加 ALL 和 Part 選單 已解決
4 D   nutchez       新增 restart 選項到 tasknode 和 tasktracker 已解決

3. Nutch 網頁管理介面

  • 管理介面 admin.php
    • 管理帳號登入: login.php
    • 搜尋選項設定與啟動:crawl.php
      • 各種nutch 選項、crontab 排班、重新or繼上次搜尋
    • 統計資料:statistics.php
      • url 有多少列、網頁多少個、資料大小、搜尋工作時間
    • 叢集狀態:cluster_status.php
      • datanode , tasktracker 狀態

Attachments (1)

Download all attachments as: .zip