wiki:waue/2010/nutchez2_archi

Version 4 (modified by waue, 14 years ago) (diff)

--

GraphViz image
{{{
#!graphviz
  digraph G {
    rankdir = "LR"
    GraphvizPlugin [ URL=GraphvizPlugin ]
    Trac [ 
      URL="http://trac.edgewall.org/"   
      fontcolor=red
    ]
    GraphvizPlugin -> Trac
    }
}}}

=before=

  • 安裝程序 nutchez_install.sh
    • 單機安裝
    • 叢集安裝
  • 叢集設定 nutchez
    • 設置叢集
      • 設置 datanode 與 tasktracker 節點
    • 網頁伺服器開關
      • 自動開啟關閉tomcat
    • 移除 nutchez
      • 移除nutchez 並搜尋資料備份
  • 管理介面 admin.php
    • 搜尋選項設定與啟動
      • 各種nutch 選項、crontab 排班、重新or繼上次搜尋
    • 統計資料
      • url 有多少列、網頁多少個、資料大小、搜尋工作時間
    • 叢集狀態
      • datanode , tasktracker 狀態