Changes between Version 34 and Version 35 of crawlzilla-1.0


Ignore:
Timestamp:
Apr 1, 2011, 3:48:30 PM (13 years ago)
Author:
waue
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • crawlzilla-1.0

    v34 v35  
    122122= 功能 =
    123123
     124== 爬取程式 go.sh ==
    124125 * /opt/crawlzilla/main/go.sh <username> <jobname> <depth>
    125126   * go.sh 用以 lib_crawl_default.sh 為基礎,將參數餵給 lib_crawl_tmp.sh ,最後用 at 呼叫 lib_crawl_tmp.sh 執行 lib_crawl_go.sh
     
    131132  digraph G {
    132133    rankdir = "LR"
    133     go.sh -> lib_crawl_tmp.sh
    134     lib_crawl_default.sh -> lib_crawl_tmp.sh
    135     lib_crawl_tmp.sh -> lib_crawl_go.sh
     134    "go.sh" -> "lib_crawl_tmp.sh"
     135    "go.sh" -> "lib_crawl_default.sh"
     136    "lib_crawl_default.sh" -> "lib_crawl_tmp.sh"
     137    "lib_crawl_tmp.sh" -> "lib_crawl_go.sh"
    136138    }
    137139}}}
    138140
     141 * 註: at -f 後的shell 內容不可太大,需在數行之內,否則不予執行,因此用了許多個 shell 來達成之前的一個go.sh
     142 * 註:雖然使用at 的原因,使得整個程序似乎繞一大圈,但用其來解決crontab 無法執行長時間程序的問題
    139143
    140 <以下已淘汰 on 20110401>
    141  * go.sh <username> <jobname> <depth> !["redo"]
    142    * username = 使用者名稱,必要欄位,如 admin
    143    * jobname 為工作名稱,必要欄位,如 0316
    144    * depth 為深度,必要欄位,如 1~5
     144 * <以下已淘汰 on 20110401> go.sh <username> <jobname> <depth> !["redo"]
    145145   * redo 為是否重爬, 非必要欄位, 是="redo", 不是=""
    146146