* 今天要來研究如何把nutch加入到已經在運作的hadoop上 * 續昨天,目錄結構如下 || /opt/nutch || nutch 家目錄|| || /opt/nutch_conf || nutch設定檔 || || /opt/hadoop || hadoop家目錄 || || /opt/conf || hadoop設定檔 || || /tmp/ || 日誌檔、中間檔與暫存檔 || * 有可能的原因是nutch付的hadoop (0.19.1) 與我目前環境的hadoop (0.18.3)版本不同 * 由於大部分的情況是,我已經安裝了hadoop平台並且讓他工作一段時間之後,才要來加入nutch的測試,因此不可能在把以前的東西都刪掉,只為了測試nutch... * 目前用[http://wiki.apache.org/nutch/Upgrading_Hadoop nutch官方文件]所提供的概念,把nutch內的hadoop都替換為原本主機已經運行的hadoop,設定檔要設定對,並且注意把hadoop-env.sh的export參數都寫入bash.bashrc內,這麼做可以正確執行。 {{{ $ cp -rf /opt/hadoop/* /opt/nutch/ $ vim /opt/nutch_conf/slaves $ vim /opt/nutch_conf/nutch-site.xml $ vim /opt/nutch_conf/hadoop-site.xml $ scp -rc /opt/nutch_conf dx7200:/opt/nutch_conf $ scp -rc /opt/nutch dx7200:/opt/nutch }}} * 其他大致如昨天,但發現其實收尋的能力有限,幾乎只有到一層,需要解決搜尋能力的問題 * 目前已修改 nutch-site.xml的plugin.folder 與 plugin.plugin兩個屬性的值 * urls內的urls.txt也許也需要修改對應的網址