Context Navigation

0407

-                      v1
+                      v2
  * 今天要來研究如何把nutch加入到已經在運作的hadoop上
+ * 續昨天，目錄結構如下
+|| /opt/nutch || nutch 家目錄||
+|| /opt/nutch_conf || nutch設定檔 ||
+|| /opt/hadoop || hadoop家目錄 ||
+|| /opt/conf || hadoop設定檔 ||
+|| /tmp/ || 日誌檔、中間檔與暫存檔 ||
  * 有可能的原因是nutch付的hadoop (0.19.1) 與我目前環境的hadoop (0.18.3)版本不同
  * 由於大部分的情況是，我已經安裝了hadoop平台並且讓他工作一段時間之後，才要來加入nutch的測試，因此不可能在把以前的東西都刪掉，只為了測試nutch...
+ * 目前用[http://wiki.apache.org/nutch/Upgrading_Hadoop nutch官方文件]所提供的概念，把nutch內的hadoop都替換為原本主機已經運行的hadoop，設定檔要設定對，並且注意把hadoop-env.sh的export參數都寫入bash.bashrc內，這麼做可以正確執行。
+{{{
+$ cp -rf /opt/hadoop/* /opt/nutch/
+$ vim /opt/nutch_conf/slaves
+$ vim /opt/nutch_conf/nutch-site.xml
+$ vim /opt/nutch_conf/hadoop-site.xml
+$ scp -rc /opt/nutch_conf dx7200:/opt/nutch_conf
+$ scp -rc /opt/nutch dx7200:/opt/nutch
+}}}
+ * 其他大致如昨天，但發現其實收尋的能力有限，幾乎只有到一層，需要解決搜尋能力的問題