Changes between Version 2 and Version 3 of waue/2009/0409

Timestamp:

Apr 9, 2009, 4:56:32 PM (15 years ago)

Author:

waue

Comment:

--

waue/2009/0409

@@ -25 +25 @@
 == step 1 安裝好Hadoop叢集 ==
 
- * 可以參考這篇 [wiki:0330Hadoop_Lab3hadoop叢集安裝]
- * 當然單機版也可以，只是這樣就直接安裝nutch更省事囉！單機安裝nutch可以參考這裡[wiki:waue/2009/0406 nutch安裝]，但是設定檔要參考這篇的才完整。
+ * 可以參考這篇 [wiki:0330Hadoop_Lab3 hadoop叢集安裝]
+ * 當然單機版也可以，只是這樣就直接安裝nutch更省事囉！單機安裝nutch可以參考這裡[wiki:waue/2009/0406 nutch單機安裝]，但是設定檔要參考這篇的才完整。
+ * 安裝好hadoop 叢集之後，/opt/的權限就是使用者的了，並且ssh登入兩台都免密碼，hadoop也能正常執行，並且安裝於/opt/hadoop下，設定檔在 /opt/conf
 
 == step 2 下載與安裝 == 
- 
- * 下載 java 1.6
-{{{
-$ sudo apt-get install sun-java6-bin
-}}}
- * 下載 nutch 1.0 (2009/03/28)
-{{{
+
+ === 2.1 下載 nutch 並解壓縮 ===
+ *  nutch 1.0 (2009/03/28 release )
+{{{
+$ cd /opt
 $ wget http://ftp.twaren.net/Unix/Web/apache/lucene/nutch/nutch-1.0.tar.gz
-}}}
+$ tar -zxvf nutch-1.0.tar.gz
+$ mv nutch-1.0.tar.gz nutch
+}}}
+ === 2.2 部屬hadoop,nutch目錄結構 ===
+{{{
+$ mv nutch/conf ./nutch_conf
+$ cp -rf conf/* nutch_conf
+$ cp -rf hadoop/* nutch
+}}}
+ * 做完以上動作，nutch的設定檔就會被放在/opt/nutch_conf下，並且把現有hadoop的設定（/opt/conf）帶進nutch的設定中，而nutch_home內的hadoop執行檔也會跟正在運行的hadoop同個版本。
+ * 以上的目錄結構在於nutch與hadoop分離，主程式與設定檔分離，（日誌檔則統一被紀錄到/tmp中），這樣的目的在於，要刪除nutch的話直接移除目錄就好，不會動到原本的hadoop。
 
 == step 3 編輯設定檔 ==
- * 所有的設定檔都在 $NUTCH_HOME/conf 下
+ * 所有的設定檔都在 /opt/nutch_conf 下
 === 3.1 hadoop-env.sh ===
-將原本的檔案hadoop-env.sh任意處插入
+ * 將原本的檔案hadoop-env.sh任意處填入
 {{{
 #!sh
 export JAVA_HOME=/usr/lib/jvm/java-6-sun
+
 export HADOOP_HOME=/opt/nutch
+
+export HADOOP_CONF_DIR=/opt/nutch_conf
+
+export HADOOP_SLAVES=$HADOOP_CONF_DIR/slaves
+
 export HADOOP_LOG_DIR=/tmp/nutch/logs
-export HADOOP_SLAVES=/opt/nutch/conf/slaves
-}}}
+
+export HADOOP_PID_DIR=/tmp/nutch/pid
+
+export NUTCH_HOME=/opt/nutch
+
+export NUTCH_CONF_DIR=/opt/nutch_conf
+}}}
+ * 載入環境設定值
+{{{
+$ source /opt/nutch_conf/hadoop-env.sh
+}}}
+ * ps：強烈建議寫入 /etc/bash.bashrc 中比較萬無一失！！
+
 === 3.2 hadoop-site.xml ===
 {{{