Changes between Version 27 and Version 28 of waue/2009/nutch_install

Timestamp:

Apr 27, 2009, 7:45:46 PM (15 years ago)

Author:

waue

Comment:

--

waue/2009/nutch_install

@@ -14 +14 @@
    * 解決中文亂碼問題
    * 搜尋引擎不只是找網頁內的資料，也能爬到網頁內的檔案(如pdf,msword)
+   * 運行在多台node
 
  = 環境 =
@@ -25 +26 @@
 = step 1 安裝好Hadoop =
 
-可以用實做一的方法來安裝
+== 單機版 == 
+可以用實做一的方法來安裝單機
  * 執行
 {{{
@@ -59 +61 @@
   <property>
     <name>fs.default.name</name>
-    <value>hdfs://node1:9000/</value>
+    <value>hdfs://node01:9000/</value>
     <description> </description>
   </property>
   <property>
     <name>mapred.job.tracker</name>
-    <value>node1:9001</value>
+    <value>node01:9001</value>
     <description>  </description>
   </property>
@@ -80 +82 @@
 }}}
  * 啟動之後，可以檢查以下網址，來觀看服務是否正常。[http://localhost:50030/ Hadoop 管理介面] [http://localhost:50060/  Hadoop Task Tracker 狀態] [http://localhost:50070/ Hadoop DFS 狀態]
+ == 叢集版 ==
+請參考[wiki:0428Hadoop_Lab3 實作三]
 
 = step 2 nutch下載與安裝 =
@@ -149 +153 @@
 <property>
   <name>http.agent.url</name> 
-  <value>node1</value> 
+  <value>node01</value> 
   <description>A URL to advertise in the User-Agent header. </description> 
 </property>
@@ -223 +227 @@
 }}}
 
-
+== 3.4 完全複製到node2 ==
+
+{{{
+$ ssh node02 chown hadooper:hadooper /opt
+$ scp -r /opt/nutch node02:/opt/
+}}}
 
 = step 4 執行nutch =
@@ -247 +256 @@
 $ bin/nutch crawl urls -dir search -threads 2 -depth 3 -topN 100000 >& nutch.log
 }}}
- * 在nutch運作的同時，可以在node1節點用瀏覽器，透過 [http://localhost:50030 job管理頁面],[http://localhost:50070 hdfs管理頁面],[http://localhost:50060 程序運作頁面] 來監看程序。
+ * 在nutch運作的同時，可以在node01節點用瀏覽器，透過 [http://localhost:50030 job管理頁面],[http://localhost:50070 hdfs管理頁面],[http://localhost:50060 程序運作頁面] 來監看程序。
 
  ps: 重要！！！ 如果錯誤訊息出現