Changes between Version 23 and Version 24 of jazz/Hadoop_Lab3

Timestamp:

Mar 28, 2009, 11:40:37 AM (15 years ago)

Author:

waue

Comment:

--

jazz/Hadoop_Lab3

@@ -1 +1 @@
 [[PageOutline]]
+
+----------
+add some env explain.
+----------
 
 = 實作三： Hadoop 叢集安裝 =
@@ -13 +17 @@
  * 這個實做會架設運作在叢集環境上的Hadoop，因此若是你的電腦還存在著之前的實做一的環境，請先作step 0，以移除掉之前的設定。
 
- * 以下pc001代表你Node 1 的ip位址，pc002為你Node 2 的ip位址，請查清楚之後作設定
+ * 以下node01代表你Node 1 的ip位址，node02為你Node 2 的ip位址，請查清楚之後作設定
  
  * 為了簡化操作步驟，'''大部分的指令在Node 1 執行即可，不過step2 的安裝java則需要在Node 2 上實機操作喔！'''
@@ -46 +50 @@
 {{{
 ~$ sudo su -
-~# echo "192.168.100.1 pc001" >> /etc/hosts
-~# echo "192.168.100.2 pc002" >> /etc/hosts
+~# echo "192.168.100.1 node01" >> /etc/hosts
+~# echo "192.168.100.2 node02" >> /etc/hosts
 }}}
 
@@ -65 +69 @@
 ~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
 ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
-~$ scp -r ~/.ssh pc002:~/
-~$ ssh pc002
+~$ scp -r ~/.ssh node02:~/
+~$ ssh node02
 ~$ alias ssh='ssh -o "StrictHostKeyChecking no"'
-~$ ssh pc001
+~$ ssh node01
 ~$ exit
 ~$ exit
@@ -133 +137 @@
   <property>
     <name>fs.default.name</name>
-    <value>hdfs://pc001:9000/</value>
+    <value>hdfs://node01:9000/</value>
     <description> </description>
   </property>
   <property>
     <name>mapred.job.tracker</name>
-    <value>pc002:9001</value>
+    <value>node02:9001</value>
     <description>  </description>
   </property>
@@ -149 +153 @@
 }}}
    * 注意！ 我們多加了一個參數hadoop.tmp.dir，讓預設的中介資料存放在/tmp/hadoop/ 而不是/tmp/ 下，更多內容可以看conf/hadoop-default.xml
-   * 注意！fs.default.name = hdfs://pc001:9000/ ；而mapred.job.tracker = pc002:9001，看出差異了嗎！一個有指hdfs://，一個沒有，重要！易混淆。
+   * 注意！fs.default.name = hdfs://node01:9000/ ；而mapred.job.tracker = node02:9001，看出差異了嗎！一個有指hdfs://，一個沒有，重要！易混淆。
    
  == step 6. 設定masters及slaves ==
@@ -161 +165 @@
 {{{
 #!sh
-pc001
-pc002
+node01
+node02
 }}}
 
@@ -169 +173 @@
  * 在Node 1 上對遠端Node 2 作開資料夾/opt/hadoop及權限設定
 {{{
-/opt/hadoop$ ssh pc002 "sudo mkdir /opt/hadoop"
-/opt/hadoop$ ssh pc002 "sudo chown -R hadooper:hadooper /opt/hadoop"
+/opt/hadoop$ ssh node02 "sudo mkdir /opt/hadoop"
+/opt/hadoop$ ssh node02 "sudo chown -R hadooper:hadooper /opt/hadoop"
 }}}
 
  * 複製Node 1 的hadoop資料夾到Node 2 上
 {{{
-/opt/hadoop$ scp -r /opt/hadoop/* pc002:/opt/hadoop/
+/opt/hadoop$ scp -r /opt/hadoop/* node02:/opt/hadoop/
 }}}
 
@@ -192 +196 @@
 /************************************************************
 STARTUP_MSG: Starting NameNode
-STARTUP_MSG:   host = pc002
+STARTUP_MSG:   host = node02
 STARTUP_MSG:   args = [-format]
 STARTUP_MSG:   version = 0.18.3
@@ -204 +208 @@
 09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: 
 /************************************************************
-SHUTDOWN_MSG: Shutting down NameNode at pc002
+SHUTDOWN_MSG: Shutting down NameNode at node02
 ************************************************************/
 }}}
@@ -220 +224 @@
 
 ------
-   * http://pc001:50070/ - Hadoop DFS 狀態
+   * http://node01:50070/ - Hadoop DFS 狀態
    * [[Image(datanode.png)]]
 ------
    
-   * ps: 然而JobTracker還沒啟動，因此 http://pc002:50030/ 網頁無法顯示
+   * ps: 然而JobTracker還沒啟動，因此 http://node02:50030/ 網頁無法顯示
 
  * bin/start-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動tasktracker。
@@ -231 +235 @@
    
 {{{
-/opt/hadoop$ ssh pc002 "/opt/hadoop/bin/start-mapred.sh"
+/opt/hadoop$ ssh node02 "/opt/hadoop/bin/start-mapred.sh"
 }}}
 
  * 啟動之後, jobtracker也正常運作囉！
 ------
-   * http://pc002:50030/ - Hadoop 管理介面
+   * http://node02:50030/ - Hadoop 管理介面
    * [[Image(job.png)]]
 ------