Changes between Version 21 and Version 22 of jazz/Hadoop_Lab3

Timestamp:

Mar 28, 2009, 11:36:49 AM (15 years ago)

Author:

waue

Comment:

--

jazz/Hadoop_Lab3

@@ -17 +17 @@
  * 這個實做會架設運作在叢集環境上的Hadoop，因此若是你的電腦還存在著之前的實做一的環境，請先作step 0，以移除掉之前的設定。
 
- * 以下node01代表你Node 1 的ip位址，node02為你Node 2 的ip位址，請查清楚之後作設定
+ * 以下pc001代表你Node 1 的ip位址，pc002為你Node 2 的ip位址，請查清楚之後作設定
  
  * 為了簡化操作步驟，'''大部分的指令在Node 1 執行即可，不過step2 的安裝java則需要在Node 2 上實機操作喔！'''
@@ -50 +50 @@
 {{{
 ~$ sudo su -
-~# echo "192.168.100.1 node01" >> /etc/hosts
-~# echo "192.168.100.2 node02" >> /etc/hosts
+~# echo "192.168.100.1 pc001" >> /etc/hosts
+~# echo "192.168.100.2 pc002" >> /etc/hosts
 }}}
 
@@ -69 +69 @@
 ~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
 ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
-~$ scp -r ~/.ssh node02:~/
-~$ ssh node02
+~$ scp -r ~/.ssh pc002:~/
+~$ ssh pc002
 ~$ alias ssh='ssh -o "StrictHostKeyChecking no"'
-~$ ssh node01
+~$ ssh pc001
 ~$ exit
 ~$ exit
@@ -137 +137 @@
   <property>
     <name>fs.default.name</name>
-    <value>hdfs://node01:9000/</value>
+    <value>hdfs://pc001:9000/</value>
     <description> </description>
   </property>
   <property>
     <name>mapred.job.tracker</name>
-    <value>node02:9001</value>
+    <value>pc002:9001</value>
     <description>  </description>
   </property>
@@ -153 +153 @@
 }}}
    * 注意！ 我們多加了一個參數hadoop.tmp.dir，讓預設的中介資料存放在/tmp/hadoop/ 而不是/tmp/ 下，更多內容可以看conf/hadoop-default.xml
-   * 注意！fs.default.name = hdfs://node01:9000/ ；而mapred.job.tracker = node02:9001，看出差異了嗎！一個有指hdfs://，一個沒有，重要！易混淆。
+   * 注意！fs.default.name = hdfs://pc001:9000/ ；而mapred.job.tracker = pc002:9001，看出差異了嗎！一個有指hdfs://，一個沒有，重要！易混淆。
    
  == step 6. 設定masters及slaves ==
@@ -165 +165 @@
 {{{
 #!sh
-node01
-node02
+pc001
+pc002
 }}}
 
@@ -173 +173 @@
  * 在Node 1 上對遠端Node 2 作開資料夾/opt/hadoop及權限設定
 {{{
-/opt/hadoop$ ssh node02 "sudo mkdir /opt/hadoop"
-/opt/hadoop$ ssh node02 "sudo chown -R hadooper:hadooper /opt/hadoop"
+/opt/hadoop$ ssh pc002 "sudo mkdir /opt/hadoop"
+/opt/hadoop$ ssh pc002 "sudo chown -R hadooper:hadooper /opt/hadoop"
 }}}
 
  * 複製Node 1 的hadoop資料夾到Node 2 上
 {{{
-/opt/hadoop$ scp -r /opt/hadoop/* node02:/opt/hadoop/
+/opt/hadoop$ scp -r /opt/hadoop/* pc002:/opt/hadoop/
 }}}
 
@@ -196 +196 @@
 /************************************************************
 STARTUP_MSG: Starting NameNode
-STARTUP_MSG:   host = node02
+STARTUP_MSG:   host = pc002
 STARTUP_MSG:   args = [-format]
 STARTUP_MSG:   version = 0.18.3
@@ -208 +208 @@
 09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: 
 /************************************************************
-SHUTDOWN_MSG: Shutting down NameNode at node02
+SHUTDOWN_MSG: Shutting down NameNode at pc002
 ************************************************************/
 }}}
@@ -224 +224 @@
 
 ------
-   * http://node01:50070/ - Hadoop DFS 狀態
+   * http://pc001:50070/ - Hadoop DFS 狀態
    * [[Image(datanode.png)]]
 ------
    
-   * ps: 然而JobTracker還沒啟動，因此 http://node02:50030/ 網頁無法顯示
+   * ps: 然而JobTracker還沒啟動，因此 http://pc002:50030/ 網頁無法顯示
 
  * bin/start-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動tasktracker。
@@ -235 +235 @@
    
 {{{
-/opt/hadoop$ ssh node02 "/opt/hadoop/bin/start-mapred.sh"
+/opt/hadoop$ ssh pc002 "/opt/hadoop/bin/start-mapred.sh"
 }}}
 
  * 啟動之後, jobtracker也正常運作囉！
 ------
-   * http://node02:50030/ - Hadoop 管理介面
+   * http://pc002:50030/ - Hadoop 管理介面
    * [[Image(job.png)]]
 ------