Changes between Version 23 and Version 24 of MR_manual

Timestamp:

Sep 1, 2008, 5:06:43 PM (17 years ago)

Author:

waue

Comment:

--

MR_manual

@@ -68 +68 @@
 Building UP Path
  || Name || Path || 
+ || Java Home || /usr/lib/jvm/java-6-sun || 
  || Hadoop Home || /home/waue/workspace/hadoop/ || 
- || Java Home || /usr/lib/jvm/java-6-sun || 
+ || Hbase Home || /home/waue/workspace/hbase/ || 
+
+Nodes set
+ || node name || server || 
+ || cloud1 || v || 
+ || cloud2 ||  ||
+ || cloudn ||  ||
 
  == 2.2 Hadoop Setup == 
@@ -108 +115 @@
 <property>
   <name>fs.default.name</name>
-  <value>localhost:9000</value>
+  <value>cloud1:9000</value>
   <description>
   </description>
@@ -114 +121 @@
 <property>
   <name>mapred.job.tracker</name>
-  <value>localhost:9001</value>
+  <value>cloud1:9001</value>
   <description>
   </description>
@@ -138 +145 @@
 </configuration>
 }}}
+
+ 3. multi-nodes mode [[BR]]
+$ vim conf/master
+{{{
+cloud1
+}}}
+$ vim conf/slaves
+{{{
+cloud1
+cloud2
+cloudn
+}}}
+
  == 2.3 Hbase == 
 
-  * 以下有幾個簡單的步驟:(包含了下載.安裝及配置HBase)
-    * 首先需要先下載HBase最新且穩定的版本[http://www.apache.org/dyn/closer.cgi/hadoop/hbase/ Download]
-    * 接著將下載的檔案移到你想要跑HBase的目錄下,如/home/user/hbase
-    * 移動到/home/user/hbase此目錄下
-{{{
-$ cd /home/user/hbase
+  * 下載HBase[http://www.apache.org/dyn/closer.cgi/hadoop/hbase/ Download]
+  * 將hbase移到你想要跑HBase的目錄下,如/home/waue/workspace/hbase
+    * 移動到此目錄下
+{{{
+$ cd /home/waue/workspace/hbase
 }}}
     * 編輯conf/hbase-env.sh檔案,加入以下這行 (需視使用者的JAVA路徑而定)
 {{{
 $ vi conf/hbase-env.sh
-  export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.03
-}}}
-    * 啟動hbase
-{{{
-$ bin/start-hbase.sh
-}}}   
-    * 可以在預設的logs/目錄下看到不少logs檔案
-    * 可以執行以下指令進到HQL指令模式,可以試試看
-{{{
-$ bin/hbase shell
-Hbase Shell, 0.0.2 version.
-Copyright (c) 2007 by udanax, licensed to Apache Software Foundation.
-Type 'help;' for usage.
-hql > 
-}}}
-    * 要結束hbase server 可用以下指令,而避免使用kill pid指令來殺掉pid,尤其是恐怖的指令kill -9 pid 
-{{{
-$ bin/stop-hbase.sh
-}}}
-      * 解釋: kill -9 是當 kill -15 砍不掉的時候 才用,kill -15 會去幫你注意檔案或裝置讀寫有沒有關起來,kill -9 就不管,直接停掉process (reference from sunny)
-    * 注意:如果有要跑一個遠端的HDFS,而希望可以用hbase連接,此時需要編輯conf/hbase-site.xml檔案,如下
+  export JAVA_HOME=/usr/lib/jvm/java-6-sun
+}}}
+    * 如果有要跑一個遠端的HDFS,而希望可以用hbase連接
+      * 編輯 conf/hbase-site.xml檔案,如下
 {{{
 $ vi conf/hbase-site.xml 
@@ -177 +179 @@
      <name>hbase.rootdir</name>
      <value>file:///tmp/hbase-${user.home}/hbase</value>
-     <value>hdfs://localhost:9000/hbase</value>
+     <value>hdfs://cloud1:9000/hbase</value>
      <description>
          The directory shared by region servers.
@@ -185 +187 @@
 </configuration>
 }}}
+      * 編輯 conf/hbase-site.xml檔案,如下
+{{{
+cloud1
+cloud2
+cloudn
+}}}
+
+ == 2.4 == 
+ * Method1: Copy configured data to all nodes
+   * cloud1 --> cloud2 
+{{{
+scp -r /home/waue/workspace/hadoop waue@cloud2:/home/waue/workspace/
+scp -r /home/waue/workspace/hbase waue@cloud2:/home/waue/workspace/
+scp -r /etc/hosts root@cloud2:/etc/
+}}}
+ * Method2: Use wonderful DRBL 
 
  = 三、執行 = 
- * Start Up Hadoop 
+ == 3.1 Start Up Hadoop == 
 
  $ cd $HADOOP_HOME [[br]]
@@ -227 +245 @@
 }}}
 
+ == 3.2 Start Up Hbase == 
+
+{{{
+cd $HBASE_HOME
+$ bin/start-hbase.sh
+}}}   
+    * 可以在預設的logs/目錄下看到不少logs檔案
+    * 可以執行以下指令進到HQL指令模式,可以試試看
+{{{
+$ bin/hbase shell
+Hbase Shell, 0.0.2 version.
+Copyright (c) 2007 by udanax, licensed to Apache Software Foundation.
+Type 'help;' for usage.
+hql > 
+}}}
+    * 要結束hbase server 可用以下指令,而避免使用kill pid指令來殺掉pid,尤其是恐怖的指令kill -9 pid 
+{{{
+$ bin/stop-hbase.sh
+}}}
+      * 解釋: kill -9 是當 kill -15 砍不掉的時候 才用,kill -15 會去幫你注意檔案或裝置讀寫有沒有關起來,kill -9 就不管,直接停掉process (reference from sunny)
+
  = 四、效能測試 = 
 {{{