Changes between Version 23 and Version 24 of MR_manual


Ignore:
Timestamp:
Sep 1, 2008, 5:06:43 PM (16 years ago)
Author:
waue
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • MR_manual

    v23 v24  
    6868Building UP Path
    6969 || Name || Path ||
     70 || Java Home || /usr/lib/jvm/java-6-sun ||
    7071 || Hadoop Home || /home/waue/workspace/hadoop/ ||
    71  || Java Home || /usr/lib/jvm/java-6-sun ||
     72 || Hbase Home || /home/waue/workspace/hbase/ ||
     73
     74Nodes set
     75 || node name || server ||
     76 || cloud1 || v ||
     77 || cloud2 ||  ||
     78 || cloudn ||  ||
    7279
    7380 == 2.2 Hadoop Setup ==
    … …  
    108115<property>
    109116  <name>fs.default.name</name>
    110   <value>localhost:9000</value>
     117  <value>cloud1:9000</value>
    111118  <description>
    112119  </description>
    … …  
    114121<property>
    115122  <name>mapred.job.tracker</name>
    116   <value>localhost:9001</value>
     123  <value>cloud1:9001</value>
    117124  <description>
    118125  </description>
    … …  
    138145</configuration>
    139146}}}
     147
     148 3. multi-nodes mode [[BR]]
     149$ vim conf/master
     150{{{
     151cloud1
     152}}}
     153$ vim conf/slaves
     154{{{
     155cloud1
     156cloud2
     157cloudn
     158}}}
     159
    140160 == 2.3 Hbase ==
    141161
    142   * 以下有幾個簡單的步驟:(包含了下載.安裝及配置HBase)
    143     * 首先需要先下載HBase最新且穩定的版本[http://www.apache.org/dyn/closer.cgi/hadoop/hbase/ Download]
    144     * 接著將下載的檔案移到你想要跑HBase的目錄下,如/home/user/hbase
    145     * 移動到/home/user/hbase此目錄下
    146 {{{
    147 $ cd /home/user/hbase
     162  * 下載HBase[http://www.apache.org/dyn/closer.cgi/hadoop/hbase/ Download]
     163  * 將hbase移到你想要跑HBase的目錄下,如/home/waue/workspace/hbase
     164    * 移動到此目錄下
     165{{{
     166$ cd /home/waue/workspace/hbase
    148167}}}
    149168    * 編輯conf/hbase-env.sh檔案,加入以下這行 (需視使用者的JAVA路徑而定)
    150169{{{
    151170$ vi conf/hbase-env.sh
    152   export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.03
    153 }}}
    154     * 啟動hbase
    155 {{{
    156 $ bin/start-hbase.sh
    157 }}}   
    158     * 可以在預設的logs/目錄下看到不少logs檔案
    159     * 可以執行以下指令進到HQL指令模式,可以試試看
    160 {{{
    161 $ bin/hbase shell
    162 Hbase Shell, 0.0.2 version.
    163 Copyright (c) 2007 by udanax, licensed to Apache Software Foundation.
    164 Type 'help;' for usage.
    165 hql >
    166 }}}
    167     * 要結束hbase server 可用以下指令,而避免使用kill pid指令來殺掉pid,尤其是恐怖的指令kill -9 pid
    168 {{{
    169 $ bin/stop-hbase.sh
    170 }}}
    171       * 解釋: kill -9 是當 kill -15 砍不掉的時候 才用,kill -15 會去幫你注意檔案或裝置讀寫有沒有關起來,kill -9 就不管,直接停掉process (reference from sunny)
    172     * 注意:如果有要跑一個遠端的HDFS,而希望可以用hbase連接,此時需要編輯conf/hbase-site.xml檔案,如下
     171  export JAVA_HOME=/usr/lib/jvm/java-6-sun
     172}}}
     173    * 如果有要跑一個遠端的HDFS,而希望可以用hbase連接
     174      * 編輯 conf/hbase-site.xml檔案,如下
    173175{{{
    174176$ vi conf/hbase-site.xml
    … …  
    177179     <name>hbase.rootdir</name>
    178180     <value>file:///tmp/hbase-${user.home}/hbase</value>
    179      <value>hdfs://localhost:9000/hbase</value>
     181     <value>hdfs://cloud1:9000/hbase</value>
    180182     <description>
    181183         The directory shared by region servers.
    … …  
    185187</configuration>
    186188}}}
     189      * 編輯 conf/hbase-site.xml檔案,如下
     190{{{
     191cloud1
     192cloud2
     193cloudn
     194}}}
     195
     196 == 2.4 ==
     197 * Method1: Copy configured data to all nodes
     198   * cloud1 --> cloud2
     199{{{
     200scp -r /home/waue/workspace/hadoop waue@cloud2:/home/waue/workspace/
     201scp -r /home/waue/workspace/hbase waue@cloud2:/home/waue/workspace/
     202scp -r /etc/hosts root@cloud2:/etc/
     203}}}
     204 * Method2: Use wonderful DRBL
    187205
    188206 = 三、執行 =
    189  * Start Up Hadoop
     207 == 3.1 Start Up Hadoop ==
    190208
    191209 $ cd $HADOOP_HOME [[br]]
    … …  
    227245}}}
    228246
     247 == 3.2 Start Up Hbase ==
     248
     249{{{
     250cd $HBASE_HOME
     251$ bin/start-hbase.sh
     252}}}   
     253    * 可以在預設的logs/目錄下看到不少logs檔案
     254    * 可以執行以下指令進到HQL指令模式,可以試試看
     255{{{
     256$ bin/hbase shell
     257Hbase Shell, 0.0.2 version.
     258Copyright (c) 2007 by udanax, licensed to Apache Software Foundation.
     259Type 'help;' for usage.
     260hql >
     261}}}
     262    * 要結束hbase server 可用以下指令,而避免使用kill pid指令來殺掉pid,尤其是恐怖的指令kill -9 pid
     263{{{
     264$ bin/stop-hbase.sh
     265}}}
     266      * 解釋: kill -9 是當 kill -15 砍不掉的時候 才用,kill -15 會去幫你注意檔案或裝置讀寫有沒有關起來,kill -9 就不管,直接停掉process (reference from sunny)
     267
    229268 = 四、效能測試 =
    230269{{{