Changes between Version 2 and Version 3 of Hadoop_Lab7


Ignore:
Timestamp:
Apr 26, 2010, 6:37:22 PM (15 years ago)
Author:
waue
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • Hadoop_Lab7

    v2 v3  
    2929~$ cd ~
    3030~$ /opt/hadoop/bin/stop-all.sh
    31 ~$ rm -rf /tmp/hadoop-hadooper*
     31~$ rm -rf /var/hadoop
    3232~$ sudo rm -rf /opt/hadoop
    3333~$ rm -rf ~/.ssh
    … …  
    8383{{{
    8484~$ cd /opt
    85 /opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz
    86 /opt$ sudo tar zxvf hadoop-0.18.3.tar.gz
    87 /opt$ sudo mv hadoop-0.18.3/ hadoop
     85/opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
     86/opt$ sudo tar zxvf hadoop-0.20.2.tar.gz
     87/opt$ sudo mv hadoop-0.20.2/ hadoop
    8888/opt$ sudo chown -R hadooper:hadooper hadoop
     89/opt$ sudo mkdir /var/hadoop
     90/opt$ sudo chown -R hadooper:hadooper /var/hadoop
    8991}}}
    9092
    … …  
    112114 == step 5. 設定 hadoop-site.xml ==
    113115 
    114  * 第二個設定檔是 '''hadoop-site.xml'''，由於官方所提供的範例並無法直接執行，因此我們參考[http://hadoop.apache.org/core/docs/r0.18.3/quickstart.html 線上文件]，做了以下的修改。
    115  
    116 {{{
    117 /opt/hadoop# gedit conf/hadoop-site.xml
     116 * 第二個設定檔是 '''hadoop-site.xml'''，由於官方所提供的範例並無法直接執行，因此我們參考[http://hadoop.apache.org/core/docs/r0.20.2/quickstart.html 線上文件]，做了以下的修改。
     117 
     118{{{
     119/opt/hadoop# gedit conf/core-site.xml
    118120}}}
    119121
    … …  
    125127  <property>
    126128    <name>fs.default.name</name>
    127     <value>hdfs://主機一:9000/</value>
    128     <description> </description>
    129   </property>
     129    <value>hdfs://localhost:9000</value>
     130  </property>
     131  <property>
     132    <name>hadoop.tmp.dir</name>
     133    <value>/var/hadoop/hadoop-${user.name}</value>
     134  </property>
     135</configuration>
     136
     137}}}
     138
     139{{{
     140/opt/hadoop# gedit conf/hdfs-site.xml
     141}}}
     142
     143 將以下資料取代掉原本的內容
     144
     145{{{
     146#!sh
     147<configuration>
     148  <property>
     149    <name>dfs.replication</name>
     150    <value>2</value>
     151  </property>
     152</configuration>
     153
     154}}}
     155
     156{{{
     157/opt/hadoop# gedit conf/mapred-site.xml
     158}}}
     159
     160 將以下資料取代掉原本的內容
     161
     162{{{
     163#!sh
     164<configuration>
    130165  <property>
    131166    <name>mapred.job.tracker</name>
    132     <value>主機一:9001</value>
    133     <description>  </description>
    134   </property>
    135   <property>
    136     <name>hadoop.tmp.dir</name>
    137     <value>/tmp/hadoop/hadoop-${user.name}</value>
    138     <description> </description>
     167    <value>localhost:9001</value>
    139168  </property>
    140169</configuration>
    141 }}}
    142    * 注意！ 我們多加了一個參數hadoop.tmp.dir，讓預設的中介資料存放在/tmp/hadoop/ 而不是/tmp/ 下，更多內容可以看conf/hadoop-default.xml
     170
     171}}}
     172
    143173   * 注意！fs.default.name = hdfs://主機一:9000/ ；而mapred.job.tracker = 主機一:9001，看出差異了嗎！一個有指hdfs://，一個沒有，重要！易混淆。
    144174   
    … …  
    188218
    189219
    190 STARTUP_MSG:   version = 0.18.3
     220STARTUP_MSG:   version = 0.20.2
    191221STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009
    192222************************************************************/