close Warning: Can't synchronize with repository "(default)" (Unsupported version control system "svn": /usr/lib/python2.7/dist-packages/libsvn/_repos.so: failed to map segment from shared object: Cannot allocate memory). Look in the Trac log for more information.

Changes between Version 1 and Version 2 of HadoopWorkshopHandsOn


Ignore:
Timestamp:
Nov 6, 2008, 1:47:48 PM (17 years ago)
Author:
jazz
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • HadoopWorkshopHandsOn

    v1 v2  
    11== Hadoop Hands-on Labs (1) ==
    22
    3  * download hadoop-0.18.2
     3 1. download hadoop-0.18.2
    44{{{
    55$ cd ~
    … …  
    77$ tar zxvf hadoop-0.18.2.tar.gz
    88}}}
    9  * 1. Hadoop 會用 SSH 進行內部連線，因此需要做 SSH Key exchange
     9 2. Hadoop 會用 SSH 進行內部連線，因此需要做 SSH Key exchange
    1010{{{
    1111~$ ssh-keygen
    1212~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    1313}}}
    14  * 2. 需要 JAVA_HOME 環境變數才能執行 hadoop namenode
     14 3. 需要 JAVA_HOME 環境變數才能執行 hadoop namenode
    1515{{{
    1616$ echo "export JAVA_HOME=/usr/lib/jvm/java-6-sun" >> ~/.bash_profile
    1717$ cd ~/hadoop-0.18.2
    1818}}}
    19  * 3. 編輯 conf/hadoop-evn.sh (HADOOP_HOME要設定到你的hadoop安裝目錄)
     19 4. 編輯 conf/hadoop-evn.sh (HADOOP_HOME要設定到你的hadoop安裝目錄)
    2020{{{
    2121export JAVA_HOME=/usr/lib/jvm/java-6-sun
    … …  
    2323export HADOOP_CONF_DIR=$HADOOP_HOME/conf
    2424}}}
    25  * 4. 編輯 conf/hadoop-site.xml 在 configuration 那一段加入以下設定
     25 5. 編輯 conf/hadoop-site.xml 在 configuration 那一段加入以下設定
    2626{{{
    2727<property>
    … …  
    4242  </description>
    4343</property>
    44 
    4544}}}
    46  * 5. 啟動hadoop 的兩道指令
     45 6. 啟動hadoop 的兩道指令
    4746{{{
    4847~/hadoop-0.18.2$ bin/hadoop namenode -format
    4948~/hadoop-0.18.2$ bin/start-all.sh
    5049}}}
    51  * 6. 完成後可以看到以下三個網頁
     50 7. 完成後可以看到以下三個網頁
    5251   * http://localhost:50030/
    5352   * http://localhost:50060/
    5453   * http://localhost:50070/
    5554
    56  * 7. 也可以放的東西上hdfs去看看
     55 8. 也可以放的東西上hdfs去看看
    5756{{{
    5857~/hadoop-0.18.2$ bin/hadoop dfs -put conf conf