Changes between Version 3 and Version 4 of jazz/Hadoop_Lab3


Ignore:
Timestamp:
Mar 24, 2009, 5:29:14 PM (16 years ago)
Author:
waue
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • jazz/Hadoop_Lab3

    v3 v4  
    1313 * 這個實做會架設運作在叢集環境上的Hadoop，因此若是你的電腦還存在著之前的實做一的環境，請先作step 0，以移除掉之前的設定。
    1414
    15  * 以下node1_ip代表你node1的ip位址，node2_ip為你node2的ip位址，請查清楚之後作設定
    16  
     15 * 以下Node_1_IP_Addr代表你node1的ip位址，Node_2_IP_Addr為你node2的ip位址，請查清楚之後作設定
     16 
     17 * 為了簡化操作步驟，'''大部分的指令在node1執行即可，不過step2 的安裝java則需要在node2上實機操作喔！'''
    1718=== 清除所有在實做一作過的環境 ===
    1819
    … …  
    2627}}}
    2728
    28 === 設定hostname ===
    29 
    30  == step 1. 安裝java ==
     29 == step 1. 設定兩台機器登入免密碼 ==
     30 
     31 * 在node1上操作
     32 
     33{{{
     34~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
     35~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
     36~$ scp -r ~/.ssh Node_2_IP_Addr:~/
     37~$ ssh Node_2_IP_Addr
     38~$ ssh Node_1_IP_Addr
     39~$ exit
     40~$ exit
     41}}}
     42
     43 * 完成後請登入確認不用輸入密碼，（第一次登入需按enter鍵，第二次就可以直接登入到系統），以免日後輸入密碼不只手軟而已....
     44
     45 == step 2. 安裝java ==
    3146
    3247 * 為兩台電腦安裝java
    33 
    34    * node1 & node2
    35    
     48   * node1 & node2 都要操作以下指令
    3649{{{
    3750~$ sudo apt-get purge java-gcj-compat
    3851~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre
    3952}}}
    40  
    41  == step 2. 設定兩台機器登入免密碼 ==
    42  
    43  * 在node1上操作
    44  
    45 {{{
    46 ~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
    47 ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    48 ~$ scp -r ~/.ssh node2_ip:~/
    49 ~$ ssh node2_ip
    50 ~$ ssh node1_ip
    51 ~$ exit
    52 ~$ exit
    53 }}}
    54 
    55  * 完成後請登入確認不用輸入密碼，（第一次登入需按enter鍵，第二次就可以直接登入到系統），以免日後輸入密碼不只手軟而已....
     53   
    5654
    5755 == step 3. 下載安裝Hadoop到node1 ==
    … …  
    103101  <property>
    104102    <name>fs.default.name</name>
    105     <value>hdfs://node1_ip:9000/</value>
     103    <value>hdfs://Node_1_IP_Addr:9000/</value>
    106104    <description> </description>
    107105  </property>
    108106  <property>
    109107    <name>mapred.job.tracker</name>
    110     <value>hdfs://node2_ip:9001</value>
     108    <value>hdfs://Node_2_IP_Addr:9001</value>
    111109    <description>  </description>
    112110  </property>
    … …  
    141139 * 在node1上對遠端node2作開資料夾/opt/hadoop及權限設定
    142140{{{
    143 /opt/hadoop$ ssh node2_ip "sudo mkdir /opt/hadoop"
    144 /opt/hadoop$ ssh node2_ip "sudo chown -R hadoop:hadooper /opt/hadoop"
     141/opt/hadoop$ ssh Node_2_IP_Addr "sudo mkdir /opt/hadoop"
     142/opt/hadoop$ ssh Node_2_IP_Addr "sudo chown -R hadoop:hadooper /opt/hadoop"
    145143}}}
    146144
    147145 * 複製node1的hadoop資料夾到node2上
    148146{{{
    149 /opt/hadoop$ scp -r /opt/hadoop/* node2_ip:/opt/hadoop/
     147/opt/hadoop$ scp -r /opt/hadoop/* Node_2_IP_Addr:/opt/hadoop/
    150148}}}
    151149
    … …  
    191189 * 在node2上，執行下面的命令啟動Map/Reduce：
    192190{{{
    193 $ ssh node2_ip "bin/start-mapred.sh"
     191$ ssh Node_2_IP_Addr "bin/start-mapred.sh"
    194192}}}
    195193
    … …  
    200198 * 啟動之後，可以檢查以下網址，來觀看服務是否正常。
    201199 
    202    * http://node2_ip:50030/ - Hadoop 管理介面
     200   * http://Node_2_IP_Addr:50030/ - Hadoop 管理介面
    203201   * [[Image(hadoop_administration.png)]]
    204202------
    205    * http://node1_ip:50070/ - Hadoop DFS 狀態
     203   * http://Node_1_IP_Addr:50070/ - Hadoop DFS 狀態
    206204   * [[Image(hadoop_dfs_status.png)]]
    207205