Changes between Version 2 and Version 3 of Hinet130923/Lab7


Ignore:
Timestamp:
Sep 23, 2013, 5:03:23 PM (11 years ago)
Author:
jazz
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • Hinet130923/Lab7

    v2 v3  
     1[[PageOutline]]
     2
     3◢ <[wiki:Hinet130923/Lab6 實作六]> | <[wiki:Hinet130923 回課程大綱]> ▲ | <[wiki:Hinet130923/Lab8 實作八]> ◣
     4
     5= 實作七 Lab7 =
     6
    17{{{
    2   export HADOOP_CONF_DIR=~/hadoop/conf.pseudo/
    3   hadoop fs -ls
    4   export HADOOP_CONF_DIR=~/hadoop/conf.local/
    5   hadoop fs -ls
    6   unset HADOOP_CONF_DIR
    7   hadoop fs -ls
     8#!html
     9<div style="text-align: center;"><big style="font-weight: bold;"><big>基本除錯技能(三) 切換 Hadoop 設定檔<br/>Debug Skill (3) Change Hadoop Configuration for Hadoop Client</big></big></div>
    810}}}
     11
     12{{{
     13#!text
     14請先連線至 nodeN.3du.me , N 為您的報名編號
     15}}}
     16
     17 * 通常一般程式設計師只能取得有限的權限,無法修改 hadoop 叢集的設定,因此是否能夠在 Hadoop Client 端對某些使用者有權修改的參數進行調整呢?
     18 * 答案是可行的! Hadoop Client 執行端可以透過 HADOOP_CONF_DIR 環境變數來修改想要調整的 Hadoop 參數。以下拿前述的三種模式來做示範。
     19 * 各位前面執行完實作三,目前是運行於全分散模式(Full Distributed Mode)。我們可以透過修改 HADOOP_CONF_DIR 環境變數切換 hadoop 指令會採用的模式:
     20{{{
     21user@node1:~/hadoop_labs$ export HADOOP_CONF_DIR=~/hadoop/conf.pseudo/
     22user@node1:~/hadoop_labs$ hadoop fs -ls
     23user@node1:~/hadoop_labs$ export HADOOP_CONF_DIR=~/hadoop/conf.local/
     24user@node1:~/hadoop_labs$ hadoop fs -ls
     25user@node1:~/hadoop_labs$ unset HADOOP_CONF_DIR
     26user@node1:~/hadoop_labs$ hadoop fs -ls
     27}}}
     28 * 甚至透過這種方式,我們可以讓 Hadoop Client 在不同座 Hadoop 叢集之間做切換
     29{{{
     30user@node50:~/hadoop_labs$ cd
     31user@node50:~$ cp -r hadoop/conf.full hadoop/conf.node1
     32user@node50:~$ sed -r 's#node50#node1#g' hadoop/conf.node1/core-site.xml
     33user@node50:~$ sed -r 's#node50#node1#g' hadoop/conf.node1/mapred-site.xml
     34}}}