wiki:BigThingCamp160227/Lab2

Version 1 (modified by jazz, 9 years ago) (diff)

--

◢ <實作一> | <回課程大綱> ▲ | <實作三> ◣

實作二 Lab2

偽分散模式
Pseudo-Distributed Mode

  • 請剪貼以下的步驟:
    ~$ cd ~/hadoop_labs/
    ~/hadoop_labs$ lab001/hadoop-pseudo-mode
    
  • 觀察 java process 個數
    ~/hadoop_labs$ jps
    
  • 觀察開了哪些 port,綁在哪個 IP 位址
    ### 取得 NameNode 的 java process id
    ~/hadoop_labs$ NN=$(jps | grep NameNode | awk '{ print $1 }')
    ~/hadoop_labs$ echo $NN
    ## 查詢 NameNode 開了哪些 port 
    ~/hadoop_labs$ netstat -nap | grep $NN | grep "LISTEN" | grep ":" | nl
    
  • 使用 hadoop fs -ls 指令來觀察目錄結構
    ~/hadoop_labs$ hadoop fs -ls
    ls: Cannot access .: No such file or directory.
    ~/hadoop_labs$ hadoop fs -ls /
    Found 1 items
    drwxr-xr-x   - user supergroup          0 2013-06-29 12:25 /home
    

  • 使用 hadoop fs -mkdir tmp 指令來建立一個空的 tmp 目錄
    ~/hadoop_labs$ hadoop fs -mkdir tmp
    ~/hadoop_labs$ hadoop fs -ls 
    Found 1 items
    drwxr-xr-x   - user supergroup          0 2013-06-29 12:44 /user/user/tmp
    ~/hadoop_labs$ hadoop fs -ls tmp
    ~/hadoop_labs$ ls tmp
    ls: cannot access tmp: No such file or directory
    
  • 用 hadoop fs -put 指令上傳資料到 HDFS
    ~/hadoop_labs$ hadoop fs -put ${HOME}/hadoop/conf.local input
    ~/hadoop_labs$ hadoop fs -ls
    Found 2 items
    drwxr-xr-x   - user supergroup          0 2013-06-29 12:51 /user/user/input
    drwxr-xr-x   - user supergroup          0 2013-06-29 12:44 /user/user/tmp
    

實作習題

<問題 1> 當您下 jps 指令之後,除了 jps 以外,看到幾個 java process ?

    (A) 0,只有 jps 一個結果
    (B) 1
    (C) 2
    (D) 3
    (E) 4

<問題 2> 當您下 netstat -nap | grep $NN | grep "LISTEN" | grep ":" | nl 指令之後, 觀察到 NameNode 開了幾個連線埠(Port)呢?

    (A) 1
    (B) 2
    (C) 3
    (D) 4

< 問題 3 > 執行 hadoop fs -mkdir tmp 指令,對本機工作目錄有何影響?

    (A) 在工作目錄底下多了一個 tmp 目錄
    (B) 工作目錄沒有任何改變

< 問題 4 > 執行 hadoop fs -put 指令,對本機工作目錄有何影響?

    (A) 在工作目錄底下多了一個 input 目錄
    (B) 工作目錄沒有任何改變

< 問題 5 > Local Mode 與 Pseudo-Distributed Mode 對"相對路徑"的認定差異,以下哪些陳述是正確的? (複選)

    (A) Local Mode 以目前工作目錄(pwd), 為相對路徑參考
    (B) Local Mode 以根目錄(/), 為相對路徑參考
    (C) Local Mode 以使用者家目錄(/home/$USER), 為相對路徑參考
    (D) Pseudo-Distributed Mode 以目前工作目錄(pwd), 為相對路徑參考
    (E) Pseudo-Distributed Mode 以根目錄(/), 為相對路徑參考
    (F) Pseudo-Distributed Mode 以使用者家目錄(/user/$USER), 為相對路徑參考