◢ <實作二> | <回課程大綱> ▲ | <實作四> ◣

實作三 Lab3

Hadoop 本機模式
Apache Hadoop Local Mode

帳號註冊

• 有興趣註冊個人使用的帳號，請至國網中心簡單龍雲端服務(easycloud)網站進行申請 - ​http://easycloud.nchc.org.tw
• 由於目前帳號申請採人工產生帳號，無法馬上產生實驗用帳號。
• 

產生虛擬機器

• 
• 
• 
• 

安裝 Git

• 開啟第1台的 VNC 遠端桌面
• 

  ~$ su -
  ~# locale-gen zh_TW.UTF-8
  ~# echo "nameserver 8.8.8.8" >> /etc/resolv.conf
  ~# apt-get -y install git
  ~# git clone https://github.com/jazzwang/hadoop_labs.git
  

安裝 Hadoop

• 首先, 我們來介紹 Hadoop 的三種安裝模式
• <參考> ​http://hadoop.apache.org/docs/stable/single_node_setup.html

  Now you are ready to start your Hadoop cluster in one of the three supported modes:
  
    * Local (Standalone) Mode
    * Pseudo-Distributed Mode
    * Fully-Distributed Mode
  

• 開始動手吧~請剪貼以下的步驟:

  ~# cd hadoop_labs
  ~/hadoop_labs# lab000/hadoop-local-mode
  

• 等待安裝的過程中，讓我們來​講解 hadoop-local-mode 這隻 Shell Script 做了哪些事情。

• 安裝完成，首先先讓我們觀察有幾個 java process

  ~/hadoop_labs# jps
  

• 觀察有沒有開 port

  ~/hadoop_labs# netstat -nap | grep java
  

• 讓我們來複習一下 HDFS 的基本操作

  ~/hadoop_labs# cd ~
  ~# ls
  ~# source ~/.bashrc
  ~# hadoop fs -ls
  ~# hadoop fs -mkdir tmp
  ~# hadoop fs -ls
  ~# ls
  ~# hadoop fs -put ${HOME}/hadoop/conf.local input
  ~# hadoop fs -ls
  ~# ls
  

實作習題

試回答以下問題:

1. 當您下 jps 指令之後,除了 jps 以外,看到幾個 java process ?

       (A) 0,只有 jps 一個結果
       (B) 1
       (C) 2
       (D) 3
       (E) 4
   

2. 回到家目錄,執行 hadoop fs -ls 指令,您看到的結果跟直接下 ls 有無不同?

       (A) hadoop fs -ls 會顯示完整路徑,並將隱藏檔案也秀出來. ls 只會秀出一般的檔案
       (B) 顯示 can not access 
   

3. 在家目錄, 執行 hadoop fs -mkdir tmp 指令,對家目錄有何影響?

       (A) 在家目錄底下多了一個 tmp 目錄
       (B) 家目錄沒有任何改變
   

<補充> 安裝 Hadoop 1.2.1

• 進入視窗環境後，請開啟一個終端機(terminal)，並執行以下指令即可完成 Hadoop 1.2.1 的單機安裝

  wget http://hadoop.nchc.org.tw/~jazz/temp/install-hadoop-1.2.1-precise
  chmod a+x install-hadoop-1.2.1-precise
  ./install-hadoop-1.2.1-precise
  

• 確認安裝是否正確，請開啟 ​http://localhost:50070 與 ​http://localhost:50030