wiki:III140705/Lab1

◢ | <回課程大綱> ▲ | <實作二> ◣

實作一 Lab1

單機模式
Local (Standalone) Mode

請先連線至 nodeN.3du.me , N 為您的報名編號

STEP 0 : 確認實驗環境

  • 此次課程,將運行於 Ubuntu 12.04.2 LTS 版本。
  • 為了方便課程進行,將採用遠端的 Amazon EC2 VM 為主要實驗環境,將只能使用到 2014/07/06 23:00 為止。
  • 首先請連線至 nodeN.3du.me ,請將 N 更換為您的報名編號。
帳號 ubuntu 密碼 現場說明

下載 pietty

  • 如果講師提供的是 *.pem 的金鑰檔案,請下載 PuttyGen 並參考 Amazon EC2 的官方說明文件,將 *.pem 轉換成 *.ppk 金鑰檔案。
  • 為了連線至 Amazon EC2 ,您必須先設定 PuTTY / PieTTY 採用 PuttyGen 產生的 *.ppk 金鑰,才有辦法連到 nodeN.3du.me
  • 設定參考畫面:
    • 請輸入遠端主機網址 nodeN.3du.me ,選擇 PuTTY 模式,然後參考下圖設置 ppk 金鑰。
    • 然後選擇 SSH auth 選擇私鑰 userN.ppk

<補充> 拿 Ubuntu 12.04 Live CD 當自習環境

  • 備註:經測試 Ubuntu 12.04 Live CD 在虛擬機器環境下運行,需要至少 3GB RAM 才能正常執行後續的實作!!
  • 若您是使用自己的 Ubuntu 12.04 Live CD 請先安裝 git
    ~$ sudo apt-get -y install git
    

STEP 1 : 從 github 取得本次課程的範例

~$ git clone https://github.com/jazzwang/hadoop_labs.git
  • 您應該會看到類似底下的結果:
    ~$ git clone https://github.com/jazzwang/hadoop_labs.git                                                     
    Cloning into 'hadoop_labs'...
    remote: Counting objects: 249, done.
    remote: Compressing objects: 100% (166/166), done.
    remote: Total 249 (delta 115), reused 176 (delta 44)
    Receiving objects: 100% (249/249), 53.64 KiB, done.
    Resolving deltas: 100% (115/115), done. 
    
  • 檢查是否有 hadoop_labs 目錄
    ~$ cd hadoop_labs/
    ~/hadoop_labs$ ls -al
    

STEP 2 : 執行安裝腳本

  • 開始動手吧~請剪貼以下的步驟:
    ~$ cd ~/hadoop_labs
    ~/hadoop_labs$ sudo apt-get -y install wget
    ~/hadoop_labs$ lab000/hadoop-local-mode
    
  • 等待安裝的過程中,讓我們來講解 hadoop-local-mode 這隻 Shell Script 做了哪些事情。
    1. 安裝 Java Runtime Environment (JRE) 與 Java Development Kit (JDK) - 雖然目前 Oracle 已經釋出 JDK/JRE7,但 JDK/JRE 6 還是 Hadoop 開發者有經過大量測試驗證的版本。未來若要進行商業運轉,建議安裝 CDH4 或 HDP 搭配 JRE7。
    2. 下載 hadoop-$VERSION.tar.gz
    3. 解壓縮到 ${HOME}/hadoop
    4. 設定 ${HOME}/hadoop/conf.local/hadoop-env.sh
    5. 設定 ${HOME}/.bashrc 加入 PATH 環境變數
  • 安裝完成,首先先讓我們觀察有幾個 java process
    ~/hadoop_labs$ jps
    
  • 觀察有沒有開 port
    ~/hadoop_labs$ netstat -nap | grep java
    
  • 讓我們來複習一下 HDFS 的基本操作
    ~/hadoop_labs$ cd ~
    ~$ ls
    ~$ source ~/.bashrc
    ~$ hadoop fs -ls
    ~$ hadoop fs -mkdir tmp
    ~$ hadoop fs -ls
    ~$ ls
    ~$ hadoop fs -put ${HOME}/hadoop/conf.local input
    ~$ hadoop fs -ls
    ~$ ls
    

實作習題

試回答以下問題:

  1. 當您下 jps 指令之後,除了 jps 以外,看到幾個 java process ?
        (A) 0,只有 jps 一個結果
        (B) 1
        (C) 2
        (D) 3
        (E) 4
    
  2. 回到家目錄,執行 hadoop fs -ls 指令,您看到的結果跟直接下 ls 有無不同?
        (A) hadoop fs -ls 會顯示完整路徑,並將隱藏檔案也秀出來. ls 只會秀出一般的檔案
        (B) 顯示 can not access 
    
  3. 在家目錄, 執行 hadoop fs -mkdir tmp 指令,對家目錄有何影響?
        (A) 在家目錄底下多了一個 tmp 目錄
        (B) 家目錄沒有任何改變
    
Last modified 10 years ago Last modified on Jul 5, 2014, 12:56:59 PM