wiki:0330Hadoop_Lab5

實作八: 運用 DRBL 將電腦教室轉化為 Hadoop 叢集

0 關於企鵝龍(DRBL)與再生龍(Clonezilla)

(中文) http://drbl.nchc.org.tw (英文) http://drbl.name
(中文) http://clonezilla.nchc.org.tw (英文) http://clonezilla.org
DRBL與Clonezilla「集中管理環境」基礎課程 2009/4/16 竹科 2009/5/7 台中
DRBL與Clonezilla「集中管理環境」進階課程 2009/4/17 竹科 2009/5/8 台中

1 Clonezilla 還原體驗

  • 由於實驗 DRBL 的環境強烈建議要有兩張網路卡,我們目前電腦教室的電腦只有一張網路卡,因此我們接下來的實作會使用 VirtualBox 來做模擬練習。
  • 為了減少大家設定 VirtualBox 的時間,順便展示 Clonezilla 再生龍在電腦教室的使用情形。我們就以目前已經架設好的 DRBL 環境來展示多台還原。

2 DRBL 佈署 31 台 Hadoop DataNode 展示

  • 目前這間電腦教室有 30 台學生機、1 台講師電腦。因此最後會看到總共有 31 個 DataNode 跟 Task Tracker。

3 使用 DRBL-Live 練習佈署 Hadoop 叢集

  • 首先點選『應用程式』→『系統工具』→『VirtualBox OSE'
  • 點選『DRBL-Live',然後選取上方『啟動』
  • 由於已經設定好優先由光碟開機,因此會看到光碟開機的選單。為了大家後續操作上的便利,建議選擇 DRBL Live (zh_TW, default settings)
  • DRBL Live 是設計給全球不同語系的國家使用,因此會特別讓使用者選擇是否更動鍵盤對應(keymap),在台灣使用美式鍵盤,因此我們不需要更動鍵盤對應。
  • 如果顯示卡不容易被 DRBL Live 識別的話,會出下以下的訊息,請選擇 0: Beginner mode 初學者模式

  • 一般來說除非很特殊的顯示卡晶片,否則使用 vesa 都可以驅動得到。

  • 保險起見,建議選取 640x480 或 800x600 的解析度,以免無法正常顯示 X-windows 的畫面

  • X-windows 開啟之後,桌面上會有幾個捷徑。像是如果要啟動/停止 DRBL 或 Clonezilla。由於 DRBL-Live 需要拿記憶體來當硬碟空間,因此我們這裡暫時不做任何動作。如果您在實驗室或電腦教室要實驗 DRBL Live 的話,請直接點選"啟動 DRBL"或"啟動 Clonezilla"。

  • 在 DRBL Live 上佈署 Hadoop 的程序,由於比較繁雜,又容易遇到記憶體不夠(實驗結果至少要高於 512MB)的問題,因此我們寫了一隻簡單的批次程式來做這些步驟。
  • 請先開啟一個 Terminal 終端機,然後輸入"sudo su -",並且使用"dhclient eth0"來啟動第一張對外的網路卡
  • 接著手動設定第二張對內的網路卡,使用"ifconfig eth1 192.168.200.254"
    ~$ sudo su -
    ~# dhclient eth0
    ~# ifconfig eth1 192.168.200.254
    ~# wget http://classcloud.org/drbl-hadoop-live.sh
    ~# sh drbl-hadoop-live.sh
    
  • Hadoop 安裝好之後,會執行 /opt/drbl/sbin/drbl-live.sh 也就是桌面上的"啟動 DRBL"

4 DRBL 安裝練習

  • 基本 Debian Etch 安裝
  • 下載 DRBL 套件專用 GPG Key,然後根據以下程序進行安裝設定。
    ~$ sudo wget http://drbl.nchc.org.tw/GPG-KEY-DRBL
    ~$ sudo apt-key add GPG-KEY-DRBL
    ~$ sudo echo "deb http://free.nchc.org.tw/drbl-core drbl stable" > /tmp/drbl.list
    ~$ sudo mv /tmp/drbl.list /etc/apt/sources.list.d/
    ~$ sudo apt-get update
    ~$ sudo apt-get install drbl
    ~$ sudo /opt/drbl/sbin/drblsrv -i
    ~$ sudo /opt/drbl/sbin/drblpush -i 
    

5 DRBL Server 安裝 Hadoop 練習

~$ sudo su -
~# echo "deb http://free.nchc.org.tw/debian lenny non-free" > /etc/apt/sources.list.d/lenny-nonfree.list
~# echo "deb http://www.classcloud.org unstable main" > /etc/apt/sources.list.d/hadoop.list
~# apt-get update
~# apt-get install hadoop
(略 .. 確認 java 授權選項 .. )
~# passwd hdfsadm

參考資料

Last modified 15 years ago Last modified on Apr 25, 2009, 11:42:53 PM

Attachments (14)

Download all attachments as: .zip