實作八： 運用 DRBL 將電腦教室轉化為 Hadoop 叢集

0 關於企鵝龍(DRBL)與再生龍(Clonezilla)

(中文) ​http://drbl.nchc.org.tw	(英文) ​http://drbl.name
(中文) ​http://clonezilla.nchc.org.tw	(英文) ​http://clonezilla.org

DRBL與Clonezilla「集中管理環境」基礎課程	​2009/4/16 竹科	​2009/5/7 台中
​DRBL與Clonezilla「集中管理環境」進階課程	​2009/4/17 竹科	​2009/5/8 台中

• ​電腦叢集與格網運算實作練習懶人包

1 Clonezilla 還原體驗

• 由於實驗 DRBL 的環境強烈建議要有兩張網路卡，我們目前電腦教室的電腦只有一張網路卡，因此我們接下來的實作會使用 ​VirtualBox 來做模擬練習。
• 為了減少大家設定 VirtualBox 的時間，順便展示 Clonezilla 再生龍在電腦教室的使用情形。我們就以目前已經架設好的 DRBL 環境來展示多台還原。

2 DRBL 佈署 31 台 Hadoop DataNode 展示

• 目前這間電腦教室有 30 台學生機、1 台講師電腦。因此最後會看到總共有 31 個 DataNode 跟 Task Tracker。

3 使用 DRBL-Live 練習佈署 Hadoop 叢集

• 首先點選『應用程式』→『系統工具』→『VirtualBox OSE'

• 點選『DRBL-Live'，然後選取上方『啟動』

• 

• 由於已經設定好優先由光碟開機，因此會看到光碟開機的選單。為了大家後續操作上的便利，建議選擇 DRBL Live (zh_TW, default settings)

• 

• DRBL Live 是設計給全球不同語系的國家使用，因此會特別讓使用者選擇是否更動鍵盤對應(keymap)，在台灣使用美式鍵盤，因此我們不需要更動鍵盤對應。

• 

• 如果顯示卡不容易被 DRBL Live 識別的話，會出下以下的訊息，請選擇 0: Beginner mode 初學者模式

• 

• 一般來說除非很特殊的顯示卡晶片，否則使用 vesa 都可以驅動得到。

• 

• 保險起見，建議選取 640x480 或 800x600 的解析度，以免無法正常顯示 X-windows 的畫面

• 

• X-windows 開啟之後，桌面上會有幾個捷徑。像是如果要啟動/停止 DRBL 或 Clonezilla。由於 DRBL-Live 需要拿記憶體來當硬碟空間，因此我們這裡暫時不做任何動作。如果您在實驗室或電腦教室要實驗 DRBL Live 的話，請直接點選"啟動 DRBL"或"啟動 Clonezilla"。

• 

• 在 DRBL Live 上佈署 Hadoop 的程序，由於比較繁雜，又容易遇到記憶體不夠(實驗結果至少要高於 512MB)的問題，因此我們寫了一隻簡單的批次程式來做這些步驟。
• 請先開啟一個 Terminal 終端機，然後輸入"sudo su -"，並且使用"dhclient eth0"來啟動第一張對外的網路卡
• 接著手動設定第二張對內的網路卡，使用"ifconfig eth1 192.168.200.254"。

  ~$ sudo su -
  ~# dhclient eth0
  ~# ifconfig eth1 192.168.200.254
  ~# wget http://classcloud.org/drbl-hadoop-live.sh
  ~# sh drbl-hadoop-live.sh
  

• 

• Hadoop 安裝好之後，會執行 /opt/drbl/sbin/drbl-live.sh 也就是桌面上的"啟動 DRBL"

• 

4 DRBL 安裝練習

• 基本 Debian Etch 安裝
  • ​http://192.168.100.254/hadoop/debian-40r3-i386-businesscard.iso
• 下載 DRBL 套件專用 GPG Key，然後根據以下程序進行安裝設定。

  ~$ sudo wget http://drbl.nchc.org.tw/GPG-KEY-DRBL
  ~$ sudo apt-key add GPG-KEY-DRBL
  ~$ sudo echo "deb http://free.nchc.org.tw/drbl-core drbl stable" > /tmp/drbl.list
  ~$ sudo mv /tmp/drbl.list /etc/apt/sources.list.d/
  ~$ sudo apt-get update
  ~$ sudo apt-get install drbl
  ~$ sudo /opt/drbl/sbin/drblsrv -i
  ~$ sudo /opt/drbl/sbin/drblpush -i 
  

5 DRBL Server 安裝 Hadoop 練習

~$ sudo su -
~# echo "deb http://free.nchc.org.tw/debian lenny non-free" > /etc/apt/sources.list.d/lenny-nonfree.list
~# echo "deb http://www.classcloud.org unstable main" > /etc/apt/sources.list.d/hadoop.list
~# apt-get update
~# apt-get install hadoop
(略 .. 確認 java 授權選項 .. )
~# passwd hdfsadm

參考資料

• [參考] ​利用 VirtualBox 來做 DRBL 開發與測試環境
• [參考] ​<套件> Hadoop 0.18.3 Debian / Ubuntu 套件庫
• [備註] 為了下載 hadoop 相關套件，必須有足夠的 RAM Disk，因此執行 DRBL-Live 的 VirtualBox 的記憶體必須至少設定 512MB。