Xen + OpenNebula vm cluster study

• 產生完的印象檔會放在 /home/domains 內，而設定檔則會放在 /etc/xen/

一、 安裝xen

$ sudo apt-get -y install ubuntu-xen-desktop gcc-4.1 python-xml xen-tools
$ cd
$ mkdir Xen_Kernel && cd Xen_Kernel
$ wget http://trac.nchc.org.tw/grid/export/110/Xen/dom0_Kernel/linux-2.6.26-xen-amd64.tar.bz2
$ tar jxvf linux-2.6.26-xen-amd64.tar.bz2
$ sudo dpkg -i ./*.deb

1.1 修改設定檔

• 修改設定檔 /etc/xen/xend-config.sxp

56  (xend-http-server yes)
58  (xend-tcp-xmlrpc-server yes)
61  (xend-relocation-server yes)
70  (xen-tcp-xmlrpc-server-port 8006) 
80  (xend-port            8000)
84  (xend-relocation-port 8002)
121 (xend-relocation-hosts-allow '')
122 #(xend-relocation-hosts-allow '^localhost$ ^localhost\\.localdomain$')

1.2 更新grub以及重開機選定xen kernel

• 更新grub以及重開機選定xen kernel

$ sudo update-grub ; sync ; sudo reboot

二、使用xen的原生方法新增刪除虛擬機器

2.0 檢查xen是否啟動

$ ps -aux | grep xend

2.1 修改 xen-tools.conf

• 修改 /etc/xen-tools/xen-tools.conf

45  dir = /home
128 size   = 1Gb
133 dist   = lenny
163 gateway   = 192.168.100.254
164 netmask   = 255.255.255.0
165 broadcast = 192.168.100.255
193 accounts = 1
214 mirror = http://free.nchc.org.tw/debian
257 serial_device = hvc0

2.2 新增xen的image

• 新增xen的image

$ sudo xen-create-image --hostname=vm01 --ip=192.168.100.106 --mac=00:16:01:01:01:01 --force
...(跑很久是正常的)

• 產生完的印象檔會放在 /home/domains 內，而設定檔則會放在 /etc/xen/
• 檢查 /etc/xen/vm01.cfg 的 ip 與 mac 對應是否如之前所設 （若此檔沒設定正確，則產生的vm無法上網）

2.3 用xm create開啟一個虛擬機器

• 接下來我們使用此 vm01 的設定檔來開啟一個虛擬機器
  • 使用 xm create 指令根據設定檔來開啟虛擬機器

 $ sudo xm create /etc/xen/vm01.cfg

• 檢查此 vm01 是否正常開啟

 $ sudo xm list 
Name                                        ID   Mem VCPUs      State   Time(s)
Domain-0                                     0   697     4     r-----   2668.5
one-8                                        9   156     1     -b----      2.2

2.4 用xm console登入此虛擬機器

• 如何登入此虛擬機器呢 (使用 xm console)

 $ sudo xm console vm01

2.5 用CTRL+] xm console 登出虛擬機器

• 登出跳出鍵 : CTRL+]

三、使用OpenNebula 管理叢集的vm

• hostname hosts 需要完全正確對應
• 兩台電腦的免密碼設定完成 (root )
• 兩台電腦都要作 一、安裝xen 的步驟，並且正確使用xen的kernel開機完成
  • 只需要作一(不要作二、)

3.0 步驟二的清除方法

• 若已經執行過二、使用xen...，需將之前開啟的虛擬機器給移除

$ sudo xm destroy {vm_name}
$ sudo xm list

3.1 安裝opennebula

• 安裝opennebula

$ cd ~
$ sudo aptitude install ruby sqlite3 libsqlite3-0 libsqlite3-dev libsqlite3-ruby libxmlrpc-c3 libxmlrpc-c3-dev scons g++ flex bison
$ wget http://opennebula.org/files/one-1.2.1.tar.gz
$ tar zxvf one-1.2.1.tar.gz

3.2 修改 XenDriver?.cc

• 修改 ~/one-1.2.1/src/vmm/XenDriver.cc

237              << "'file:" << vm->get_remote_dir() << "/disk." << i << ","

3.3 執行 scons

$ cd ~/one-1.2.1
$ sudo scons
$ sudo ./install.sh

3.4 修改 oned.conf

• 修改 /etc/one/oned.conf

23 VM_POLLING_INTERVAL      = 1

160 #    TM_MAD = [                
161 #    name       = "tm_ssh",
162 #    executable = "one_tm",
163 #    arguments  = "tm_ssh/tm_ssh.conf",
164 #    default    = "tm_ssh/tm_ssh.conf" ]


169      TM_MAD = [               
170      name       = "tm_nfs",                                               
171      executable = "one_tm",
172      arguments  = "tm_ssh/tm_nfs.conf",
173      default    = "tm_ssh/tm_nfs.conf" ]

3.5 用onehost 增加one的節點資訊

• 用onehost 增加one的節點資訊
  • 注意用 root權限

$ sudo su -
# one start
# onehost add node01 im_xen vmm_xen tm_nfs
# onehost add node02 im_xen vmm_xen tm_nfs
# onehost list

3.6 建立設定檔 vm01.one

• 建立新檔 /home/domains/vm01.one
  • 注意kernel 的資訊需要與grub一樣
  • ip 與 mac 的資訊可與2.2相同

NAME   = vm01
CPU    = 1
MEMORY = 156
OS = [ kernel     = /boot/vmlinuz-2.6.26-2-xen-amd64,
       initrd     = /boot/initrd.img-2.6.26-2-xen-amd64,
       root       = sda2]
DISK = [ source   = /home/domains/vm01/disk.img,
         clone    = no,
         target   = sda2,
         readonly = no]
DISK = [  type     = swap,
          size     = 128,
          target   = "sda1",
          readonly = "no" ]
NIC=[IP="192.168.100.106", MAC="00:16:01:01:01:01"]

3.7 用onevm vm01.one

• 使用 ONE 來開啟 vm01

# cd /home/domains/
# onevm create vm01.one 
# onevm list
  ID     NAME STAT CPU     MEM        HOSTNAME        TIME
   8     vm01 runn   0  159744          node01  00 01:18:59