SGE 初體驗
【不負責前言】
- 萬丈高樓平地起，相對的以資訊技術來說，系統平台層(System/Platform? level) 穩固之後，就會到了 中介層(Middle) 和 應用層(Application)。相對於虛擬化平台穩固之後的下一步，(忘了是那一個講者說的，虛擬化之後的下一步就是自動化)，不外忽視讓虛擬化的資源可以根據任務或應用來動態產生，和工作分配。
- 而本組對於 OpenNEbula 也頗有研究心得，OpenNEbula 發展早期也是聚焦於如何佈署虛擬機器於多台實體機器上 (也就是管理多台機器上的Hypervisior)，隨著成熟發展，OpenNEbula 收到使用者的回饋和實際用做經驗，在 OpenNEbula 前端需要一個 DRM(Distributed Resource manage) 和任務分配管理，於是 OpenNEbula 變相中了也是開放原始碼的 Sun Grid Engine (現在改名叫 Oracle Grid Engine)，再他們的官方文件也是建議使用者使用 SGE。
- 根據中研院的SGE的使用報告能力似乎優於 Torque。
【SGE 超簡短介紹】
- SGE 主要透過(1)資源管理(Resource Management) (2)資源使用政策(Administering Ploicy) 來管理工作量(Workload)
【SGE 官方文件重點摘要】
- 官方的文件落落長，主要分為四部份：
- N1 Grid Engine 6 Installation Guide
- N1 Grid Engine 6 Administration Guide
- N1 Grid Engine 6 User's Guide
- Grid Engine Management Module User's Guide
- N1 Grid Engine 6 Release Notes
【SGE 架構】
- 看了 N1 Grid Engine 6 Installation Guide h，從 SGE 的安裝流程，可以看到幾個重要的架構元件:
- Master Host ：主要運作 sge_qmaster 和 sge_schedd
- Execution Host ：sge_execd
- Administrator Host ：最簡單是設定跟 Master 同一台
- Submit Host ：最簡單是設定跟 Master 同一台
- DB spooling server ：最簡單是設定跟 Master 同一台
- 如果套用到 DRBL Virtualization 的架構來看，就是下圖
【SGE 安裝】
- SGE 的安裝主要分為兩種，互動式和自動式，第一次安裝時建議使用互動式安裝以了解 SGE 的必要參數和步驟，之後就可用 自動式 來安裝其他台。
[1. 下載 SGE binary]
- http://gridengine.sunsource.net/downloads/latest.html
- 解壓縮並移到 /home 路徑下
$ su - # chown root.root zxvf ge62u5_lx24-amd64.tar.gz # tar zxvf ge62u5_lx24-amd64.tar.gz # sudo mv ge6.2u5 /home # tar zxvf ge-6.2u5-bin-lx24-amd64.tar.gz # tar zxvf ge-6.2u5-common.tar.gz
[2. 環境配置]
- 檢查 /etc/hosts 資訊是否正確?
- root 是否可免密碼 ssh 到其他 nodes?
- 宣告 SGE_ROOT 環境變數
$ su - # echo export SGE_ROOT=/home/ge6.2u5 >> ~/.bashrc # source ~/.bashrc # echo $SGE_ROOT
- 配置檔案權限
# ./util/setfileperm.sh $SGE_ROOT
[3. 安裝 Master Host]
- 下面使用互動式的方式來安裝 Master Host
# cd $SGE_ROOT # ./install_qmaster
- 他會依序詢問您相關的參數：
- license 問題按 [y]
- 一些注意事項
- 選擇帳戶擁有者 (這邊是用 root)
- 輸入合法的使用者 (這邊是用 sgeadmin。若是沒有此使用者的話，可以用 useradd sgeadmin 產生)
- SGE_ROOT 路徑確認 (若是出現無法 create tmp dir ，可先 chmod 777 $SGE_ROOT -R，之後再用 ./util/setfileperm.sh $SGE_ROOT 改回來)
- 設定網路服務到 /etc/services (sge_qmaster、sge_execd)
- 設定 cell (這邊是用 default)
- 設定 cluster name (預設為 p6444)
- 設定 qmaster spool 路徑
- 是否有 windows 系統要作為 execution host (這邊選[n])
- 設定檔案權限
- 選擇解析 dns 的方式 (這邊選[y])
- 是否啟動 JMX Bean Server (這邊選[n])
- 使用那種 spooling 模式 (這邊選[berkeleydb])
- 設定 Berkeley DB Spooling Server，包含了 server 名稱和路徑 (另外開一個視窗來安裝 inst_sge -db)
- 輸入 group id range
- 設定 spool directory of the execution host
- ......(略)
- 檢查
# ps -ef | grep sge_qmaster sgeadmin 10429 1 0 09:18 ? 00:00:04 /home/ge6.2u5/bin/lx24-amd64/sge_qmaster # qconf -sh # qconf -sconf
[4. 安裝 Execution Host]
- 下面使用互動式的方式來安裝 Execution Host
# ./install_execd
- 檢查
# ps -ef |grep sge_execd sgeadmin 11786 1 0 15:57 ? 00:00:00 /home/ge6.2u5/bin/lx24-amd64/sge_execd
【SGE 配置】
[Master]
[Execution]
【SGE 操作】
- 使用圖形介面 QMON (debian使用 qmon 必須安裝 libmotif3 套件 (否則會出現找不到 libxm.so.3 的訊息))
$ ssh -X {user}@{server_IP} $ qmon - qconf 指令介紹
# qconf -ah //增加 administrative host # qconf -as //增加 submit host # qconf -ae [exec_server_template] //使用範本增加 execution host # qconf -dh //刪除 administrative host # qconf -ds //刪除 submit host # qconf -de //刪除 execution host # qconf -sh //列出 administrative host # qconf -ss //列出 submit host # qconf -sel //列出 execution host # qconf -sep //列出 execution host 可使用的 CPU
- qhost 指令介紹 (快速察看 execution host 狀態)
# qhost HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS ------------------------------------------------------------------------------- global - - - - - - - drbl lx24-amd64 4 0.00 7.7G 652.6M 7.5G 0.0 pc101 lx24-amd64 4 0.00 7.7G 341.1M 15.0G 0.0 pc102 lx24-amd64 4 0.00 7.6G 309.8M 7.8G 0.0
【Reference】
Last modified 14 years ago
Last modified on Oct 15, 2010, 4:00:48 PM
Attachments (1)
- SGE_DRBL-Virtualization.png (32.5 KB) - added by rock 14 years ago.
Download all attachments as: .zip
