wiki:virtualization_schedule/SGE_first

SGE 初體驗


【不負責前言】

  • 萬丈高樓平地起,相對的以資訊技術來說,系統平台層(System/Platform? level) 穩固之後,就會到了 中介層(Middle) 和 應用層(Application)。相對於虛擬化平台穩固之後的下一步,(忘了是那一個講者說的,虛擬化之後的下一步就是自動化),不外忽視讓虛擬化的資源可以根據任務或應用來動態產生,和工作分配。
  • 而本組對於 OpenNEbula 也頗有研究心得,OpenNEbula 發展早期也是聚焦於如何佈署虛擬機器於多台實體機器上 (也就是管理多台機器上的Hypervisior),隨著成熟發展,OpenNEbula 收到使用者的回饋和實際用做經驗,在 OpenNEbula 前端需要一個 DRM(Distributed Resource manage) 和任務分配管理,於是 OpenNEbula 變相中了也是開放原始碼的 Sun Grid Engine (現在改名叫 Oracle Grid Engine),再他們的官方文件也是建議使用者使用 SGE。
  • 根據中研院的SGE的使用報告能力似乎優於 Torque。

【SGE 超簡短介紹】

  • SGE 主要透過(1)資源管理(Resource Management) (2)資源使用政策(Administering Ploicy) 來管理工作量(Workload)

【SGE 官方文件重點摘要】

  • 官方的文件落落長,主要分為四部份:

【SGE 架構】

  • 看了 N1 Grid Engine 6 Installation Guide h,從 SGE 的安裝流程,可以看到幾個重要的架構元件:
    • Master Host :主要運作 sge_qmaster 和 sge_schedd
    • Execution Host :sge_execd
    • Administrator Host :最簡單是設定跟 Master 同一台
    • Submit Host :最簡單是設定跟 Master 同一台
    • DB spooling server :最簡單是設定跟 Master 同一台
  • 如果套用到 DRBL Virtualization 的架構來看,就是下圖

【SGE 安裝】

  • SGE 的安裝主要分為兩種,互動式和自動式,第一次安裝時建議使用互動式安裝以了解 SGE 的必要參數和步驟,之後就可用 自動式 來安裝其他台。

[1. 下載 SGE binary]

  • http://gridengine.sunsource.net/downloads/latest.html
  • 解壓縮並移到 /home 路徑下
    $ su -
    # chown root.root zxvf ge62u5_lx24-amd64.tar.gz
    # tar zxvf ge62u5_lx24-amd64.tar.gz
    # sudo mv ge6.2u5 /home
    
    # tar zxvf ge-6.2u5-bin-lx24-amd64.tar.gz
    # tar zxvf ge-6.2u5-common.tar.gz
    

[2. 環境配置]

  • 檢查 /etc/hosts 資訊是否正確?
  • root 是否可免密碼 ssh 到其他 nodes?
  • 宣告 SGE_ROOT 環境變數
    $ su -
    # echo export SGE_ROOT=/home/ge6.2u5 >> ~/.bashrc
    # source ~/.bashrc
    # echo $SGE_ROOT
    
  • 配置檔案權限
    # ./util/setfileperm.sh $SGE_ROOT
    

[3. 安裝 Master Host]

  • 下面使用互動式的方式來安裝 Master Host
    # cd $SGE_ROOT
    # ./install_qmaster
    
  • 他會依序詢問您相關的參數:
    1. license 問題按 [y]
    2. 一些注意事項
    3. 選擇帳戶擁有者 (這邊是用 root)
    4. 輸入合法的使用者 (這邊是用 sgeadmin。若是沒有此使用者的話,可以用 useradd sgeadmin 產生)
    5. SGE_ROOT 路徑確認 (若是出現無法 create tmp dir ,可先 chmod 777 $SGE_ROOT -R,之後再用 ./util/setfileperm.sh $SGE_ROOT 改回來)
    6. 設定網路服務到 /etc/services (sge_qmaster、sge_execd)
    7. 設定 cell (這邊是用 default)
    8. 設定 cluster name (預設為 p6444)
    9. 設定 qmaster spool 路徑
    10. 是否有 windows 系統要作為 execution host (這邊選[n])
    11. 設定檔案權限
    12. 選擇解析 dns 的方式 (這邊選[y])
    13. 是否啟動 JMX Bean Server (這邊選[n])
    14. 使用那種 spooling 模式 (這邊選[berkeleydb])
    15. 設定 Berkeley DB Spooling Server,包含了 server 名稱和路徑 (另外開一個視窗來安裝 inst_sge -db)
    16. 輸入 group id range
    17. 設定 spool directory of the execution host
    18. ......(略)
  • 檢查
    # ps -ef | grep sge_qmaster
    sgeadmin 10429     1  0 09:18 ?        00:00:04 /home/ge6.2u5/bin/lx24-amd64/sge_qmaster
    
    # qconf -sh
    # qconf -sconf
    

[4. 安裝 Execution Host]

  • 下面使用互動式的方式來安裝 Execution Host
    # ./install_execd
    
  • 檢查
    # ps -ef |grep sge_execd
    sgeadmin 11786     1  0 15:57 ?        00:00:00 /home/ge6.2u5/bin/lx24-amd64/sge_execd
    

【SGE 配置】

[Master]

[Execution]


【SGE 操作】

  • 使用圖形介面 QMON (debian使用 qmon 必須安裝 libmotif3 套件 (否則會出現找不到 libxm.so.3 的訊息))
    $ ssh -X {user}@{server_IP}
    $ qmon
    
  • qconf 指令介紹
    # qconf -ah  //增加 administrative host
    # qconf -as  //增加 submit host
    # qconf -ae [exec_server_template]  //使用範本增加 execution host
    
    # qconf -dh  //刪除 administrative host
    # qconf -ds  //刪除 submit host
    # qconf -de  //刪除 execution host
    
    # qconf -sh  //列出 administrative host
    # qconf -ss  //列出 submit host
    # qconf -sel //列出 execution host
    # qconf -sep //列出 execution host 可使用的 CPU
    
  • qhost 指令介紹 (快速察看 execution host 狀態)
    # qhost 
    HOSTNAME                ARCH         NCPU  LOAD  MEMTOT  MEMUSE  SWAPTO  SWAPUS
    -------------------------------------------------------------------------------
    global                  -               -     -       -       -       -       -
    drbl                    lx24-amd64      4  0.00    7.7G  652.6M    7.5G     0.0
    pc101                   lx24-amd64      4  0.00    7.7G  341.1M   15.0G     0.0
    pc102                   lx24-amd64      4  0.00    7.6G  309.8M    7.8G     0.0
    

【Reference】

Last modified 14 years ago Last modified on Oct 15, 2010, 4:00:48 PM

Attachments (1)

Download all attachments as: .zip