[[PageOutline]]

= 黑肚龍 Haduzilla =

 * 導入 Hadoop 的步驟：
   1. 硬體規格選擇
   2. 安裝叢集環境
   3. 進行效能測試與調校
   4. 實際營運

 * [理念] 系統營運管理本身就已經是一門學問了~若能'''將過去的營運經驗化為管理制度與標準作業流程(SOP)'''，對產業推動也是有貢獻的！

== 安裝叢集環境 ==


== 效能測試與調校 ==


== 實際營運 ==

 * 硬碟空間不足 -> 造成 NameNode 的 fsimage 無法寫入 
   * Action 1 : 歷史 Log 檔的蒐集、壓縮與分析
   * Action 2 : Ganglia 搭配 Nagios 進行 Event 通報
 * 記憶體 HEAP Size 不足，已經開始使用 SWAP -> 整體效能不彰
   * Action 1 : Ganglia 搭配 Nagios 進行 Event 處理 - (1) GC (2) Drop Cache
 * 網路問題
   * Q: 當有大量資料上傳時，容易發生 drop packets - 待確認！！ 是否與 Switch 的 Buffer 設定有關？
 * Multi-Tenancy(多租戶) 環境
   * 帳號申請流程
   * 帳號管理
    * NIS ？ LDAP ? OpenID 整合？
   * 帳號預設政策
    * 家目錄預設硬碟空間 Quota？
   * 帳號的生命周期
    * 多久之後失效？多久沒使用進行通報？失效用戶的家目錄資料備份？

 * 如何預留資源給 Ganglia 跟 Nagios ?
   * cgroup

== 常見問題 ==

 * 產生過多的 IOWait 造成系統反應緩慢
 * 記憶體不足
 * 執行程序過久
{{{
[1786800.621065] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
}}}

= 開發紀錄 =

== 2013-02-08 ==

 * 彙整 Trac SVN repository 的 drbl-hadoop-live 程式碼，匯入到 sourceforge 跟 github
   * [參考] [http://trac.nchc.org.tw/grid/wiki/jazz/12-03-09 2012-03-09] 用 svndumpfilter 將 hadoop4win 程式碼抽離的步驟
{{{
jazz@trac-pool:~$ svnadmin dump /forge/trac_pool/grid/svnroot/ > grid_svn_dumpfile
jazz@trac-pool:~$ svndumpfilter include --drop-empty-revs --renumber-revs drbl-hadoop-live < grid_svn_dumpfile > drbl-hadoop-live_dumpfile
jazz@trac-pool:~$ scp drbl-hadoop-live_dumpfile jazzwang,drbl-hadoop@shell.sf.net:.
jazz@trac-pool:~$ ssh -t jazzwang,drbl-hadoop@shell.sf.net create
[jazzwang@shell-24014 ~]$ adminrepo --checkout svn
Lock and checkout the svn repository for drbl-hadoop? [ny] y
[jazzwang@shell-24014 ~]$ svnadmin load --ignore-uuid /svnroot/drbl-hadoop/ < drbl-hadoop-live_dumpfile 
[jazzwang@shell-24014 ~]$ adminrepo --save svn
Save and unlock the svn repository for drbl-hadoop? [ny] y
The /svnroot/drbl-hadoop copy has been unmounted and will be saved.
}}}