2009-09-02

• hadoop.nchc.org.tw 系統維護
  • 近期仍常有 Kernel Panic 問題，懷疑主因是記憶體空間不足。
    • 
  • [追蹤一] HADOOP_HEAPSIZE 曾改為 1500MB 現下修至 1024MB - 實體記憶體只有 2GB，系統本身就會吃掉 1.5GB，若再額外執行 Map/Reduce? 程式，使用 HEAP 1.5GB 就高達 3GB。縱使 SWAP 開 2GB，或許還是無濟於事。

    export HADOOP_HEAPSIZE=1024
    

    • 
  • [追蹤二] 實際會使用記憶體的程序有：datanode, tasktracker, mapper, reducer，因此 mapper 個數與 reducer 個數也會受限於實際記憶體大小
    • 
• 在電腦教室測試多核心的 restore - 測 20090831-karmic 那個版本