Changes between Version 11 and Version 12 of jazz/09-09-02


Ignore:
Timestamp:
Jan 13, 2010, 12:03:01 PM (15 years ago)
Author:
jazz
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • jazz/09-09-02

    v11 v12  
    33 * hadoop.nchc.org.tw 系統維護
    44  * 近期仍常有 Kernel Panic 問題，懷疑主因是記憶體空間不足。
    5    * [[Image(hadoop_kernel_panic.png,width=400)]]
     5   * [[Image(wiki:jazz/09-09-02:hadoop_kernel_panic.png,width=400)]]
    66  * [追蹤一] HADOOP_HEAPSIZE 曾改為 1500MB 現下修至 1024MB - 實體記憶體只有 2GB，系統本身就會吃掉 1.5GB，若再額外執行 Map/Reduce 程式，使用 HEAP 1.5GB 就高達 3GB。縱使 SWAP 開 2GB，或許還是無濟於事。
    77{{{
    88export HADOOP_HEAPSIZE=1024
    99}}}
    10    * [[Image(mem_usage_of_hadoop_cluster.png,width=400)]]
     10   * [[Image(wiki:jazz/09-09-02:mem_usage_of_hadoop_cluster.png,width=400)]]
    1111  * [追蹤二] 實際會使用記憶體的程序有：datanode, tasktracker, mapper, reducer，因此 mapper 個數與 reducer 個數也會受限於實際記憶體大小
    12    * [[Image(hadoop_task_mem_usage.png,width=400)]]
     12   * [[Image(wiki:jazz/09-09-02:hadoop_task_mem_usage.png,width=400)]]
    1313
    1414 * 資安教育訓練