Changes between Version 2 and Version 3 of jazz/09-06-06


Ignore:
Timestamp:
Jun 6, 2009, 6:00:55 PM (15 years ago)
Author:
jazz
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • jazz/09-06-06

    v2 v3  
    33 * 排解 Hadoop 實驗叢集磁碟空間不足的問題
    44  * [狀況] 當執行使用者的 Map/Reduce 程式時，DRBL Server 的磁碟空間會使用到 100% 而出現 no space left 的訊息
    5   * [追蹤] 使用 watch -n 1 -d du -sh /var/lib/hadoop 追出
     5  * [追蹤] 使用 watch -n 1 -d du -sh /var/lib/hadoop 追出 mapreduce 目錄下的 jobcache 計算時會不斷長大。
     6  * [解法] 本來 DRBL Hadoop 只有掛載 Client 硬碟到 /var/lib/hadoop/cache/hadoop/dfs/data，由這個使用案例來看，我們應該要掛載到 /var/lib/hadoop 也就是同時給 DFS 跟 MapReduce 用。
     7 * HADOOP-FAQ1 : 使用 ntpdate 更新時間後，Datanode 與 Tasktracker 部分離線。
     8  * 因為 Hadoop 會有 heartbeat 檢查，因此如果跑 ntpdate 後，時間差距太大，會造成系統誤判 Datanode 與 Tasktracker 為 Dead Node。
     9 * HADOOP-FAQ2 : 如何取消 Hadoop Namenode 的 Safe mode
     10  * [狀況] Tasktracker 無法正常加入，log 顯示 namenode 處於 safe mode。
     11  * [解法] 確認 Datanode 已加入，然後使用指令離開 Safe Mode
     12{{{
     13sudo su -s /bin/sh hadoop -c "hadoop dfsadmin -safemode leave"
     14}}}
    615 * [http://creativecommons.org.tw/static/license 創用 CC 授權條款一覽]