Changes between Version 1 and Version 2 of waue/2011/0127


Ignore:
Timestamp:
Jan 27, 2011, 3:45:17 PM (14 years ago)
Author:
waue
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • waue/2011/0127

    v1 v2  
    55Chukwa 就是利用了集群中的幾個進程輸出的日誌，如 NN,DN,JT,TT 等進程都會有 log 信息，因為這些進程的程序裡面都調用 log4j 提供的接口來記錄日誌，而到底日誌的物理存儲是由 log4j.properties 的配置文件來配置的，可以寫在本地文件，也可以寫到數據庫。 Chukwa 就是來控制這些日誌的記錄，由 chukwa 程序來接替這部分工作，完成日誌記錄和採集工作。 Chukwa 由以下幾個組件組成： agent 收集各個進程的日誌，並將收集的日誌發送給 collector 。 Collector 收集 agent 發送為的數據，同時將這些數據保存到 hdfs 上， MR job 利用 mapreduce 來分析這些數據。 DumpTool 將結果下載保存到 mysql 數據庫。 HICC 將數據展現出來。更多信息： http://incubator.apache.org/chukwa/
    66
     7
     8[[Image(http://incubator.apache.org/chukwa/docs/r0.4.0/images/datapipeline.png)]]
    79[[Image(http://hi.csdn.net/attachment/201101/22/0_12957139140DhK.gif)]]
    810