2009-09-07

• Hadoop 測試叢集安裝 Ganglia 環境 - ​http://hadoop.nchc.org.tw/ganglia
  • 目前 hadoop 叢集有一台似乎常出現 ata 的錯誤
  • 
• DRBL 與 Ganglia 的整合測試
  • [狀況] VMWare Host-Only 不支援 Multicast ??
  • [參考] ​Localhost does not Response to Ping to Multicast Address 224.0.0.1
    • 如果沒辦法 ping 224.0.0.1 的話，代表 Broadcast ICMP 封包被濾掉了，因為預設 Linux kernel 2.6 是 disable 的。解法如下：

      # echo "0" > /proc/sys/net/ipv4/icmp_echo_ignore_broadcasts
      

  • [參考] ​enabling multicast ping on modern Linux distros
    • 另一個解法是寫在 /etc/sysctl.conf 並執行 sysctl -p 即可。

      ~# echo "net.ipv4.icmp_echo_ignore_broadcasts = 0" >> /etc/sysctl.conf
      ~# sysctl -p
      net.ipv4.ip_forward = 1
      net.ipv4.icmp_echo_ignore_broadcasts = 0
      

Ganglia

• ​ganglia-monitor: Lm-sensors support
  • 如果要讓 Ganglia 支援其他軟體，可以使用 ​gmetric
  • ​embeddedgmetric - a simple interface (c/c++/python/perl/php/java) to inject 'gmetric' data into gmond
• ​Hadoop Metrics
  • Cloudera 的文章，說明 Hadoop 可以用 ​jconsole, Ganglia, 以及支援 Java Management Extensions (JMX) 的 ​Hyperic 或 ​Nagios，​cmdline-jmxclient, ​Twiddle, ​check_jmx
  • ​Hadoop Graphing with Cacti - 繼 Ganglia Metrics 之後，Cloudera 也介紹了另一個 cacti 的工具，用來繪圖。Cacti 是 RRDtools 的前端，支援身分認證的機制，還有 Hadoop templates 專案叫做 ​hadoop-cacti-jtg