2010-07-28

Hadoop

• [服務] hadoop.nchc.org.tw HDFS 連線緩慢狀況處理
  • [原因] 小檔案太多，記憶體 HEAP Size 不足，已經使用到 100%，導致系統緩慢。
  • 
  • 
  • [解法] 修改 /etc/hadoop/conf/hadoop-env.sh 中的 HADOOP_HEAPSIZE : 從 2048 一直加到 4096 才穩定!!

    # The maximum amount of heap to use, in MB. Default is 1000.
    export HADOOP_HEAPSIZE=4096
    

HBase

• HBase 的 Tag 概念 ( 不建議想成 Excel 資料表 )
  • 
  •