2011-04-01

• ​http://code.google.com/p/snappy/ - Google 釋出快速壓縮與解壓縮的程式碼

Virtualization

• ​Paravirtualization With Xen 4.0 On Debian Squeeze (AMD64)

Hadoop

• 看樣子今年 Structure Big Data 研討會，出現 Hadoop 相關的新興公司非常多啊～這場火會延燒到台灣嘛？！
• ​As Big Data Takes Off, the Hadoop Wars Begin - Hadoop 的戰線逐漸進入白熱化狀態，當然有人在擔心這樣會不會太仰賴單一軟體平台。

   * Full-on distributions
      * Apache Hadoop
      * Cloudera’s Distribution including Apache Hadoop (that’s the official name)
      * IBM Distribution of Apache Hadoop
      * DataStax Brisk
      * Amazon Elastic MapReduce
   * HDFS alternatives
      * Mapr
      * Appistry CloudIQ Storage Hadoop Edition
      * IBM Global Parallel File System (GPFS)
      * CloudStore
   * Hadoop MapReduce alternatives
      * Pervasive DataRush
      * Cascading
      * Hive (an Apache subproject, included in Cloudera’s distribution)
      * Pig (a Yahoo-developed language, included in Cloudera’s distribution)
  

• ​Brisk - 一個 Cassandra + Hadoop + Hive 的平台
  • 從​投影片看到一個特殊的東西叫做 ​CassandraFS 要拿來取代 HDFS，查了一下是用 FUSE 做的。
  • 
  • 
  • 看起來蠻特別的，用 Cassandra 來佈署 Hadoop 跟 Hive 的服務，挺有趣的！
• ​CloudIQ - HDFS replacement improving on the single NameNode
• ​Mapr - 想要取代 HDFS 的另一個方案
  • 
• ​CloudStore - CloudStore (formerly, Kosmos filesystem) is an open-source high performance distributed filesystem - CloudStore is integrated with Hadoop and Hypertable. - ​參考 - 原來 CloudStore 就是早期的 KFS (Kosmos filesystem)啊！它整合了 hadoop 跟 hypertable，使用 C++ 實作。
  • 
• ​http://www.hadapt.com/ - Hadapt 是一個訴求讓 SQL-like 應用能比用 HBase 更快的公司，底下是效能比較跟架構圖
• 
• 
• ​Pervasive DataRush - parallel data processing optimization for Hadoop jobs
• ​Ravel 這間公司想把 Google 的 Pregel 這種 graph database 移植到 Hadoop 上。
  • ​Ravel Hopes to Open-Source Graph Databases
• ​Objectivity - 也是目標 Graph database 的公司
  • [ Twitter’s Success Pulls 23-Year-Old Objectivity Into NoSQL]
  • 
  • 

• [備忘] ​https://github.com/cloudera/iTest - Cloudera 用來測試 Hadoop 叢集效能的一些工具

Python

• ​使用 PyShada 在 Python 裡呼叫 shell command

ImageMagick

• 因為很習慣想要把 cloud.nchc.org.tw 的 munin 狀態合併成一張圖，做上下對應，所以找了怎麼在命令列合併圖片的工具。果不其然在 ImageMagick 就有這樣一個工具叫做 Montage
  • [參考] ​阿德學長的介紹
  • ​montage 的使用文件

    wget http://cloud.nchc.org.tw/munin/localdomain/localhost.localdomain/cpu-week.png
    wget http://cloud.nchc.org.tw/munin/localdomain/localhost.localdomain/memory-week.png
    wget http://cloud.nchc.org.tw/munin/localdomain/localhost.localdomain/swap-week.png
    montage -tile 1x3 cpu-week.png memory-week.png swap-week.png -geometry +0+0 munin-status.png
    

領導

• ​獵人與農夫

  好的領導人，通常都同時擁有獵人和農夫這兩種特質，如何在這兩個特質之間取得平衡，
  並完美結合，考驗著領導人的智慧。
  
  領導人必須感激與鼓勵兩種特質的人互相合作與互補，不能把鎂光燈放在獵人身上，否則
  公司的品質平衡度會下降。