2009-04-14

Hadoop

• 從 Y!TW 蔡奕楷 ​12/06 的 Hadoop - Open source grid computing platform 演講投影片，看到一個有趣的指令叫 hod，回想起先前在 Hadoop 官方網站上看到的 ​Hadoop On Demand，簡單瞄了一下文件，HOD 主要是用 Python 寫的格網叢集佈署工具，用 Torque 或 Maui 當資源管理(Resource Manager)和排程器(Scheduler)。雖然文件裡寫著 Virtual Hadoop Cluster，不過沒有看到虛擬化技術的需求跟描述，因此應該僅僅只是在實體叢集中，切割部分節點來組成一個 Hadoop 叢集。

Virtualization

• ​Users warned of virtualization's 'dark side' - 虛擬化的'黑暗面'

MapReduce

• Java
  • ​GridGain - Java 寫的 MapReduce Framework
  • ​Hive - 架構在 Hadoop 之上，由 facebook 主導的專案
• C/C++
  • ​Phoenix
• Perl
  • ​Parallel::MapReduce
• Python
  • ​FileMap - ​原始碼
  • ​Disco - 核心用 Erlang 寫的，Job 管理可以用 Python 撰寫。
  • ​dumbo - 跟 Hadoop 的關聯性非常強，因為這個專案就是 Hadoop Stream 裡的 Python 實作
• Ruby
  • ​Skynet
• CUDA
  • ​Mars - A MapReduce Framework on Graphics Processors - 如果要用 GPU 來算 MapReduce 的話，可以用 Mars
• Qt
  • ​QtConcurrent - 網頁寫說適用於 shared-memory (non-distributed) systems。
• bash
  • ​Mapreduce Bash Script - 用 bash shell script 寫的 MapReduce - ​原始碼
• JavaScript
  • ​Collaborative Map-Reduce in the Browser - 這個實作所要提倡的精神有點類似 SETI@Home，也就是希望藉由群眾的力量，來打造以 HTTP 為標準的分散式叢集。

HBase / CouchDB

• 在看維基百科的時候，發現 CouchDB 同時被分屬在 ​Column-oriented DBMS 跟 ​Document-oriented database
• ​Interactive CouchDB - 這裡用 Java Script 示範了 CouchDB 結合不同用途的 MapReduce 實作。