= 2009-04-14 = == Hadoop == * 從 Y!TW 蔡奕楷 [http://www.openfoundry.org/index.php?option=com_docman&Itemid=112&gid=255&lang=en&task=cat_view 12/06 的 Hadoop - Open source grid computing platform 演講投影片],看到一個有趣的指令叫 hod,回想起先前在 Hadoop 官方網站上看到的 [http://hadoop.apache.org/core/docs/r0.18.3/hod.html Hadoop On Demand],簡單瞄了一下文件,HOD 主要是用 Python 寫的格網叢集佈署工具,用 Torque 或 Maui 當資源管理(Resource Manager)和排程器(Scheduler)。雖然文件裡寫著 Virtual Hadoop Cluster,不過沒有看到虛擬化技術的需求跟描述,因此應該僅僅只是在實體叢集中,切割部分節點來組成一個 Hadoop 叢集。 == Virtualization == * [http://www.networkworld.com/cgi-bin/mailto/x.cgi?pagetosend=/export/home/httpd/htdocs/news/2009/040909-users-warned-of-virtualisations-dark.html&pagename=/news/2009/040909-users-warned-of-virtualisations-dark.html&pageurl=http://www.networkworld.com/news/2009/040909-users-warned-of-virtualisations-dark.html&site=printpage Users warned of virtualization's 'dark side' ] - 虛擬化的'黑暗面' == MapReduce == * Java * [http://www.gridgain.com/ GridGain] - Java 寫的 MapReduce Framework * [http://mirror.facebook.com/facebook/hive/ Hive] - 架構在 Hadoop 之上,由 facebook 主導的專案 * C/C++ * [http://csl.stanford.edu/~christos/sw/phoenix/ Phoenix] * Perl * [http://search.cpan.org/~drrho/Parallel-MapReduce-0.09/lib/Parallel/MapReduce.pm Parallel::MapReduce] * Python * [http://mfisk.github.com/filemap/ FileMap] - [http://github.com/mfisk/filemap/tree/master 原始碼] * [http://discoproject.org/ Disco] - 核心用 Erlang 寫的,Job 管理可以用 Python 撰寫。 * [http://wiki.github.com/klbostee/dumbo dumbo] - 跟 Hadoop 的關聯性非常強,因為這個專案就是 Hadoop Stream 裡的 Python 實作 * Ruby * [http://skynet.rubyforge.org/ Skynet] * CUDA * [http://www.cse.ust.hk/gpuqp/Mars.html Mars] - A MapReduce Framework on Graphics Processors - 如果要用 GPU 來算 MapReduce 的話,可以用 Mars * Qt * [http://labs.trolltech.com/page/Projects/Threads/QtConcurrent QtConcurrent] - 網頁寫說適用於 shared-memory (non-distributed) systems。 * bash * [http://blog.last.fm/2009/04/06/mapreduce-bash-script Mapreduce Bash Script] - 用 bash shell script 寫的 MapReduce - [http://github.com/erikfrey/bashreduce/tree/master 原始碼] * JavaScript * [http://www.igvita.com/2009/03/03/collaborative-map-reduce-in-the-browser/ Collaborative Map-Reduce in the Browser] - 這個實作所要提倡的精神有點類似 SETI@Home,也就是希望藉由群眾的力量,來打造以 HTTP 為標準的分散式叢集。 == HBase / CouchDB == * 在看維基百科的時候,發現 CouchDB 同時被分屬在 [http://en.wikipedia.org/wiki/Column-oriented_DBMS Column-oriented DBMS] 跟 [http://en.wikipedia.org/wiki/Document-oriented_database Document-oriented database] * [http://labs.mudynamics.com/2009/04/03/interactive-couchdb/ Interactive CouchDB] - 這裡用 Java Script 示範了 CouchDB 結合不同用途的 MapReduce 實作。