2009-04-14

• Hadoop 叢集
  • 升級至 Lenny
  • 重新蒐集 MAC Address 讓 hostname 盡量與 KVM 順序相仿
  • 安裝 Power Management ，由於機房有限制單一插座總電流不得大於 12 安培，因此不能插滿八個電源孔。
  • [消防/資安] Power KVM 的電源線也必須注意可容納的電流上限。

hostname	hadoop107	hadoop108	hadoop109	hadoop110	hadoop	hadoop111	hadoop112
KVM	9	10	11	12	13	14	15
Power KVM	1G	2A	2B	2C	2D	2E	2F

hostname	hadoop106	hadoop105	hadoop104	hadoop103	hadoop102	hadoop101
KVM	6	5	4	3	2	1
Power KVM	1F	1E	1D	1C	1B	1A

Hadoop

• 從 Y!TW 蔡奕楷 ​12/06 的 Hadoop - Open source grid computing platform 演講投影片，看到一個有趣的指令叫 hod，回想起先前在 Hadoop 官方網站上看到的 ​Hadoop On Demand，簡單瞄了一下文件，HOD 主要是用 Python 寫的格網叢集佈署工具，用 Torque 或 Maui 當資源管理(Resource Manager)和排程器(Scheduler)。雖然文件裡寫著 Virtual Hadoop Cluster，不過沒有看到虛擬化技術的需求跟描述，因此應該僅僅只是在實體叢集中，切割部分節點來組成一個 Hadoop 叢集。

Virtualization

• ​Users warned of virtualization's 'dark side' - 虛擬化的'黑暗面'

MapReduce

• 這個作者持續蒐集一些 MapReduce 的學術論文，還對不同領域進行分類：
  • ​Mapreduce & Hadoop Algorithms in Academic Papers (5th update – Nov 2011)
  • ​Mapreduce & Hadoop Algorithms in Academic Papers (4th update – May 2011)
  • ​MapReduce 相關論文分享群組
• 持續蒐集一些 MapReduce 不同語言的實作....
  • ​What are some promising open-source alternatives to Hadoop MapReduce for map/reduce? (2010-08-24 補充)
  • ​http://mapreduce.net/
  • ​Looking for a map reduce language - 介紹同樣的邏輯用不同語言的實作對照。

• R
  • ​The R-Project and Map Reduce
  • ​http://www.rhipe.org - Wow!! RHIPE - R and Hadoop Integrated Processing v.0.1 這兩個的結合真是符合我們目前的方向啊!!!
  • ​http://cran.r-project.org/web/packages/mapReduce/ - R 官方的 mapReduce 套件 mapReduce - flexible mapReduce algorithm for parallel computation
  • ​https://github.com/RevolutionAnalytics/RHadoop - Revolution Analytics 所開發的 RHadoop
  • 更神奇的是 ​Amazon Web Service 也有支援 R 呢!!

    Develop your data processing application authored in your choice of Java, Ruby, Perl, Python, PHP, R, or C++. 
    

• Java
  • ​GridGain - Java 寫的 MapReduce Framework
  • ​Hive - 架構在 Hadoop 之上，由 facebook 主導的專案
  • ​Cloud MapReduce - A MapReduce implementation on Amazon Cloud OS
• C/C++
  • ​Phoenix
    • 2007/3/1 上傳的演講 - Evaluating MapReduce for Multi-core and Multiprocessor Systems
    • ​投影片
    • ​演講影片
  • ​Galago TupleFlow
• Perl
  • ​Parallel::MapReduce
  • ​PlasmaFS - implements the map/reduce framework on a compute cluster
• Python
  • ​FileMap - ​原始碼
  • ​Disco - 核心用 Erlang 寫的，Job 管理可以用 Python 撰寫。
  • ​dumbo - 跟 Hadoop 的關聯性非常強，因為這個專案就是 Hadoop Stream 裡的 Python 實作
  • ​Prince - API for Hadoop/MapReduce? in Python, 2010 (2010-05-12)
  • ​octopy - Easy MapReduce for Python (2010-08-24)
  • ​httpmr - A scalable data processing framework for people with web clusters. (2010-08-24) - 架在 Google App Engine 之上
  • ​misco - A Mobile MapReduce Framework
  • ​mrjob - a Python package that helps you write and run Hadoop Streaming jobs. It supports Amazon's Elastic MapReduce (EMR) service and also works with your own Hadoop cluster.
  • ​pydoop - Pydoop is a Python MapReduce and HDFS API for Hadoop.
• Ruby
  • ​Skynet
  • ​Starfish - Open source Ruby implementation
  • ​mapredus - simple mapreduce framework using redis and resque (2010-08-24)
  • ​Wukong - Ruby on Hadoop: Efficient, effective Hadoop streaming & bulk data processing.
• Erlang
  • ​Riak : An Open Source Internet-Scale Data Store
• CUDA
  • ​Mars - A MapReduce Framework on Graphics Processors - 如果要用 GPU 來算 MapReduce 的話，可以用 Mars - ​論文 PDF
  • ​CUDA on Hadoop - 說明 CUDA 在 Hadoop 平台上執行的效能比較
  • ​http://code.google.com/p/mrcl/
  • ​Hadoop + GPU: Boost performance of your big data project by 50x-200x?
• Qt
  • ​QtConcurrent
    • Open Source C++ MapReduce (non-distributed) implementation from Trolltech
    • 網頁寫說適用於 shared-memory (non-distributed) systems。
• bash
  • ​Mapreduce Bash Script - 用 bash shell script 寫的 MapReduce - ​原始碼
• JavaScript
  • ​Collaborative Map-Reduce in the Browser - 這個實作所要提倡的精神有點類似 SETI@Home，也就是希望藉由群眾的力量，來打造以 HTTP 為標準的分散式叢集。
• .NET
  • ​Qizmt - MySpace just released a MapReduce framework for .NET called Qizmt as an open source project. - ​簡介影片 - ​原始碼下載
  • ​Dryad - ​DryadLINQ (2010-08-24)
    • ​Comparing Dryad and Hadoop - Dryad 跟 Hadoop 的比較
  • ​http://mapsharp.codeplex.com/ (2010-08-31)
  • ​http://code.google.com/p/hadoopdotnet/ (2010-08-31)
• MPI
  • ​MapReduce-MPI Library - (​2010-05-16: MPI-based MapReduce Implementation)
    • ​https://launchpad.net/ubuntu/+source/mrmpi
    • ​http://packages.debian.org/search?keywords=libmrmpi1
• MySQL
  • ​Gearman - ​Map/Reduce and Queues for MySQL Using Gearman (Video)
• GPU
  • ​A Map Reduce Framework for Programming Graphics Processors
  • ​Word Count with MapReduce on a GPU – A Python Example
• FPGA
  • ​FPMR: MapReduce framework on FPGA
• GPU and FPGA
  • ​Map-reduce as a Programming Model for Custom Computing

HBase / CouchDB

• 在看維基百科的時候，發現 CouchDB 同時被分屬在 ​Column-oriented DBMS 跟 ​Document-oriented database
• ​Interactive CouchDB - 這裡用 Java Script 示範了 CouchDB 結合不同用途的 MapReduce 實作。