2010-05-12

GNU R / Hadoop / GPU

• 這幾天在 hadoop 論壇上解決 Hadoop 執行矩陣運算的問題，心裡不禁懷疑純用 Hadoop MapReduce 來算矩陣，會不會比用原本就設計來計算矩陣的 ​SciLab, ​GNU Octave 或統計軟體 ​GNU R 相形遜色呢?? 從新檢視過去的紀錄，​普渡大學的 RHIPE 這一個結合 R 跟 Hadoop 的 Java 套件是個令人好奇的東西。

• R v.s. Hadoop -
  • ​普渡大學的 RHIPE - R and Hadoop Integrated Processing - 2010 年五月都還有更新!!
  • ​R 官方的 mapReduce 套件 - flexible mapReduce algorithm for parallel computation
  • ​R 官方的 HadoopStreaming 套件 - Utilities for using R scripts in Hadoop streaming - 如果要用 R 跑 Hadoop Streaming 模式可以試試看。

• R v.s. GPU -
  • ​gputools - A few GPU enabled functions
  • ​RGPU -

Hadoop / Web Service

• ​Jaql - a new query language being developed for JSON data.
  • ​http://code.google.com/p/jaql/ (2009-08-17, 2008-10-20)
  • Doug Cutting 於 CIKM'08 (Conference Information and Knowledge Management 2008) 投影片介紹了兩個 Hadoop 延伸專案: Mahout 跟 Jaql
  • 看了一下 ​JAQL Data Management 的語法，感覺有點類似 Pig，差別只在於針對的資料是 JSON 格式。在專案的​簡介中也有提到它嘗試借 SQL, XQuery, LISP 跟 PigLatin? 的優點。感覺是寫簡單的 Java 程式，然後可以從 JSON 格式輸入檔，產生查詢結果也是 JSON 的工具。不太想是我想像中可以用 javascript 直接查詢 JSON 的 ​JSONDB。