2011-05-24

Hadoop

• ​Syncsort DMExpress for Hadoop Acceleration - hadoop 真的越來越多改良。
  • 這間公司主要做的是改善 Sort 的部份。
  • 
  • 

• ​Realtime Hadoop usage at Facebook -- Part 1 - 臉書工程師近期寫的論文，介紹為何 Facebook 選擇使用 Hadoop 跟 HBase

Hadoop for Windows

• ​Hadoop in Azure - 介紹如何在 Windows Azure 平台上佈署 Hadoop 叢集。看起來跟 ​HADOOP-6767 "Patch for running Hadoop on Windows without Cygwin" 這個 patch 的作法類似，都是透過 Java Service Wrapper 有關。只是 HADOOP-6767 用的是 GPL / Commercial 混合授權的 ​JSW (Java Service Wrapper)，而這篇文章的作者用的是​YAJSW(Yet Another Java Service Wrapper)。但是基本精神很清楚，就是盡可能地用 Windows 的 CMD 或 BAT 來取代原本 hadoop 這隻 bash shell script。如此就可以不依賴 Cygwin 環境，並且把 Hadoop Service 以 Windows Service 方式跑在背景。

Big Data

• ​For FOSS Firms, Data Means Dollars - 這篇文章主要是在訪問 Cloudera 但是我覺得有一個標題下得很好。資料才是重點，軟體不是重點。這再次顯示了雲端時代，也是就是資料的時代（Entering the Age of Data）。

  Focus on Data, Not Software
  

• 所以文章最後提到說「軟體現在只是一種方法（Software is now a means, not an end in and of itself）」

• ​Most Data Integration Tools are not Meeting 'Big Data' Demands - 企業資料倉儲（Enterprise Data Warehouse），前端需要資料整合工具（Data Integration Tool），或者 ETL 工具來整合不同的資料來源。不過目前看起來這些資料整合工具，未必符合 Big Data 的需求。

• ​Big Data Meets Data Virtualization
  • ​Composite Data Virtualization Presentation - Composite Software 這間公司對於資料虛擬化（Data Virtualization）的定義，其實就是在講資料倉儲技術（怎麼把多個不同的資料來源，變成類似資料庫）

• ​From Big Data to NoSQL: The ReadWriteWeb Guide to Data Terminology (Part 1)

Open Data

• ​Open Government and Its Impact

• ​Why is UK train departure data not open data? - 哈，說明​為何英國的火車出發時間不是公開資料，答案是原本營運該系統的是私人公司，只開放 API 不公開資料，而且 API 必須花錢買才行。但是當火車營運單位變成國家公共的，那麼資料是否也該變成公共的呢？這真是個弔詭的問題呀～

OSQA

• ​http://www.osqa.net/ - The Open Source Q&A System
• GPL 授權，使用 Python 與 Django 撰寫而成。整體感覺跟 ​http://stackoverflow.com/ 有點相似。
• 今天看到 ​SQL Performance Explained 這本介紹 SQL 效能調校免費電子書的作者 Markus Winard 的另一個網站 ​http://ask.use-the-index-luke.com/ 是用 OSQA 架設的。
• 
• 看完之後覺得：好像老了～經營社群還在用 phpBB 論壇～
• 2012-06-30 : ​有人整理了其他類似 stackoverflow.com 的自由軟體實作