Version 2 (modified by jazz, 13 years ago) (diff) |
---|
2011-05-24
Hadoop
- Syncsort DMExpress for Hadoop Acceleration - hadoop 真的越來越多改良。
- Realtime Hadoop usage at Facebook -- Part 1 - 臉書工程師近期寫的論文,介紹為何 Facebook 選擇使用 Hadoop 跟 HBase
Hadoop for Windows
- Hadoop in Azure - 介紹如何在 Windows Azure 平台上佈署 Hadoop 叢集。看起來跟 HADOOP-6767 "Patch for running Hadoop on Windows without Cygwin" 這個 patch 的作法類似,都是透過 Java Service Wrapper 有關。只是 HADOOP-6767 用的是 GPL / Commercial 混合授權的 JSW (Java Service Wrapper),而這篇文章的作者用的是YAJSW(Yet Another Java Service Wrapper)。但是基本精神很清楚,就是盡可能地用 Windows 的 CMD 或 BAT 來取代原本 hadoop 這隻 bash shell script。如此就可以不依賴 Cygwin 環境,並且把 Hadoop Service 以 Windows Service 方式跑在背景。
Big Data
- For FOSS Firms, Data Means Dollars - 這篇文章主要是在訪問 Cloudera 但是我覺得有一個標題下得很好。資料才是重點,軟體不是重點。這再次顯示了雲端時代,也是就是資料的時代(Entering the Age of Data)。
Focus on Data, Not Software
- 所以文章最後提到說「軟體現在只是一種方法(Software is now a means, not an end in and of itself)」
- Most Data Integration Tools are not Meeting 'Big Data' Demands - 企業資料倉儲(Enterprise Data Warehouse),前端需要資料整合工具(Data Integration Tool),或者 ETL 工具來整合不同的資料來源。不過目前看起來這些資料整合工具,未必符合 Big Data 的需求。
- Big Data Meets Data Virtualization
- Composite Data Virtualization Presentation - Composite Software 這間公司對於資料虛擬化(Data Virtualization)的定義,其實就是在講資料倉儲技術(怎麼把多個不同的資料來源,變成類似資料庫)
Open Data
- Why is UK train departure data not open data? - 哈,說明為何英國的火車出發時間不是公開資料,答案是原本營運該系統的是私人公司,只開放 API 不公開資料,而且 API 必須花錢買才行。但是當火車營運單位變成國家公共的,那麼資料是否也該變成公共的呢?這真是個弔詭的問題呀~
OSQA
- http://www.osqa.net/ - The Open Source Q&A System
- GPL 授權,使用 Python 與 Django 撰寫而成。整體感覺跟 http://stackoverflow.com/ 有點相似。
- 今天看到 SQL Performance Explained 這本介紹 SQL 效能調校免費電子書的作者 Markus Winard 的另一個網站 http://ask.use-the-index-luke.com/ 是用 OSQA 架設的。
- 看完之後覺得:好像老了~經營社群還在用 phpBB 論壇~