2011-05-17

Prediction

• ​福特採用Google資料預測演算法，研發節能智慧汽車

  Google 搜尋所向無敵的秘訣－－人工智慧和機器學習演算法
  

• ​http://code.google.com/intl/zh-TW/apis/predict/ - Google Prediction API

Social Network : Facebook

• ​FBCMD: Command Line for Facebook - 可以用命令列取得 Facebook 資訊的工具，看樣子這樣要作批次處理就變簡單了。
• ​How Facebook Brings a New Data Center Online - Facebook 最近擴充動作頻繁，這篇文章提到幾個自由軟體：
  • ​FlashCache - 看起來是加速 MySQL 資料庫的工具

    Flashcache with MySQL allows us to achieve twice the throughput on each of 
    our new MySQL machine...we need to run two MySQL instances on each machine...
    

  • 另外有個佈署工具叫做 Kobold，不過還找不到 code。

Hadoop

• 多數 Hadoop 的 Patch 由 Yahoo 提供。
• 
• 下一代的 Hadoop MapReduce 架構 - ​The Next Generation of Apache Hadoop MapReduce
• 

• ​"Big Data" technology: getting hotter, but still too hard
  • 最近在 LinkedIn 的社群也看到一樣的問題：Hadoop 不好學、對一般企業來說太複雜了!!

• ​Hadoop Ecosystem: EMC, NetApp, Mellanox, SnapLogic, DataStax
• DataStax? Brisk: Hadoop and Hive on Cassandra (詳 2011-04-01)
• ​SnapLogic SnapReduce - 這間公司目標想把 Hadoop 變成更簡單，設計了圖形化介面來作 Map / Reduce 工作的規劃。(詳 2011-05-12)
• ​Mellanox Hadoop-Direct - - mellanox 用硬體去加速 Hadoop 與 Memcached (詳 2011-05-12)
• ​NetApp Hadoop Shared DAS (2011-05-12 有提到 NetApp 特製的硬體 ​NetApp e5400 ，是 NetApp 針對 Big Data 應用（Ex. Hadoop）強化 IOPS )
• 
• 看了一下 Shared DAS 主要做幾件事情：

  <1> 幫忙做背景的複本工作（用硬體 RAID 減少複本執行時間）
  reduce the amount of background replication tasks by employing highly efficient RAID
  <2> 降低 Disk I/O 的反應時間（用硬體方式提高 IOPS）
  NetApp E-Series Shared DAS enables significantly higher disk I/O bandwidth at lower latency
  <3> 減少複本個數（用硬體 RAID 減少複本個數，增加硬碟可用空間，或許跟去重複技術也有關）
  reducing the number of object replicas within a rack
  Fewer replicas mean less disks to buy or more objects stored within the same infrastructure.
  

• ​EMC Greenplum HD

  EMC Greenplum provides fault tolerance for the Name Node and Job Tracker, 
  both single points of failure in Hadoop.
  

• Cascalog - 基於 Clojure 寫的一個 Hadoop 查詢語言，可以方便分析師用類似 SQL 語法 / Datalog 語法做分析
  • ​Introducing Cascalog: a Clojure-based query language for Hadoop
  • ​https://github.com/nathanmarz/cascalog
  • <案例分享> ​Why Yieldbot chose Cascalog over Pig for Hadoop processing

影響力

• 我們團隊架設的網站在近期國網中心的流量佔 26.41%，僅次於科學志工網站。
• 
• 國網中心關鍵字第一名：Clonezilla，再生龍第五，partclone第十。至於 v86d 是先前追 jfbterm 造成的。比較有趣的是 opennebula 進榜了。
• 
•