wiki:jazz/11-04-19

2011-04-19

Mobile Computing

File System

  • 影片: File Systems in the Cloud {Collaboration Summit '11}
  • 2011/4/6~8 在舊金山舉辦的 Collaboration Summit '11 其中由 Google Kernel Storage Team 成員 Michael Rubin 解說從 Local Disk File System 到 Local Network File System 到 Distributed File System 到 Application(BigTable),當 Google 從 ext2 改變成 ext4,並取消 Journal 功能,帶來許多好處。
  • 首先,比較重要的是 Google 的儲存分層架構(Storage Stack)是 Local File System、NFS 跟 DFS。有點好奇的是為何需要 NFS,也許是為了某些服務吧~總不能全部都跑 Google File System。(Q:這樣還有在地運算 data locality 的優點嘛?)
  • 這裡提到一個缺點是關於 ext2 會花 40% 在處理屬性資料(metadata)上。
  • 其次是 ext2 如果毀損,每 TB 必須花 85 分鐘做 fsck,相當耗時!
  • 因此,Google 儲存團隊比較了 btrfs、ext3、ext4、xfs 跟 zfs,最後決定移植到 ext4 (相信很大的重要性是為了相容於 ext2 的資料移轉)
  • 這裡顯示出 ext4 只會花 4% 在處理屬性資料,比較 ext2 少了許多。
  • 採用 ext2 跟 ext4 對 NFS 的效能影響:以 ext2 為比較基準,ext4 不管是讀、寫還是移除,在效能上都有長足的改善(約60%~120%)。
  • 採用 ext2 跟 ext4 對 GFS 的效能影響:以 ext2 為比較基準,ext4 也大約有 20%~50% 的效能提昇。
  • 採用 ext2 跟 ext4 對 GFS 的效能影響:以 ext2 為比較基準,ext4 大約降低了 30% 左右的延遲,效能也是提昇。
  • 講者提到三個雲端必要需求(Requirement of the Cloud):(1) Visibility 可見度(了解到底故障、錯誤在哪裡?是誰拖垮效能?)
  • 講者提到三個雲端必要需求(Requirement of the Cloud):(2) Predictable 可預測性(考量效能改進與成本的關係,如果用 5GB 記憶體來做屬性資料的快取,能讓讀寫於 20ms 完成;但用 500MB 記憶體的讀寫效能變成 500ms~2sec 那該用哪一個呢?這又是一個機率與統計的問題!Google的最愛啊!)
  • 講者提到三個雲端必要需求(Requirement of the Cloud):(3) HW Abstraction 硬體抽象性(應該也可以解釋成能夠容忍異質平台,不管是磁碟硬碟還是固態硬碟)
  • 最後講者分享了一個調校小技巧:把 EXT4 的日誌功能(Journaling)關掉,也可以加速
  • 當然講者提到說目前不需要日誌功能,但或許未來 Google 有一天需要重新思考這個決策。
Last modified 14 years ago Last modified on May 18, 2011, 12:05:37 AM

Attachments (13)

Download all attachments as: .zip