2011-04-19
Mobile Computing
- 新名詞 SoLoMo - "Social-Local-Mobile" - 概念來自John Doerr
- Top 10 Mobile Internet Trends (Feb 2011)
File System
- 影片: File Systems in the Cloud {Collaboration Summit '11}
- 2011/4/6~8 在舊金山舉辦的 Collaboration Summit '11 其中由 Google Kernel Storage Team 成員 Michael Rubin 解說從 Local Disk File System 到 Local Network File System 到 Distributed File System 到 Application(BigTable),當 Google 從 ext2 改變成 ext4,並取消 Journal 功能,帶來許多好處。
- 首先,比較重要的是 Google 的儲存分層架構(Storage Stack)是 Local File System、NFS 跟 DFS。有點好奇的是為何需要 NFS,也許是為了某些服務吧~總不能全部都跑 Google File System。(Q:這樣還有在地運算 data locality 的優點嘛?)
- 這裡提到一個缺點是關於 ext2 會花 40% 在處理屬性資料(metadata)上。
- 其次是 ext2 如果毀損,每 TB 必須花 85 分鐘做 fsck,相當耗時!
- 因此,Google 儲存團隊比較了 btrfs、ext3、ext4、xfs 跟 zfs,最後決定移植到 ext4 (相信很大的重要性是為了相容於 ext2 的資料移轉)
- 這裡顯示出 ext4 只會花 4% 在處理屬性資料,比較 ext2 少了許多。
- 採用 ext2 跟 ext4 對 NFS 的效能影響:以 ext2 為比較基準,ext4 不管是讀、寫還是移除,在效能上都有長足的改善(約60%~120%)。
- 採用 ext2 跟 ext4 對 GFS 的效能影響:以 ext2 為比較基準,ext4 也大約有 20%~50% 的效能提昇。
- 採用 ext2 跟 ext4 對 GFS 的效能影響:以 ext2 為比較基準,ext4 大約降低了 30% 左右的延遲,效能也是提昇。
- 講者提到三個雲端必要需求(Requirement of the Cloud):(1) Visibility 可見度(了解到底故障、錯誤在哪裡?是誰拖垮效能?)
- 講者提到三個雲端必要需求(Requirement of the Cloud):(2) Predictable 可預測性(考量效能改進與成本的關係,如果用 5GB 記憶體來做屬性資料的快取,能讓讀寫於 20ms 完成;但用 500MB 記憶體的讀寫效能變成 500ms~2sec 那該用哪一個呢?這又是一個機率與統計的問題!Google的最愛啊!)
- 講者提到三個雲端必要需求(Requirement of the Cloud):(3) HW Abstraction 硬體抽象性(應該也可以解釋成能夠容忍異質平台,不管是磁碟硬碟還是固態硬碟)
- 最後講者分享了一個調校小技巧:把 EXT4 的日誌功能(Journaling)關掉,也可以加速
- 當然講者提到說目前不需要日誌功能,但或許未來 Google 有一天需要重新思考這個決策。
Last modified 13 years ago
Last modified on May 18, 2011, 12:05:37 AM
Attachments (13)
- 01_Google_Storage_Stack.png (83.9 KB) - added by jazz 13 years ago.
- 02_ext2_disk_operation.png (58.1 KB) - added by jazz 13 years ago.
- 03_ext2_cloud_threat.png (80.8 KB) - added by jazz 13 years ago.
- 04_ext4_upgrade_2011.png (84.4 KB) - added by jazz 13 years ago.
- 05_ext4_disk_operation.png (69.4 KB) - added by jazz 13 years ago.
- 06_NFS_impact.png (119.9 KB) - added by jazz 13 years ago.
- 07_GFS_impact.png (131.6 KB) - added by jazz 13 years ago.
- 08_BigTable_impact.png (115.0 KB) - added by jazz 13 years ago.
- 09_visibility_requirement.png (87.7 KB) - added by jazz 13 years ago.
- 10_predictable_requirement.png (99.3 KB) - added by jazz 13 years ago.
- 11_HW_Abstract_requirement.png (102.8 KB) - added by jazz 13 years ago.
- 12_journal_impact.png (107.2 KB) - added by jazz 13 years ago.
- 13_turn_off_journal_for_now.png (112.7 KB) - added by jazz 13 years ago.
Download all attachments as: .zip