2010-07-26

File System : Data Deduplication

• 今天看到戴爾(Dell)併購 Ocarina Networks 好獲得刪除重複資料功能，又重新搜尋了一下目前自由軟體可以做到 Deduplication 的解決方案。目前看起來 File System 有三種解決方案：(1) ​ZFS (2) ​lessfs (3) ​SDFS，軟體部分有看到：(1) ​backuppc (2) ​bacula (3) ​OStor
  • ​硬體龍頭戴爾極力發展軟實力

    19日(2010-07-19)戴爾宣布購併儲存軟體業者 Ocarina Networks，該公司旗下軟體以壓縮、刪除重複資料功能見長。
    所以透過Ocarina Networks 的軟體，便可達到儲存效率最佳化，有效降低硬體、能源等各方面相關成本。
    

• ​關於 Data Deduplication 的定義與分類
  • 定義：​維基百科

    Data deduplication or Single Instancing essentially refers to the elimination of redundant data. 
    In the deduplication process, duplicate data is deleted, leaving only one copy (single instance) 
    of the data to be stored. However, indexing of all data is still retained should that data ever 
    be required.
    

    • 2009-09-23 : ​Deduping Storage Deduplication
    • 2007-07-12 : ​What is deduplication? (updated 6-08)
  • 分類：
    1. Point of Application – Source Vs Target
    2. Time of Application – Inline vs Post-Process
    3. Granularity – File vs Sub-File level
    4. Algorithm – Fixed size blocks Vs Variable length data segments
  • 
  • Target based Deduplication vs Source based Deduplication
  • 
    • 2007-07-30 : ​Two different types of de-duplication
    • 2007-07-31 : ​De-duplication & remote restores
  • Inline-process Deduplication vs Post-process Deduplication
  • 
  • File Level Deduplication vs Sub-file Level Deduplication
  • Fixed-Length Blocks vs Variable-Length Data Segments
  • ]

• 論文： FAST'08 - ​Avoiding the Disk Bottleneck in the Data Domain Deduplication File System
• ​SNIA Data Protection and Management 2009 - ​Understanding Data Deduplication - Daniel Budiansky, Larry Freeman

• 2010-05-13 : ​Open Source Deduplication: Ready for Enterprises?
  • 這裡提到一個 ​Bacula System 也要 Open Source，自由軟體版本必須到 ​http://www.bacula.org/ 才找得到。
  • ​Zmanda Zmanda 這間公司倒是超常看到，不管是 Linux World 或者最近在找 MySQL 備份，都可以看到它的蹤影。從公司網站上看起來，有分成(1) 基於​自由軟體 Amanda 的網路備份、(2) MySQL 備份跟(3) 雲端備份。
  • 至於 ​Nexenta Systems 是基於 ZFS 來作 inline deduplication

• ​Opendedup 的 SDFS - 看起來是 2010 年初才變成自由軟體 - 授權是 GPLv2. - ​Google Code 專案網站
  • 2010-03-25 : ​SDFS: A Robust Deduplication File System for Linux
  • 2010-03-25 : ​Open source deduplication software released for Linux
  • 

• 2010-02-22 : ​Two open-source data deduplication tools
  • 這裡除了介紹 ZFS 以外，還介紹了一套叫做 ​backuppc
  • 還有人幫 backuppc 作了一個虛擬機器版本 - ​Open source backup and data de-duplication virtual appliance

• ​OStor - ​舊的 SourceForge 網站
  • 2009-11-01 : ​Introducing OStor – data deduplication in the cloud. Open source project.
  • 2009-11-01 : ​OStor – data deduplication in the cloud – HowTo

• ​2010-05-20 至中興大學演講，會後與另一場關於虛擬化的講者，麟瑞科技陳中欣先生聊到 NetApp? 的 Deduplication 技術是 Block-level，也因此針對虛擬機器的 Disk 可以達到 deduplication 的目的。
  • 

• ​2010-03-03 邀請 Sun 來演講 ZFS, 發現原來 ZFS 也有 deduplication 的特性呢!!真好!!
  • 2009-12-03 : ​ZFS Deduplication Frequently Asked Questions (FAQ)
  • 2009-11-03 : ​ZFS with data deduplication
  • 2009-11-02 : ​ZFS Deduplication

• 2009-02-11 : 關於 A-SIS & COW
  • ​Single Instance Storage (SIS) 是 NTFS 的特點
  • SIS 的特性跟 ​Copy-on-Write (COW) 很相似，而 COW 最被廣泛應用的地方就是 QEMU 這些虛擬化技術所用的檔案系統了。
  • ​不少人在談論在 NFS 上跑 VMWare
  • 而 ITHome 也報導過 ​NetApp A-SIS 可以幫忙 ​活用儲存虛擬化：以少量的實體空間，因應龐大的資料存取需求
  • ​這裡有 NetApp 官方的 A-SIS 的介紹。
  • ​IBM RedBook 介紹了 IBM 自家的儲存系統也支援 A-SIS，這張圖非常經典地說明了如何在 Block-level 做 deduplication。
  • 
  • 目前有實作 Deduplication 概念的檔案系統並不多。或許可以進一步了解一下 A-SIS 是怎麼做 Block-level 的 Deduplication，這樣或許可以強化 DRBL AOE Windows 跟 Xen 虛擬化所需的硬碟空間。

• 2009-09-23 : 先前一直有在注意 virtualization 所帶來的資料重疊問題，NetApp　在這方面就很厲害，可以從 File System 下手，把重複的檔案進行濃縮(deduplication)。今天剛好看到 Linux Magazine 的文章「​Deduping Storage Depulication」，裡面有提到目前許多商業解決方案，但自由軟體呢？目前似乎只有用 FUSE 寫的 ​lessfs，它的官方網站　​http://www.lessfs.com/ 目前並沒有太多資料，希望未來會有更多這類的檔案系統出現。我第一個想到的問題是在 loop device image 裡重複的檔案，該怎麼進行 deduplication 呢?? 同樣的 vmdk 這一些虛擬化的硬碟，有辦法作 deduplication 嘛??