wiki:jazz/10-07-26

Context Navigation

Version 14 (modified by jazz, 14 years ago) (diff)
--

2010-07-26

Linux : SSH

[備忘] 今天 casper 問我怎麼讓 ssh 下完遠端指令後，只有遠端有程序，本地端不會有程序。試了幾種方法，包括以前寫過的，把遠端程式寫成背景執行，還有 nohup 這個指令，都沒什麼效果。這裡有一篇文章說明了這是 OpenSSH 的實作造成的影響，當然網路上也是一堆解法。看了一些討論123，最後的做法是這兩種寫法：(key word : ssh remote background )
```
$ ssh remsystem 'nohup command </dev/null >/dev/null 2>&1 &'
$ ssh remsystem 'command </dev/null >&/dev/null &'
```

Security : GPG

好久沒用到 GPG 簽章了，今天因為要註冊 OFSET 頁面，再次需要用到我的簽章。

GPG Fingerprint - pub 1024D/570712BF

 7646 68F2 DCE8 4EDD 6EC5  620E 4D7D 1E81 5707 12BF

~$ gpg --recv-keys 570712BF
gpg: 正在請求金鑰 570712BF 自 hkp 伺服器 keys.gnupg.net
gpg: 金鑰 570712BF: "Jazz Wang (Jazz Yao-Tsung Wang) <jazzwang.tw@gmail.com>" 未改變
gpg: 處理總量: 1

~$ gpg --recv-keys 7C7A1971 46379ACF 11691130

~$ gpg --list-keys

如果有人寄來一封用你的 GPG Key 加密的信到 gmail，那該怎麼解密呢?! - [參考] Firefox 套件 FireGPG 支援 Gmail 的 GPG 加密及網頁訊息加上 GPG 加密
- 在 Windows 上必須安裝 GPG4Win - 因為只需要 GnuPG 跟 GPA (GUI 管理 Key 的介面), 所以我抓的是 gpg4win-light-2.0.3.exe 輕量化的版本
- 然後在 Firefox 也安裝FireGPG 套件： http://tw.getfiregpg.org/s/install
- 使用 GPA 設定 GPG 安裝路徑，並匯入私鑰
- 在 Gmail 中必須選擇原文(Print Original)才有辦法顯示解密。

2010-07-26

File System : Data Deduplication

今天看到戴爾(Dell)併購 Ocarina Networks 好獲得刪除重複資料功能，又重新搜尋了一下目前自由軟體可以做到 Deduplication 的解決方案。目前看起來 File System 有三種解決方案：(1) ZFS (2) lessfs (3) SDFS，軟體部分有看到：(1) backuppc (2) bacula (3) OStor
- 硬體龍頭戴爾極力發展軟實力
```
19日(2010-07-19)戴爾宣布購併儲存軟體業者 Ocarina Networks，該公司旗下軟體以壓縮、刪除重複資料功能見長。
所以透過Ocarina Networks 的軟體，便可達到儲存效率最佳化，有效降低硬體、能源等各方面相關成本。
```

關於 Data Deduplication 的定義與分類
- 定義：維基百科
```
Data deduplication or Single Instancing essentially refers to the elimination of redundant data. 
In the deduplication process, duplicate data is deleted, leaving only one copy (single instance) 
of the data to be stored. However, indexing of all data is still retained should that data ever 
be required.
```
  - 2009-09-23 : Deduping Storage Deduplication
  - 2007-07-12 : What is deduplication? (updated 6-08)
- 分類：
  1. Point of Application – Source Vs Target
  2. Time of Application – Inline vs Post-Process
  3. Granularity – File vs Sub-File level
  4. Algorithm – Fixed size blocks Vs Variable length data segments
- Target based Deduplication vs Source based Deduplication
- - 2007-07-30 : Two different types of de-duplication
  - 2007-07-31 : De-duplication & remote restores
- Inline-process Deduplication vs Post-process Deduplication
- File Level Deduplication vs Sub-file Level Deduplication
- Fixed-Length Blocks vs Variable-Length Data Segments
- ]

論文： FAST'08 - Avoiding the Disk Bottleneck in the Data Domain Deduplication File System
SNIA Data Protection and Management 2009 - Understanding Data Deduplication - Daniel Budiansky, Larry Freeman

2010-05-13 : Open Source Deduplication: Ready for Enterprises?
- 這裡提到一個 Bacula System 也要 Open Source，自由軟體版本必須到 http://www.bacula.org/ 才找得到。
- Zmanda Zmanda 這間公司倒是超常看到，不管是 Linux World 或者最近在找 MySQL 備份，都可以看到它的蹤影。從公司網站上看起來，有分成(1) 基於自由軟體 Amanda 的網路備份、(2) MySQL 備份跟(3) 雲端備份。
- 至於 Nexenta Systems 是基於 ZFS 來作 inline deduplication

2010-05-20 至中興大學演講，會後與另一場關於虛擬化的講者，麟瑞科技陳中欣先生聊到 NetApp? 的 Deduplication 技術是 Block-level，也因此針對虛擬機器的 Disk 可以達到 deduplication 的目的。

2009-02-11 : 關於 A-SIS & COW
- Single Instance Storage (SIS) 是 NTFS 的特點
- SIS 的特性跟 Copy-on-Write (COW) 很相似，而 COW 最被廣泛應用的地方就是 QEMU 這些虛擬化技術所用的檔案系統了。
- 不少人在談論在 NFS 上跑 VMWare
- 而 ITHome 也報導過 NetApp A-SIS 可以幫忙活用儲存虛擬化：以少量的實體空間，因應龐大的資料存取需求
- 這裡有 NetApp 官方的 A-SIS 的介紹。
- IBM RedBook 介紹了 IBM 自家的儲存系統也支援 A-SIS，這張圖非常經典地說明了如何在 Block-level 做 deduplication。
- 目前有實作 Deduplication 概念的檔案系統並不多。或許可以進一步了解一下 A-SIS 是怎麼做 Block-level 的 Deduplication，這樣或許可以強化 DRBL AOE Windows 跟 Xen 虛擬化所需的硬碟空間。

10-08-07: 儲存設備深入解構 - IBM Forum 2009

File System : Data Deduplication : lessfs

2009-09-23 : 先前一直有在注意 virtualization 所帶來的資料重疊問題，NetApp　在這方面就很厲害，可以從 File System 下手，把重複的檔案進行濃縮(deduplication)。今天剛好看到 Linux Magazine 的文章「Deduping Storage Depulication」，裡面有提到目前許多商業解決方案，但自由軟體呢？目前似乎只有用 FUSE 寫的 lessfs，它的官方網站　http://www.lessfs.com/ 目前並沒有太多資料，希望未來會有更多這類的檔案系統出現。我第一個想到的問題是在 loop device image 裡重複的檔案，該怎麼進行 deduplication 呢?? 同樣的 vmdk 這一些虛擬化的硬碟，有辦法作 deduplication 嘛??