去無帶化，為何資料保護，資料無損這麼重要？Data Domain DIA 技術介紹
記得去年的新聞 "維修後資料 全消失" 業者損3千萬氣炸"，大家知道維修的是甚麼嗎？據說就是磁帶機呢。
磁帶剛出來的年代，硬碟非常貴，磁帶以容量大，價格便宜的優勢，擄獲了需要每個資料備份的客戶。
但是呢，磁帶的物理特性，長時間保留還是存在消磁的風險，再來磁帶是線性的儲存設備（妳把磁帶拉出來，就會是長長長的一條啦)，要讀到最早的資料，就得要整捲磁帶重頭讀一次才有辦法，如果客戶要定期檢查，往往曠日廢時，然後讀不出來也只能註記＂資料已毀損"
DellEMC提出的無帶化解決方案，其中最重要的一環就是備份專用儲存設備＂Data Domain"，Data Domain本身是X86架構的主機，裡面放SSD硬碟、SAS 硬碟或NS SAS硬碟，上面跑Data Domain優化過的OS，那Data Domain到底要怎麼確保資料無損呢？為何客戶可以非常信任的把資料都轉到Data Domain上面呢？下面我來介紹一下Data Domain的獨門技術：DIA
Data Domain的D.I.A（Data Invulnerability Architecture）技術，資料無損架構，總共有四大技術：
1. 端到端驗證：從備份軟體發動備份開始，到寫入Data Domain，資料會作檢查(checksum)檢查，當資料寫入Data Domain後，Data Domain還會把資料再讀出一次確認check sum，過程中有任何一次checksum有問題，Data Domain都會重新針對有問題的資料重新再備份。
2. 特別為備份設計的日誌型檔案系統：
a. 新資料不覆蓋原有資料，任一個client發動的每個備份session，都會寫到不同的硬碟區塊，資料不覆蓋，即使是同一個檔案，每次備份都會放在不同硬碟區塊。(傳統的檔案系統，都是指標(inode)的方式，同一個檔案就是會指向固定的區塊)
b. 同上，非指標架構(inode)的檔案系統，日誌(log)維護非常簡單，就是維護每一次寫入的備份資料(Container)，檔案系統本身幾乎不會有軟體問題或bug。
c. Data Domain本身有NVRAM (不掉電記憶體)設計，當機房跳電或斷電發生時，尚未寫入硬碟的資料都受到NVRAM保護，機房覆電後，資料再繼續寫回磁碟。
3. 檔案系統還原：
傳統的檔案系統是不會檢查資料一致性，除非你執行file system check(fsck)，
Data Domain每次備份都會檢查新舊資料的一致性，再加上Data Domain的檔案系統不會覆蓋舊資料，架構設計上，也沒有指標映射(inode mapping)跟多重映射(redirect count)問題，所以Data Domain檔案系統可以很容易的透過日誌(log)跟資料比對，來還原或重建遺失或毀損的資料，傳統檔案系統只能把損壞的區塊 (檔案) 標記成lost and found….
4. 持續性故障監控與自我還原：
a. Data Domain 週期性檢查Raid與備份資料(Container) log的完整性。
b. 每次讀資料，都會再次檢查資料完整性
c. 任何監控到的錯誤都會被還原
d. Raid 6保護
回到學習地圖
磁帶剛出來的年代，硬碟非常貴，磁帶以容量大，價格便宜的優勢，擄獲了需要每個資料備份的客戶。
但是呢，磁帶的物理特性，長時間保留還是存在消磁的風險，再來磁帶是線性的儲存設備（妳把磁帶拉出來，就會是長長長的一條啦)，要讀到最早的資料，就得要整捲磁帶重頭讀一次才有辦法，如果客戶要定期檢查，往往曠日廢時，然後讀不出來也只能註記＂資料已毀損"
DellEMC提出的無帶化解決方案，其中最重要的一環就是備份專用儲存設備＂Data Domain"，Data Domain本身是X86架構的主機，裡面放SSD硬碟、SAS 硬碟或NS SAS硬碟，上面跑Data Domain優化過的OS，那Data Domain到底要怎麼確保資料無損呢？為何客戶可以非常信任的把資料都轉到Data Domain上面呢？下面我來介紹一下Data Domain的獨門技術：DIA
Data Domain的D.I.A（Data Invulnerability Architecture）技術，資料無損架構，總共有四大技術：
1. 端到端驗證：從備份軟體發動備份開始，到寫入Data Domain，資料會作檢查(checksum)檢查，當資料寫入Data Domain後，Data Domain還會把資料再讀出一次確認check sum，過程中有任何一次checksum有問題，Data Domain都會重新針對有問題的資料重新再備份。
2. 特別為備份設計的日誌型檔案系統：
a. 新資料不覆蓋原有資料，任一個client發動的每個備份session，都會寫到不同的硬碟區塊，資料不覆蓋，即使是同一個檔案，每次備份都會放在不同硬碟區塊。(傳統的檔案系統，都是指標(inode)的方式，同一個檔案就是會指向固定的區塊)
b. 同上，非指標架構(inode)的檔案系統，日誌(log)維護非常簡單，就是維護每一次寫入的備份資料(Container)，檔案系統本身幾乎不會有軟體問題或bug。
c. Data Domain本身有NVRAM (不掉電記憶體)設計，當機房跳電或斷電發生時，尚未寫入硬碟的資料都受到NVRAM保護，機房覆電後，資料再繼續寫回磁碟。
3. 檔案系統還原：
傳統的檔案系統是不會檢查資料一致性，除非你執行file system check(fsck)，
Data Domain每次備份都會檢查新舊資料的一致性，再加上Data Domain的檔案系統不會覆蓋舊資料，架構設計上，也沒有指標映射(inode mapping)跟多重映射(redirect count)問題，所以Data Domain檔案系統可以很容易的透過日誌(log)跟資料比對，來還原或重建遺失或毀損的資料，傳統檔案系統只能把損壞的區塊 (檔案) 標記成lost and found….
a. Data Domain 週期性檢查Raid與備份資料(Container) log的完整性。
b. 每次讀資料，都會再次檢查資料完整性
c. 任何監控到的錯誤都會被還原
d. Raid 6保護
回到學習地圖
留言
張貼留言