重復(fù)數(shù)據(jù)刪除技術(shù)的安全性如何

申請免費試用、咨詢電話：400-8352-114

重復(fù)數(shù)據(jù)刪除技術(shù)的安全性如何1

除非您最近像鴕鳥一樣把頭埋在沙子里，否則您或許會發(fā)覺重復(fù)數(shù)據(jù)刪除是個非常熱門的話題。似乎您有所耳聞的每個存儲供應(yīng)商（還有很多您不知道的公司）都在兜售重復(fù)數(shù)據(jù)刪除技術(shù)，用于降低磁盤到磁盤備份的成本。

您或許也曾懷疑重復(fù)數(shù)據(jù)刪除技術(shù)是否安全？在從已刪除重復(fù)數(shù)據(jù)的備份還原數(shù)據(jù)時，您是否真的可以取回自己的數(shù)據(jù)？

評估重復(fù)數(shù)據(jù)刪除技術(shù)的相對安全性可分為兩個基本部分：

識別并消除重復(fù)數(shù)據(jù)所用的算法

基礎(chǔ)軟硬件的可靠性

本文中，我將根據(jù)這兩條標(biāo)準(zhǔn)評估重復(fù)數(shù)據(jù)刪除技術(shù)。此外，我還將講解 NetApp 為增強其重復(fù)數(shù)據(jù)刪除技術(shù)的可靠性所作的選擇。大多數(shù)其他供應(yīng)商提供的重復(fù)數(shù)據(jù)刪除僅用于備份，而我們卻支持用于主存儲和二級存儲的重復(fù)數(shù)據(jù)刪除，因此我們格外注重數(shù)據(jù)安全性。

識別重復(fù)數(shù)據(jù)

大多數(shù)現(xiàn)有重復(fù)數(shù)據(jù)刪除產(chǎn)品都是在塊級操作，即用新塊比較上次存儲的塊，以判斷是否存儲過相同的塊。如果上次存儲過相同的塊，則指針將指向這個存儲的塊，“新”塊將被丟棄。

那么如何判斷兩個塊是否完全相同？最常用的方法是計算每個塊的指紋，即每個數(shù)據(jù)塊中包含的哈希值。如果兩個塊有相同的指紋，則通常認(rèn)為它們是相同的。

但是，兩個不同的數(shù)據(jù)塊也可能具有相同的指紋或哈希值，這種可能性雖然很低，但卻是存在的。我們稱之為“哈希沖突”，這將導(dǎo)致唯一的數(shù)據(jù)塊被意外刪除。

正如我們所預(yù)料，降低哈希沖突的可能性必需有更為復(fù)雜的算法，這通常會耗費更多的 CPU 資源來計算哈希值，并會得出較大的輸出值。顯然，可靠性與速度之間存在某個平衡點。此外，哈希值越長，指紋存儲所需的空間也越大。

在評估重復(fù)數(shù)據(jù)刪除技術(shù)時，您必需清楚供應(yīng)商識別重復(fù)數(shù)據(jù)的方式，以及所選算法帶來哈希沖突的風(fēng)險。很多供應(yīng)商辨稱磁盤故障、磁盤驅(qū)動器或磁帶錯誤造成數(shù)據(jù)塊損壞的概率要比哈希沖突的概率高。我不知道這是否只是令人寬慰的想法，但我相信絕大部分人都希望將風(fēng)險降至最低。

由于 NetApp 支持主存儲和備份存儲的重復(fù)數(shù)據(jù)刪除，因此我們需要采取一種更為積極的方法來防范哈希沖突。與大多數(shù)其他公司一樣，我們也采用指紋算法，但只用于識別潛在的重復(fù)數(shù)據(jù)。發(fā)生哈希沖突時，我們會首先對兩個塊進行逐個字節(jié)的比較，核查它們是否完全相同，然后才會決定是否廢棄任何塊。NetApp 的技術(shù)總監(jiān) Blake Lewis 在上一篇文章中曾詳細闡述 NetApp 如何識別重復(fù)數(shù)據(jù)塊。

基礎(chǔ)軟硬件的可靠性

重復(fù)數(shù)據(jù)刪除技術(shù)的可靠性程度取決于基礎(chǔ)軟硬件有多可靠。事實上，盡管這一點可能不會即刻體現(xiàn)，但是對于實施重復(fù)數(shù)據(jù)刪除，可靠性確實變得更為關(guān)鍵。

例如，假設(shè)您按照比較標(biāo)準(zhǔn)的備份日程進行每晚的增量備份和每周的完整備份， 現(xiàn)在假設(shè)您在月初創(chuàng)建了一個文件，之后沒有做過任何修改， 按照傳統(tǒng)的備份方式，每周的完整備份都會產(chǎn)生一個副本，因此在月底這個文件將會有四個副本。如果您需要將文件還原至該點，則即使備份介質(zhì)不可靠，您也可以至少恢復(fù)四個副本中的一個。

但是如果在此情景中加入重復(fù)數(shù)據(jù)刪除，月底時，您只會有該文件的一個物理副本，外加三組指向相同文件塊的指針。通過這個簡單的例子，您或許認(rèn)識到必須確保經(jīng)過重復(fù)數(shù)據(jù)刪除處理的備份一直可靠地存儲在彈性硬件上，并具有很好的 RAID 保護。在這一年中，您可能會有數(shù)百個實際上引用著大多數(shù)相同數(shù)據(jù)塊的備份。

見上圖，一個未更改的相同文件在四周內(nèi)的完整備份。如果沒有做重復(fù)數(shù)據(jù)刪除，同一文件會有四個分散的副本。通過重復(fù)數(shù)據(jù)刪除，您只會擁有一個副本。這樣可獲得大量的空間節(jié)省，但同時這個唯一副本的可靠保存也變得更為關(guān)鍵。

市場上重復(fù)數(shù)據(jù)刪除方面的產(chǎn)品多種多樣。有些只有軟件并可能用到多種基礎(chǔ)硬件；有些包括軟硬件（通過許可或 OEM 協(xié)議，從多種來源獲得）。在做出決定之前，您應(yīng)評估軟件成熟度、基礎(chǔ)硬件的可靠性以及兩者的集成情況。