重復數(shù)據(jù)刪除馳騁主存儲

申請免費試用、咨詢電話：400-8352-114

主存儲的重復數(shù)據(jù)刪除

在虛擬磁帶庫、備份、歸檔等二級存儲系統(tǒng)應用中，重復數(shù)據(jù)刪除、壓縮等數(shù)據(jù)縮減或容量優(yōu)化方法很常見，也很好用。二級存儲系統(tǒng)因采用這些方法而獲得了降低成本（或至少推遲采購）和節(jié)能的好處。不過，現(xiàn)在主存儲系統(tǒng)也可以獲得同樣的好處了，表現(xiàn)最顯著的是NAS服務器。

不過在開始評估各種選擇之前，就數(shù)據(jù)縮減而言，很重要的一點是，要注意主存儲系統(tǒng)和二級存儲系統(tǒng)需求間的差別，其主要差別是性能要求不同。

曾在市場研究與咨詢公司Janeja Group任高級分析師兼顧問的Eric Burgener表示:“主存儲系統(tǒng)優(yōu)化（PSO）和二級存儲系統(tǒng)優(yōu)化（SSO）的關鍵差別在于，對訪問時延的要求不同。主存儲系統(tǒng)的訪問時延要求一般比二級存儲系統(tǒng)嚴格得多?！?/P>

存儲優(yōu)化處理確實引起了時延，不過不同的解決方案已經(jīng)最大限度地減少或消除了對性能的影響。

Burgener說:“與二級存儲系統(tǒng)相比，主存儲系統(tǒng)中的數(shù)據(jù)冗余低得多，因此一般情況下人們會發(fā)現(xiàn)，主存儲系統(tǒng)的壓縮比也低得多，而注意到這一點很重要?！?/P>

不過，他說，對于主存儲系統(tǒng)數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除引起的性能問題，一些廠商正在想辦法解決。他認為，用戶應該理解，8∶1和20∶1的數(shù)據(jù)縮減比之間沒有很大的不同。

在二級存儲系統(tǒng)上進行數(shù)據(jù)縮減，可能獲得20:1或更高的容量優(yōu)化率，而在主存儲系統(tǒng)上進行數(shù)據(jù)縮減，一般只能獲得一位數(shù)的容量優(yōu)化率（盡管根據(jù)廠商解決方案和數(shù)據(jù)類型的不同而不同，這個比率變化很大）。不過，因為所需容量的減少發(fā)生在昂貴的主存儲系統(tǒng)上，所以，即使3:1的數(shù)據(jù)縮減比也可能帶來極大的成本節(jié)省，例如，僅為2∶1或3∶1的比率就可能分別將所需容量降低50%或66%。

對二級存儲系統(tǒng)進行數(shù)據(jù)縮減有各種不同的方法，這些方法之間存在差別，如果比較一下廠商們對主存儲系統(tǒng)采用的數(shù)據(jù)縮減方法就會發(fā)現(xiàn)，其差別情況與二級存儲系統(tǒng)類似。例如，有些廠商使用在線（in-line）數(shù)據(jù)縮減的方法（在數(shù)據(jù)寫入磁盤之前進行容量優(yōu)化，有時是實時的），而其他一些廠商則使用后處理（post-processing）方法（即數(shù)據(jù)存儲到磁盤上以后，再進行數(shù)據(jù)縮減）。

Burgener表示，一般來說，in-line方法需要較少的原始數(shù)據(jù)存儲容量，但是處理速度可能是個問題，因為應用性能可能受到負面影響。后處理方法一般不會引起可能影響應用性能的附加時延，但是，這種方法確實需要更多的存儲容量，究竟要多多少，取決于需要多長時間才能將數(shù)據(jù)處理成容量優(yōu)化形式。

IDC公司存儲軟件研究經(jīng)理Noemi Greyzdorf表示: “in-line與后處理容量優(yōu)化方法的優(yōu)點和缺點取決于你采用的方法，以及所采用的方法對讀/寫性能和附加容量需求的影響?！?/P>

另外，有些廠商采用“通用（generic）”算法（對所有類型的數(shù)據(jù)都采用相同的算法），而Ocarina Networks公司則針對特定類型的文件，如: jpeg、tiff等，采用“內(nèi)容識別”算法。

影響數(shù)據(jù)縮減的關鍵因素

數(shù)據(jù)縮減這種技術首次出現(xiàn)時，最終用戶并不愿意采用，因為他們擔心性能降低（吞吐量和/或時延）、數(shù)據(jù)可用性和可靠性問題。在主存儲系統(tǒng)應用環(huán)境中，這些擔憂更加重了，因為性能、可用性和可靠性在主存儲系統(tǒng)中要關鍵得多。

不過，廠商們的技術研發(fā)已經(jīng)大大減輕了這些擔憂。盡管數(shù)據(jù)縮減這種技術可能引起時延，但是一般情況下，已經(jīng)最大限度地降低了時延（在讀數(shù)據(jù)時降至幾毫秒），對很多應用來說，時延也許不是個問題了，而且所有廠商都已經(jīng)提高了吞吐速度。

通過先進的數(shù)據(jù)指紋和混編算法、字節(jié)級驗證、校驗和以及其他方法，大多數(shù)廠商可保證數(shù)據(jù)可靠性（即檢索出的容量優(yōu)化數(shù)據(jù)與原來的數(shù)據(jù)完全相同）。數(shù)據(jù)可用性問題也已經(jīng)解決，在有些情況下，是通過采用數(shù)據(jù)縮減專用設備解決的，這些設備均以鏡像配對形式配置。

IDC公司的Greyzdorf說: “對于主存儲系統(tǒng)數(shù)據(jù)縮減而言，很多用戶仍在設法了解不同的方法，因為他們必須確保不丟失數(shù)據(jù)?！?/P>

有些最終用戶正在計劃評估主存儲系統(tǒng)數(shù)據(jù)縮減方法，對他們來說，倒是有一個好消息—數(shù)據(jù)縮減技術領域的廠商數(shù)量相對較少，而且這些廠商大多數(shù)都提供工具軟件，以供用戶了解對于特定的數(shù)據(jù)集來說，能夠?qū)崿F(xiàn)多高的容量優(yōu)化率（盡管在這個問題上，分析師們?nèi)匀唤ㄗh要了解一下廠商提供的參考客戶的情況）。

對于主存儲系統(tǒng)數(shù)據(jù)縮減來說，盡管在各種不同的方法之間有可能進行一些“蘋果對蘋果”的比較，但是大部分比較是 “蘋果對橘子”的性質(zhì)，因為解決方案差異很大。不過，目標是相同的: 降低/優(yōu)化所需容量，這反過來又可極大地節(jié)省成本以及降低空間、功耗和冷卻要求。

主要廠商及特點

以下簡要介紹一下在主存儲系統(tǒng)數(shù)據(jù)縮減領域有哪些主要廠商，以及在分析師的眼中，這些廠商主要的與眾不同之處。

NetApp

NetApp也許是重復數(shù)據(jù)刪除領域最熱衷的支持者，該公司交付了大量具有重復數(shù)據(jù)刪除功能（用后處理方法實現(xiàn)）的系統(tǒng)，堪稱數(shù)據(jù)縮減市場上的領導者。該公司稱，已經(jīng)交付了3.7萬多個具有重復數(shù)據(jù)刪除功能的系統(tǒng)。當然，問題是，實際上有多少客戶在使用NetApp的重復數(shù)據(jù)刪除功能。

NetApp公司存儲效率高級市場經(jīng)理Larry Freeman的答案是，客戶至少正在使用1.5萬個系統(tǒng)的重復數(shù)據(jù)刪除功能，NetApp可以通過自動支持功能跟蹤使用情況。據(jù)Freeman估計，在這些系統(tǒng)中，“大約有60%正在對至少一個主存儲系統(tǒng)應用進行重復數(shù)據(jù)刪除?！?/P>

NetApp在其Data ONTAP操作系統(tǒng)中免費集成了重復數(shù)據(jù)刪除技術，因此，該公司所有平臺，例如FAS、V-Series、VTL等，都可提供重復數(shù)據(jù)刪除功能。另外，通過V-Series虛擬化網(wǎng)關，NetApp還可以在競爭對手的磁盤陣列上進行重復數(shù)據(jù)刪除，其中包括EMC、惠普、日立數(shù)據(jù)系統(tǒng)和IBM的陣列。NetApp還保證，在虛擬服務器環(huán)境中，第三方磁盤所需容量可減少35%。

與這一領域的其他廠商類似，NetApp專注于虛擬服務器環(huán)境，在這類環(huán)境中，重復數(shù)據(jù)刪除比率可以相對高一些。Freeman說，實際上在VMware環(huán)境中，典型情況下大約可以節(jié)省70%的容量。

EMC

今年早些時候，EMC宣布，其Celerra NS系列NAS平臺支持重復數(shù)據(jù)刪除和數(shù)據(jù)壓縮（該系列平臺也支持光纖通道和iSCSI）。EMC的重復數(shù)據(jù)刪除技術名為EMC Data Deduplication，集成在Celerra Manager軟件中，并基于EMC的Avamar（用于重復數(shù)據(jù)刪除）和RecoverPoint（用于壓縮）技術。EMC的數(shù)據(jù)縮減功能免費提供。

EMC稱，其重復數(shù)據(jù)刪除技術可以將所需文件系統(tǒng)容量降低多達50%。德國的Karlsruhe Institute of Technology是其早期采用者，其主存儲系統(tǒng)數(shù)據(jù)量降低了25%。

對于虛擬服務器環(huán)境來說，EMC的重復數(shù)據(jù)刪除技術可與該公司的VMware View一起使用， VMware View是一個vCenter插件。

最近，EMC又宣布，與Ocarina Networks就產(chǎn)品與技術整合建立合作關系。

Ocarina

除了EMC，Ocarina還與BlueArc、惠普、Isilon、日立數(shù)據(jù)系統(tǒng)、Nirvanix等廠商有合作關系。

按照Ocarina公司首席執(zhí)行官Murli Thirumale的說法，Ocarina的關鍵不同之處在于，其ECOsystem數(shù)據(jù)縮減平臺通過專門的算法，提供內(nèi)容識別（特定類型文件）優(yōu)化。ECOsystem采用后處理（或離線，或out-of-band）方法，兼具對象級數(shù)據(jù)的重復數(shù)據(jù)刪除和壓縮功能?！癊CO”指的是該系統(tǒng)進行容量優(yōu)化的“抽取-關聯(lián)-優(yōu)化”方法，用這種方法時，數(shù)據(jù)首先抽取出來，變換成原來的格式（而且如果是壓縮數(shù)據(jù)，還要解壓縮），然后再用與特定子文件或?qū)ο笃ヅ涞乃惴ㄟM行關聯(lián)（混編）和優(yōu)化。在某些環(huán)境中，這種方法可實現(xiàn)更高級的容量優(yōu)化，而且由于這種方法是在后處理采用的，所以不會降低主存儲系統(tǒng)應用的性能。

ECOsystem中包括一個執(zhí)行容量優(yōu)化的Optimizer和一個按需擴充文件的ECOreader。

Ocarina很早就在圖像應用環(huán)境中取得了成功（盡管該公司的技術不僅限于圖像領域），例如，柯達公司用Ocarina的ECOsystem管理超過20PB的照片數(shù)據(jù)。

Storwize

Storwize是主存儲系統(tǒng)數(shù)據(jù)縮減技術市場的先驅(qū)，該公司的技術也可以用于二級存儲系統(tǒng)。Storwize的關鍵不同點是，其in-line方法基于增強的實時壓縮（而沒有重復數(shù)據(jù)刪除，盡管Storwize的技術可以與重復數(shù)據(jù)刪除一起使用）。

Storwize公司全球市場高級副總裁Peter Smails表示:“我們是惟一一家對優(yōu)化（壓縮）數(shù)據(jù)提供實時和直接隨機存取的公司?！?/P>

與后處理數(shù)據(jù)縮減方法不同，Storwize的STN設備在數(shù)據(jù)第一次建立時、即在起始點進行優(yōu)化，在數(shù)據(jù)寫入磁盤時對數(shù)據(jù)進行壓縮。因此，該平臺不像后處理方法那樣，不需要任何附加磁盤容量。

為了提高設備吞吐量，Storwize最近推出了STN-6000i系列，該系列產(chǎn)品提供高達800MBps的吞吐量，而以前的產(chǎn)品吞吐量為600MBps。

Hifn

今年4月被Exar收購的Hifn公司采用另一種數(shù)據(jù)縮減方法。該公司向OEM提供兼有重復數(shù)據(jù)刪除、增強壓縮和加密功能的板卡和軟件。最新的板卡是BitWackr 250和255，這些板卡可以插入任何Windows服務器，價格預計為950美元左右。

與存儲網(wǎng)絡上基于專用設備的方法不同，與本質(zhì)上位于主存儲系統(tǒng)之后的目標端方法也不同，Hifn的板卡插入服務器，并優(yōu)化寫入本機磁盤的數(shù)據(jù)。重復數(shù)據(jù)刪除發(fā)生在NTFS文件分配單元中。

Exar公司存儲系統(tǒng)產(chǎn)品副總裁John Matze解釋說:“NTFS先進行重復數(shù)據(jù)刪除，然后我們的板卡和軟件再做進一步的重復數(shù)據(jù)刪除和壓縮?！?/P>

另一個不同之處是，Hifn利用基于ASIC的硬件加速。

盡管相對來說Hifn不那么知名，但是該公司卻不是數(shù)據(jù)縮減領域的新手。配備硬件壓縮的大多數(shù)虛擬磁帶庫（VTL）都采用Hifn的板卡，如FalconStor、IBM、Overland Storage、Sepaton以及其他一些廠商的虛擬磁帶庫。

greenBytes

greenBytes是數(shù)據(jù)縮減市場的新手，該公司原來預期今年6月開始交付產(chǎn)品。

greenBytes的不同之處是，它捆綁了多種技術，包括壓縮、子文件級重復數(shù)據(jù)刪除、海量空閑磁盤陣列（MAID）、固態(tài)盤（SSD）驅(qū)動器、除了CIFS和NFS還支持iSCSI以及n-to-n復制。另外，greenBytes的軟件基于開源代碼，尤其是OpenSolaris和一個修改版的ZFS文件系統(tǒng)，以提高可擴展性（按照首席技術官Bob Petrocelli的說法，高達數(shù)百TB都不會影響性能）。

greenBytes的專用設備采用源端數(shù)據(jù)縮減方法，其寫速度高達800MBps。

greenBytes的方法采用了一種關鍵技術，該公司將其稱為“基于概率的恒定時間搜索”。在這種方法中，系統(tǒng)可以確定以前在“恒定”時間內(nèi)是否遇到了一個特定的數(shù)據(jù)塊，而不管系統(tǒng)獲得的文件有多大。該技術在固態(tài)盤上實現(xiàn)。Petrocelli說，這種技術的好處是高速重復數(shù)據(jù)刪除，而且存儲的數(shù)據(jù)增多時，速度不會受到影響。另外，greenBytes的方法先壓縮數(shù)據(jù)，然后再進行重復數(shù)據(jù)刪除，據(jù)稱可以支持高達2PB的名字空間。

對于正在考慮主存儲系統(tǒng)數(shù)據(jù)縮減的用戶，IDC公司的Greyzdorf提出了以下建議:“首先要了解自己的數(shù)據(jù)是什么類型的，了解這些數(shù)據(jù)的存取方式，有多少正在使用的數(shù)據(jù)和靜態(tài)數(shù)據(jù)，要對這些數(shù)據(jù)做什么，包括備份、復制、快照等，這樣才能更好地了解什么類型的容量優(yōu)化技術最適合自己的特定環(huán)境?！?/P>