主存儲縮減技術(shù)浮出水面

申請免費(fèi)試用、咨詢電話：400-8352-114

數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除技術(shù)對于存儲業(yè)界都已經(jīng)不陌生了，但我們通常都是在備份和歸檔時應(yīng)用它們。那么，在業(yè)務(wù)繁忙的主存儲（在線存儲）系統(tǒng)中能否將它們派上用場，以減少主存儲的容量需求呢？

盡管主存儲數(shù)據(jù)縮減技術(shù)通常被認(rèn)為用于備份，但這項技術(shù)存在已頗有一段時日了。自上世紀(jì)90年代中期以來，已經(jīng)有操作系統(tǒng)和操作系統(tǒng)的附加實用工具可以在主存儲設(shè)備上實時壓縮或后臺壓縮數(shù)據(jù)了。但由于近幾年磁盤價格穩(wěn)步下跌，主存儲數(shù)據(jù)縮減基本上淪為了擺設(shè)。不過近來，人們重新對節(jié)省空間的技術(shù)產(chǎn)生了興趣，許多企業(yè)再次考慮為主數(shù)據(jù)采用數(shù)據(jù)縮減技術(shù)。

什么因素讓人們重新有了興趣？可供數(shù)據(jù)中心經(jīng)理們考慮的一些方案又有哪些？

主存儲數(shù)據(jù)縮減技術(shù)東山再起，在很大程度上取決于兩個條件：文件保留需求的增加，以及廉價存儲可用性的降低。

現(xiàn)在用戶對存儲容量的需求有增無減，但存儲設(shè)備的擴(kuò)充總會達(dá)到極限。用戶創(chuàng)建的文件數(shù)量越來越多，每個文件也越來越龐大，而且法律上對文件的保留有了更多的要求。盡管幾年前存儲容量的成本還相對較低，但在過去的一年里，許多數(shù)據(jù)中心的管理人員發(fā)現(xiàn)，一味地增加存儲容量已不再是應(yīng)對數(shù)據(jù)增長的成本較低的解決方案。因為除了管理多個存儲系統(tǒng)的成本外，存儲對電力、冷卻和場地的影響也成為重要的因素，必須列入存儲所有這些數(shù)據(jù)的總成本中。另外，嚴(yán)峻的經(jīng)濟(jì)形勢和存儲預(yù)算的減少使情況更加嚴(yán)峻，迫使存儲經(jīng)理們更充分地利用存儲容量資源。

數(shù)據(jù)縮減技術(shù)正是幫助他們實現(xiàn)這個目標(biāo)的首要工具。

如果IT經(jīng)理捫心自問，就明白主存儲數(shù)據(jù)縮減技術(shù)其實治標(biāo)不治本。在理想的情況下，主存儲中的數(shù)據(jù)有一大部分應(yīng)該刪除或轉(zhuǎn)移到次級存儲設(shè)備上。可是，數(shù)據(jù)中心的實際情況并不盡如人意。存儲常常作為一項服務(wù)配置給用戶，因而，用戶不希望自己的數(shù)據(jù)被轉(zhuǎn)移，更不希望被刪除。諸如此類的任何操作對他們來說必須是透明的。由此看來，最容易被接受的辦法就是從同樣大小的存儲空間中獲取更多的容量，而又不用轉(zhuǎn)移用戶數(shù)據(jù)。因此，數(shù)據(jù)縮減技術(shù)成為首選的技術(shù)，它所帶來的變化有限，其中大多數(shù)優(yōu)化都不需要用戶操心。

優(yōu)化技術(shù)

考慮主存儲數(shù)據(jù)縮減時，兩項優(yōu)化技術(shù)首當(dāng)其沖：數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除。

盡管重復(fù)數(shù)據(jù)刪除技術(shù)常在媒體上拋頭露面，但數(shù)據(jù)壓縮在主存儲領(lǐng)域也許有更大的價值。這是因為重復(fù)數(shù)據(jù)刪除需要有冗余的數(shù)據(jù)才能發(fā)揮作用，這也是為什么數(shù)據(jù)備份中應(yīng)用重復(fù)數(shù)據(jù)刪除技術(shù)，能使資金的投入有很好的回報，因為那些每周進(jìn)行的完全備份幾乎相同。而主存儲的冗余性與備份數(shù)據(jù)不一樣，至少應(yīng)該不一樣，虛擬機(jī)映像可能除外。因此，重復(fù)數(shù)據(jù)刪除處理主存儲數(shù)據(jù)的效率通常只有處理備份數(shù)據(jù)效率的1/3。

另一方面，數(shù)據(jù)壓縮技術(shù)適用于幾乎各種數(shù)據(jù)。雖然就處理高度冗余的數(shù)據(jù)而言，數(shù)據(jù)壓縮不如重復(fù)數(shù)據(jù)刪除來得有效，但主存儲上的大部分?jǐn)?shù)據(jù)可以壓縮。另外，還可以針對數(shù)據(jù)類型對數(shù)據(jù)壓縮進(jìn)行微調(diào)，或利用特殊的壓縮設(shè)備來縮減某些數(shù)據(jù)集。當(dāng)然，其代價是要耗費(fèi)處理器資源。

在理想情況下，數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除應(yīng)該結(jié)合使用，以便最大限度地回收利用主存儲容量。

何處進(jìn)行數(shù)據(jù)縮減？

需要考慮的另一個問題是：在何處進(jìn)行容量優(yōu)化，以及誰來處理優(yōu)化？

如今，數(shù)據(jù)縮減最常出現(xiàn)在文件服務(wù)系統(tǒng)上，比如網(wǎng)絡(luò)附加存儲（NAS）或文件服務(wù)器。而要不要縮減數(shù)據(jù)，通常取決于存儲硬件提供商，或文件系統(tǒng)，或通過第三方以附件形式來提供的設(shè)備。以NAS硬件為例，處理數(shù)據(jù)縮減任務(wù)的通常是文件系統(tǒng)本身。也有一些廠商提供獨立的文件系統(tǒng)或NAS軟件，它們可以安裝到現(xiàn)有硬件上，以提供數(shù)據(jù)縮減機(jī)制。

顯然，如果目前使用的NAS或文件系統(tǒng)有這項功能的話，采用文件系統(tǒng)的方法只適用于數(shù)據(jù)中心。這也意味著，只有該廠商的NAS存儲硬件設(shè)備得到支持。如果環(huán)境中有諸多廠商的產(chǎn)品，或者廠商目前在其系統(tǒng)中不提供數(shù)據(jù)優(yōu)化服務(wù)，那么用戶需要借助第三方獨立軟件開發(fā)商（ISV）來提供這項功能。除了這類廠商常常提供的專門化優(yōu)勢外，這么做有時會帶來其他優(yōu)點，比如更大的靈活性、更通用的優(yōu)化方法，以及能夠在不同廠商的平臺之間轉(zhuǎn)移數(shù)據(jù)。從產(chǎn)品開發(fā)的角度來看，用戶只需關(guān)注數(shù)據(jù)縮減，沒必要維護(hù)整個文件系統(tǒng)。

迄今為止，基于塊的系統(tǒng)上還沒有太多的優(yōu)化。盡管裝載到傳統(tǒng)磁盤上的文件系統(tǒng)也許能提供這項功能，但大多數(shù)存儲陣列硬件還無法處理這項任務(wù)。不過，這在不久的將來可能會成為一個選項。隨著廠商們開始推出有望在存儲層之間轉(zhuǎn)移數(shù)據(jù)塊的自動化分層策略，不難想像，它們也能優(yōu)化這些數(shù)據(jù)。

據(jù)研究調(diào)查顯示，多達(dá)85%的主存儲數(shù)據(jù)不再被經(jīng)常訪問。這種情況至今持續(xù)了多年，由此催生了諸多技術(shù)方案，比如層次存儲管理（HSM）、數(shù)據(jù)歸檔以及現(xiàn)在眾所周知的信息生命周期管理（ILM）。

盡管上述技術(shù)方案各有優(yōu)點，值得探究，但現(xiàn)實情況是，許多數(shù)據(jù)中心需要迅速解決存儲容量問題，沒有時間或人員來實施完整的數(shù)據(jù)管理策略。因此，實際環(huán)境下的主存儲通常保存了各種類別的數(shù)據(jù)：包括極其活躍的（ extremely active）數(shù)據(jù)、近活躍的（near active）數(shù)據(jù)和不活躍（inactive）的數(shù)據(jù)（即陳舊的數(shù)據(jù)）。幸運(yùn)的是，所有這些數(shù)據(jù)都可以得到優(yōu)化。

對于主存儲中多種類別的數(shù)據(jù)來說，每項優(yōu)化策略對存儲生態(tài)系統(tǒng)都會帶來各自的獨特影響。系統(tǒng)在最初需要做出的決定之一就是應(yīng)該何時優(yōu)化數(shù)據(jù)，是該在數(shù)據(jù)訪問時實時優(yōu)化，還是在數(shù)據(jù)變得不常訪問后優(yōu)化？

有幾款解決方案可提供實時數(shù)據(jù)壓縮，它們介于存儲設(shè)備及訪問點之間。在大多數(shù)情況下，這些系統(tǒng)不會給性能帶來負(fù)面影響。標(biāo)準(zhǔn)的、不能識別內(nèi)容的壓縮是一種比較有效的算法，并不影響性能。另外，繁重的壓縮工作經(jīng)常會交給獨立式設(shè)備去處理，使進(jìn)出存儲設(shè)備的數(shù)據(jù)已經(jīng)經(jīng)過了縮減，這就減輕了存儲系統(tǒng)的負(fù)擔(dān)。

目前甚至還有這樣的實時重復(fù)數(shù)據(jù)刪除解決方案：數(shù)據(jù)在存儲時與其他數(shù)據(jù)進(jìn)行比較。盡管這種系統(tǒng)對性能會有一定影響——影響的大小取決于工作負(fù)載，但關(guān)系不大。針對主存儲的實時重復(fù)數(shù)據(jù)刪除還沒有得到廣泛接受，運(yùn)用時要慎重。不管怎樣，存儲經(jīng)理必須準(zhǔn)備好解決實時優(yōu)化影響存儲性能方面的問題。

實施數(shù)據(jù)優(yōu)化的一種更常見的方法是，數(shù)據(jù)在閑置一段時間后進(jìn)行優(yōu)化。即使“不活躍的”這段時間只有短短幾天，但這些數(shù)據(jù)被再次訪問的可能性通常也很小。

作為后臺進(jìn)程的一部分來優(yōu)化數(shù)據(jù)，讓非?；钴S的數(shù)據(jù)可以保持原來形狀，不用擔(dān)心數(shù)據(jù)優(yōu)化會影響非?；钴S的文件或數(shù)據(jù)庫的存儲性能。在維護(hù)期間，可以檢查文件系統(tǒng)上的未優(yōu)化數(shù)據(jù)，看看它現(xiàn)在是不是適合優(yōu)化。如果適合，隨后它就將被壓縮及/或重復(fù)數(shù)據(jù)刪除處理。如果不適合（意味著數(shù)據(jù)仍在活躍范圍內(nèi)），它能繼續(xù)以原來形狀來存儲。

有些系統(tǒng)能夠區(qū)分被訪問的數(shù)據(jù)和被優(yōu)化的數(shù)據(jù)，并能提供數(shù)據(jù)。這意味著經(jīng)過優(yōu)化的數(shù)據(jù)能夠讀取。在大多數(shù)情況下，當(dāng)數(shù)據(jù)只是被訪問或被讀取時，數(shù)據(jù)縮減給性能帶來的影響非常?。划?dāng)數(shù)據(jù)首次需要優(yōu)化時，其工作負(fù)載則比較大。一旦優(yōu)化作為次級過程來完成，又不針對所有數(shù)據(jù)來優(yōu)化，那么，的確能夠優(yōu)化大部分?jǐn)?shù)據(jù)，并且消除性能影響方面的后顧之憂。

歸檔替代方案

要是不提到數(shù)據(jù)管理問題，那么對數(shù)據(jù)縮減方面的任何討論都將是不全面的。縮減主存儲空間的缺點是，盡管需要管理的物理組件相同，但典型系統(tǒng)上的數(shù)據(jù)量在繼續(xù)增加?？梢赃@么認(rèn)為：優(yōu)化使這種情況變得更糟，因為實際容量更大或物理設(shè)備更多后，管理人員再也“看不到”問題。此外，主存儲數(shù)據(jù)縮減獲得的優(yōu)點常常僅限于主存儲層。把這些數(shù)據(jù)轉(zhuǎn)移到其他存儲層或數(shù)據(jù)保護(hù)流程后，常常需要“重新膨脹”（re-inflated）成原來大小，然后等進(jìn)入到次級存儲位置時“重新優(yōu)化”。盡管數(shù)據(jù)縮減技術(shù)廠商正在竭力解決這個問題，但如今問題依然存在。

解決辦法就是，不要把數(shù)據(jù)縮減當(dāng)做“惟一方案”，而是當(dāng)做總體計劃中的一部分，總體計劃應(yīng)包括數(shù)據(jù)歸檔。歸檔的目的是把這些數(shù)據(jù)從主存儲通道遷移出去，讓這些數(shù)據(jù)遠(yuǎn)離數(shù)據(jù)保護(hù)流程，但又能做到需要時易于訪問。

歸檔系統(tǒng)也有類似的主存儲數(shù)據(jù)縮減技術(shù)，但同時添加了充分利用密度更高、成本更低的驅(qū)動器，并可能關(guān)閉這些驅(qū)動器的電源的技術(shù)。這比單使用數(shù)據(jù)縮減技術(shù)能更進(jìn)一步推遲對額外存儲容量的購置。

主存儲數(shù)據(jù)縮減帶來了實實在在的投資回報。實施該技術(shù)后，在大多數(shù)情況下，至少會“多出”50%的存儲容量。只要本來就有購買額外存儲容量的想法，這種解決方案應(yīng)該會很快收回成本。這是開始實行影響更深遠(yuǎn)的數(shù)據(jù)管理策略的一個好辦法。

鏈  接

數(shù)據(jù)類型與數(shù)據(jù)縮減

有些數(shù)據(jù)壓縮系統(tǒng)，特別是那些將數(shù)據(jù)縮減處理作為次級過程的系統(tǒng)，可以用更多的時間來了解正在優(yōu)化的數(shù)據(jù)類型，特別是壓縮可以進(jìn)行微調(diào)的數(shù)據(jù)類型。有一些特別的壓縮算法適用于那些標(biāo)準(zhǔn)壓縮引擎不能很好應(yīng)對的眾多數(shù)據(jù)類型。典型例子包括音頻、視頻和圖像文件。

圖像是縮減起來特別困難的數(shù)據(jù)類型。圖像對存儲的需求日益增加，不只是照片共享網(wǎng)站，像大多數(shù)企業(yè)存儲的文檔圖像、員工照片和施工現(xiàn)場的照片等。如果有更多的時間，一些優(yōu)化解決方案甚至能夠在可視化數(shù)據(jù)類型方面更進(jìn)一步，從而縮減圖像文件的大小。這就是通常所謂的“有損”（lossy）數(shù)據(jù)縮減技術(shù)，因為一部分圖像質(zhì)量丟失了?？s減照片的分辨率時就會出現(xiàn)這種情況；分辨率越低，照片在磁盤上占用的空間就越小。盡管這聽上去不大稱心如意，但這類系統(tǒng)有些能讓圖像看上去并沒有損失，這意味著在我們的肉眼看來，圖像在壓縮前后看上去是一樣的。隨著企業(yè)中的圖像庫不斷變得龐大，這些方法也會變得越來越重要。