主存儲縮減技術(shù)浮出水面

申請免費試用、咨詢電話：400-8352-114

數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除技術(shù)對于存儲業(yè)界都已經(jīng)不陌生了，但我們通常都是在備份和歸檔時應用它們。那么，在業(yè)務繁忙的主存儲（在線存儲）系統(tǒng)中能否將它們派上用場，以減少主存儲的容量需求呢？

盡管主存儲數(shù)據(jù)縮減技術(shù)通常被認為用于備份，但這項技術(shù)存在已頗有一段時日了。自上世紀90年代中期以來，已經(jīng)有操作系統(tǒng)和操作系統(tǒng)的附加實用工具可以在主存儲設(shè)備上實時壓縮或后臺壓縮數(shù)據(jù)了。但由于近幾年磁盤價格穩(wěn)步下跌，主存儲數(shù)據(jù)縮減基本上淪為了擺設(shè)。不過近來，人們重新對節(jié)省空間的技術(shù)產(chǎn)生了興趣，許多企業(yè)再次考慮為主數(shù)據(jù)采用數(shù)據(jù)縮減技術(shù)。

什么因素讓人們重新有了興趣？可供數(shù)據(jù)中心經(jīng)理們考慮的一些方案又有哪些？

主存儲數(shù)據(jù)縮減技術(shù)東山再起，在很大程度上取決于兩個條件：文件保留需求的增加，以及廉價存儲可用性的降低。

現(xiàn)在用戶對存儲容量的需求有增無減，但存儲設(shè)備的擴充總會達到極限。用戶創(chuàng)建的文件數(shù)量越來越多，每個文件也越來越龐大，而且法律上對文件的保留有了更多的要求。盡管幾年前存儲容量的成本還相對較低，但在過去的一年里，許多數(shù)據(jù)中心的管理人員發(fā)現(xiàn)，一味地增加存儲容量已不再是應對數(shù)據(jù)增長的成本較低的解決方案。因為除了管理多個存儲系統(tǒng)的成本外，存儲對電力、冷卻和場地的影響也成為重要的因素，必須列入存儲所有這些數(shù)據(jù)的總成本中。另外，嚴峻的經(jīng)濟形勢和存儲預算的減少使情況更加嚴峻，迫使存儲經(jīng)理們更充分地利用存儲容量資源。

數(shù)據(jù)縮減技術(shù)正是幫助他們實現(xiàn)這個目標的首要工具。

如果IT經(jīng)理捫心自問，就明白主存儲數(shù)據(jù)縮減技術(shù)其實治標不治本。在理想的情況下，主存儲中的數(shù)據(jù)有一大部分應該刪除或轉(zhuǎn)移到次級存儲設(shè)備上?？墒牵瑪?shù)據(jù)中心的實際情況并不盡如人意。存儲常常作為一項服務配置給用戶，因而，用戶不希望自己的數(shù)據(jù)被轉(zhuǎn)移，更不希望被刪除。諸如此類的任何操作對他們來說必須是透明的。由此看來，最容易被接受的辦法就是從同樣大小的存儲空間中獲取更多的容量，而又不用轉(zhuǎn)移用戶數(shù)據(jù)。因此，數(shù)據(jù)縮減技術(shù)成為首選的技術(shù)，它所帶來的變化有限，其中大多數(shù)優(yōu)化都不需要用戶操心。

優(yōu)化技術(shù)

考慮主存儲數(shù)據(jù)縮減時，兩項優(yōu)化技術(shù)首當其沖：數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除。

盡管重復數(shù)據(jù)刪除技術(shù)常在媒體上拋頭露面，但數(shù)據(jù)壓縮在主存儲領(lǐng)域也許有更大的價值。這是因為重復數(shù)據(jù)刪除需要有冗余的數(shù)據(jù)才能發(fā)揮作用，這也是為什么數(shù)據(jù)備份中應用重復數(shù)據(jù)刪除技術(shù)，能使資金的投入有很好的回報，因為那些每周進行的完全備份幾乎相同。而主存儲的冗余性與備份數(shù)據(jù)不一樣，至少應該不一樣，虛擬機映像可能除外。因此，重復數(shù)據(jù)刪除處理主存儲數(shù)據(jù)的效率通常只有處理備份數(shù)據(jù)效率的1/3。

另一方面，數(shù)據(jù)壓縮技術(shù)適用于幾乎各種數(shù)據(jù)。雖然就處理高度冗余的數(shù)據(jù)而言，數(shù)據(jù)壓縮不如重復數(shù)據(jù)刪除來得有效，但主存儲上的大部分數(shù)據(jù)可以壓縮。另外，還可以針對數(shù)據(jù)類型對數(shù)據(jù)壓縮進行微調(diào)，或利用特殊的壓縮設(shè)備來縮減某些數(shù)據(jù)集。當然，其代價是要耗費處理器資源。

在理想情況下，數(shù)據(jù)壓縮和重復數(shù)據(jù)刪除應該結(jié)合使用，以便最大限度地回收利用主存儲容量。

何處進行數(shù)據(jù)縮減？

需要考慮的另一個問題是：在何處進行容量優(yōu)化，以及誰來處理優(yōu)化？

如今，數(shù)據(jù)縮減最常出現(xiàn)在文件服務系統(tǒng)上，比如網(wǎng)絡(luò)附加存儲（NAS）或文件服務器。而要不要縮減數(shù)據(jù)，通常取決于存儲硬件提供商，或文件系統(tǒng)，或通過第三方以附件形式來提供的設(shè)備。以NAS硬件為例，處理數(shù)據(jù)縮減任務的通常是文件系統(tǒng)本身。也有一些廠商提供獨立的文件系統(tǒng)或NAS軟件，它們可以安裝到現(xiàn)有硬件上，以提供數(shù)據(jù)縮減機制。

顯然，如果目前使用的NAS或文件系統(tǒng)有這項功能的話，采用文件系統(tǒng)的方法只適用于數(shù)據(jù)中心。這也意味著，只有該廠商的NAS存儲硬件設(shè)備得到支持。如果環(huán)境中有諸多廠商的產(chǎn)品，或者廠商目前在其系統(tǒng)中不提供數(shù)據(jù)優(yōu)化服務，那么用戶需要借助第三方獨立軟件開發(fā)商（ISV）來提供這項功能。除了這類廠商常常提供的專門化優(yōu)勢外，這么做有時會帶來其他優(yōu)點，比如更大的靈活性、更通用的優(yōu)化方法，以及能夠在不同廠商的平臺之間轉(zhuǎn)移數(shù)據(jù)。從產(chǎn)品開發(fā)的角度來看，用戶只需關(guān)注數(shù)據(jù)縮減，沒必要維護整個文件系統(tǒng)。

迄今為止，基于塊的系統(tǒng)上還沒有太多的優(yōu)化。盡管裝載到傳統(tǒng)磁盤上的文件系統(tǒng)也許能提供這項功能，但大多數(shù)存儲陣列硬件還無法處理這項任務。不過，這在不久的將來可能會成為一個選項。隨著廠商們開始推出有望在存儲層之間轉(zhuǎn)移數(shù)據(jù)塊的自動化分層策略，不難想像，它們也能優(yōu)化這些數(shù)據(jù)。

據(jù)研究調(diào)查顯示，多達85%的主存儲數(shù)據(jù)不再被經(jīng)常訪問。這種情況至今持續(xù)了多年，由此催生了諸多技術(shù)方案，比如層次存儲管理（HSM）、數(shù)據(jù)歸檔以及現(xiàn)在眾所周知的信息生命周期管理（ILM）。

盡管上述技術(shù)方案各有優(yōu)點，值得探究，但現(xiàn)實情況是，許多數(shù)據(jù)中心需要迅速解決存儲容量問題，沒有時間或人員來實施完整的數(shù)據(jù)管理策略。因此，實際環(huán)境下的主存儲通常保存了各種類別的數(shù)據(jù)：包括極其活躍的（ extremely active）數(shù)據(jù)、近活躍的（near active）數(shù)據(jù)和不活躍（inactive）的數(shù)據(jù)（即陳舊的數(shù)據(jù)）。幸運的是，所有這些數(shù)據(jù)都可以得到優(yōu)化。

對于主存儲中多種類別的數(shù)據(jù)來說，每項優(yōu)化策略對存儲生態(tài)系統(tǒng)都會帶來各自的獨特影響。系統(tǒng)在最初需要做出的決定之一就是應該何時優(yōu)化數(shù)據(jù)，是該在數(shù)據(jù)訪問時實時優(yōu)化，還是在數(shù)據(jù)變得不常訪問后優(yōu)化？

有幾款解決方案可提供實時數(shù)據(jù)壓縮，它們介于存儲設(shè)備及訪問點之間。在大多數(shù)情況下，這些系統(tǒng)不會給性能帶來負面影響。標準的、不能識別內(nèi)容的壓縮是一種比較有效的算法，并不影響性能。另外，繁重的壓縮工作經(jīng)常會交給獨立式設(shè)備去處理，使進出存儲設(shè)備的數(shù)據(jù)已經(jīng)經(jīng)過了縮減，這就減輕了存儲系統(tǒng)的負擔。

目前甚至還有這樣的實時重復數(shù)據(jù)刪除解決方案：數(shù)據(jù)在存儲時與其他數(shù)據(jù)進行比較。盡管這種系統(tǒng)對性能會有一定影響——影響的大小取決于工作負載，但關(guān)系不大。針對主存儲的實時重復數(shù)據(jù)刪除還沒有得到廣泛接受，運用時要慎重。不管怎樣，存儲經(jīng)理必須準備好解決實時優(yōu)化影響存儲性能方面的問題。

實施數(shù)據(jù)優(yōu)化的一種更常見的方法是，數(shù)據(jù)在閑置一段時間后進行優(yōu)化。即使“不活躍的”這段時間只有短短幾天，但這些數(shù)據(jù)被再次訪問的可能性通常也很小。

作為后臺進程的一部分來優(yōu)化數(shù)據(jù)，讓非?；钴S的數(shù)據(jù)可以保持原來形狀，不用擔心數(shù)據(jù)優(yōu)化會影響非?；钴S的文件或數(shù)據(jù)庫的存儲性能。在維護期間，可以檢查文件系統(tǒng)上的未優(yōu)化數(shù)據(jù)，看看它現(xiàn)在是不是適合優(yōu)化。如果適合，隨后它就將被壓縮及/或重復數(shù)據(jù)刪除處理。如果不適合（意味著數(shù)據(jù)仍在活躍范圍內(nèi)），它能繼續(xù)以原來形狀來存儲。

有些系統(tǒng)能夠區(qū)分被訪問的數(shù)據(jù)和被優(yōu)化的數(shù)據(jù)，并能提供數(shù)據(jù)。這意味著經(jīng)過優(yōu)化的數(shù)據(jù)能夠讀取。在大多數(shù)情況下，當數(shù)據(jù)只是被訪問或被讀取時，數(shù)據(jù)縮減給性能帶來的影響非常?。划敂?shù)據(jù)首次需要優(yōu)化時，其工作負載則比較大。一旦優(yōu)化作為次級過程來完成，又不針對所有數(shù)據(jù)來優(yōu)化，那么，的確能夠優(yōu)化大部分數(shù)據(jù)，并且消除性能影響方面的后顧之憂。

歸檔替代方案

要是不提到數(shù)據(jù)管理問題，那么對數(shù)據(jù)縮減方面的任何討論都將是不全面的?？s減主存儲空間的缺點是，盡管需要管理的物理組件相同，但典型系統(tǒng)上的數(shù)據(jù)量在繼續(xù)增加?？梢赃@么認為：優(yōu)化使這種情況變得更糟，因為實際容量更大或物理設(shè)備更多后，管理人員再也“看不到”問題。此外，主存儲數(shù)據(jù)縮減獲得的優(yōu)點常常僅限于主存儲層。把這些數(shù)據(jù)轉(zhuǎn)移到其他存儲層或數(shù)據(jù)保護流程后，常常需要“重新膨脹”（re-inflated）成原來大小，然后等進入到次級存儲位置時“重新優(yōu)化”。盡管數(shù)據(jù)縮減技術(shù)廠商正在竭力解決這個問題，但如今問題依然存在。

解決辦法就是，不要把數(shù)據(jù)縮減當做“惟一方案”，而是當做總體計劃中的一部分，總體計劃應包括數(shù)據(jù)歸檔。歸檔的目的是把這些數(shù)據(jù)從主存儲通道遷移出去，讓這些數(shù)據(jù)遠離數(shù)據(jù)保護流程，但又能做到需要時易于訪問。

歸檔系統(tǒng)也有類似的主存儲數(shù)據(jù)縮減技術(shù)，但同時添加了充分利用密度更高、成本更低的驅(qū)動器，并可能關(guān)閉這些驅(qū)動器的電源的技術(shù)。這比單使用數(shù)據(jù)縮減技術(shù)能更進一步推遲對額外存儲容量的購置。

主存儲數(shù)據(jù)縮減帶來了實實在在的投資回報。實施該技術(shù)后，在大多數(shù)情況下，至少會“多出”50%的存儲容量。只要本來就有購買額外存儲容量的想法，這種解決方案應該會很快收回成本。這是開始實行影響更深遠的數(shù)據(jù)管理策略的一個好辦法。

鏈  接

數(shù)據(jù)類型與數(shù)據(jù)縮減

有些數(shù)據(jù)壓縮系統(tǒng)，特別是那些將數(shù)據(jù)縮減處理作為次級過程的系統(tǒng)，可以用更多的時間來了解正在優(yōu)化的數(shù)據(jù)類型，特別是壓縮可以進行微調(diào)的數(shù)據(jù)類型。有一些特別的壓縮算法適用于那些標準壓縮引擎不能很好應對的眾多數(shù)據(jù)類型。典型例子包括音頻、視頻和圖像文件。

圖像是縮減起來特別困難的數(shù)據(jù)類型。圖像對存儲的需求日益增加，不只是照片共享網(wǎng)站，像大多數(shù)企業(yè)存儲的文檔圖像、員工照片和施工現(xiàn)場的照片等。如果有更多的時間，一些優(yōu)化解決方案甚至能夠在可視化數(shù)據(jù)類型方面更進一步，從而縮減圖像文件的大小。這就是通常所謂的“有損”（lossy）數(shù)據(jù)縮減技術(shù)，因為一部分圖像質(zhì)量丟失了?？s減照片的分辨率時就會出現(xiàn)這種情況；分辨率越低，照片在磁盤上占用的空間就越小。盡管這聽上去不大稱心如意，但這類系統(tǒng)有些能讓圖像看上去并沒有損失，這意味著在我們的肉眼看來，圖像在壓縮前后看上去是一樣的。隨著企業(yè)中的圖像庫不斷變得龐大，這些方法也會變得越來越重要。