多管齊下縮減存儲空間

申請免費試用、咨詢電話：400-8352-114

面對急劇增長的存儲需求與緊縮的IT預算，最有效的解決辦法是縮減需要存儲的數(shù)據(jù)量，這樣不但能削減硬件、軟件、電力和數(shù)據(jù)中心場地的成本，還能減輕網(wǎng)絡和備份窗口的負擔?，F(xiàn)在，幾乎每家存儲廠商都聲稱自己有相應的解決方案。那么，縮減數(shù)據(jù)占用空間應該使用哪些技術？

首先我們要了解自己企業(yè)如何存儲和使用數(shù)據(jù)，并確定什么時候需要通過數(shù)據(jù)縮減來節(jié)省成本，即使性能因此而下降也是值得的。最適合自己企業(yè)的技術并不取決于所在行業(yè)，而是取決于所存儲數(shù)據(jù)的類型，如對于X光片、工程測試數(shù)據(jù)、視頻或音樂來說，由于其中相同的數(shù)據(jù)相對少，所以，應用重復數(shù)據(jù)刪除技術常常無法大幅節(jié)省空間，不過，重復數(shù)據(jù)刪除技術卻能對虛擬服務器大施功夫，降低成本。

重復數(shù)據(jù)刪除技術

重復數(shù)據(jù)刪除技術是指查找并刪除存儲在不同數(shù)據(jù)集里面的重復數(shù)據(jù)，它可將存儲需求最多縮減90%。比如，通過重復數(shù)據(jù)刪除技術，可以使同時發(fā)送給數(shù)百名員工的郵件的相同附件只保存一個副本。對于縮減數(shù)據(jù)占用空間比讀取速度更重要的各種二級存儲來說，重復數(shù)據(jù)刪除幾乎已變得必不可少。

從事醫(yī)療廣告和營銷的Grey Healthcare Group的IT主管Chris Watkis發(fā)現(xiàn)，備份數(shù)據(jù)的縮減比可以高達72:1，而這要歸功于使用了飛康軟件公司的虛擬磁帶庫存儲設備的重復數(shù)據(jù)刪除方法。云存儲服務提供商i365的首席技術官David Allen則表示，在微軟Exchange、SharePoint、SQL Server和VMware虛擬機文件組成的混合環(huán)境下，數(shù)據(jù)縮減比可達到30:1至50:1。

數(shù)據(jù)可以在文件或塊層面進行重復數(shù)據(jù)刪除處理，不同產(chǎn)品能夠深入分析不同大小的塊。在大多數(shù)情況下，系統(tǒng)進行重復數(shù)據(jù)比較的粒度越細，所節(jié)省的存儲空間越大。不過，粒度越細，其重復數(shù)據(jù)刪除要花的時間越長，因而降低了數(shù)據(jù)訪問的速度。

重復數(shù)據(jù)刪除可以在數(shù)據(jù)寫入到存儲目標前進行操作，稱為預處理（Preprocessing）或在線處理（Inline）；也可以在數(shù)據(jù)存儲到目標設備后進行操作，稱為后處理（Postprocessing）。從事技術調研和咨詢的Server and StorageIO Group的高級分析師Greg Schulz表示，如果希望數(shù)據(jù)快速備份，更關注縮小備份窗口，那么，后處理方案比較合適；但如果你“有的是時間”，又需要節(jié)省備份磁盤，降低成本，則不妨考慮預處理方案。

批評人士稱，雖然inline方式重復數(shù)據(jù)刪除技術在縮減存儲的數(shù)據(jù)量時，其縮減比可達到約20:1，但它不具有擴展性，還會降低性能，迫使用戶購買更多的服務器來執(zhí)行重復數(shù)據(jù)刪除。另外，后處理重復數(shù)據(jù)刪除則需要更多的存儲空間作為緩沖區(qū)，而使這部分空間無法用于其他需要。

對于擁有多臺服務器或多個存儲平臺的客戶來說，全企業(yè)實行重復數(shù)據(jù)刪除可消除存儲在各平臺上的重復數(shù)據(jù)副本，從而節(jié)省費用?；诖疟P的存儲廠商Nexsan公司戰(zhàn)略副總裁Randy Chalfant認為這很重要，因為大多數(shù)企業(yè)為同一數(shù)據(jù)生成的副本多達15個，以供數(shù)據(jù)挖掘、企業(yè)資源規(guī)劃和客戶關系管理等應用系統(tǒng)使用。用戶可能還需要考慮使用單一重復數(shù)據(jù)刪除系統(tǒng)，以便任何應用或用戶更容易根據(jù)需要“還原”數(shù)據(jù)（讓數(shù)據(jù)恢復原來形狀），并且避免多個系統(tǒng)不兼容問題。

高級分析師Greg Schulz則表示，主要的重復數(shù)據(jù)刪除產(chǎn)品可在預處理模式下進行操作，直到遇到一定的性能閾值，之后再改用后處理模式。

另外還有一種方案，即基于策略的重復數(shù)據(jù)刪除，它允許存儲管理人員根據(jù)文件的大小、重要性或其他標準，選擇哪些文件進行重復數(shù)據(jù)刪除處理。

SFL Data專門為要打官司的公司企業(yè)和律師事務所收集、存儲、檢索、搜索及提供數(shù)據(jù)，它在性能與數(shù)據(jù)縮減之間找到了平衡點。該公司正在部署Ocarina Networks的2400存儲優(yōu)化器，以便以“近在線（near-online）”的方式將經(jīng)過壓縮和重復數(shù)據(jù)刪除處理的文件存儲在BlueArc Mercury 50集群上，該集群的可用容量最多可以擴展到2PB。當用戶需要時，還可以還原那些文件。

SFL公司的技術主管Ruth Townsend說：“還原文件導致訪問時間有點減慢，但比告訴客戶必須等兩天才能訪問那些文件要好多了?！彼赋?，該公司借助重復數(shù)據(jù)刪除和文件壓縮技術，省下了多達50%的存儲空間。

數(shù)據(jù)壓縮

壓縮大概是最有名的數(shù)據(jù)縮減技術了，它是指查找并刪除重復字節(jié)。它非常適用于數(shù)據(jù)庫、電子郵件和文件，但是對圖片來說效果則不太好。壓縮技術內置在一些存儲系統(tǒng)中，但也有獨立的壓縮軟件或壓縮設備。

高級分析師Greg Schulz表示，實時壓縮技術不需要數(shù)據(jù)在改動或讀取之前先解壓，所以不會導致訪問延遲或性能降低，很適合像數(shù)據(jù)庫和聯(lián)機事務處理這些聯(lián)機應用?，F(xiàn)代多核處理器具有的計算能力也讓基于服務器的壓縮成為有些環(huán)境的一種選擇。

i365公司的Allen說，壓縮效果好壞不一。針對SQL數(shù)據(jù)庫，數(shù)據(jù)縮減比至少可以達到6:1；但針對文件服務器，縮減比則接近2:1。據(jù)飛康公司營銷副總裁Fadi Albatal聲稱，壓縮技術對備份、二級存儲或三級存儲最有效，針對“高度活躍”的數(shù)據(jù)庫或電子郵件應用，可以把存儲需求縮減到1/2或1/4。

信息管理服務公司Iron Mountain的首席營銷官T.M. Ravi表示，該公司對應用進行歸檔時，壓縮和重復數(shù)據(jù)刪除這兩項技術可將存儲空間最多縮減80%。

IBM收購的Storwize公司主要是為了對主存儲進行壓縮。該公司的設備可將壓縮文件寫回到生成這些文件的NAS（網(wǎng)絡附加存儲）設備上，或寫到另一個存儲層上。IBM存儲部門副總裁Doug Balog說，Storwize正在測試一款基于塊的設備。

由微軟Office應用軟件壓縮的文件或JPEG等流行的圖片格式無法用許多常用的壓縮技術來縮減，壓縮后文件大小甚至可能變大。Neuxpower Solutions公司聲稱，其軟件可以刪除不必要的信息，如元數(shù)據(jù)或只有圖片放大后才看得清的細節(jié)，從而把Office和JPEG文件的大小最多縮減95%，圖片質量并不下降。被戴爾收購的Ocarina公司則稱，其產(chǎn)品提供了類似功能，因為所用的多種優(yōu)化算法已針對不同類型的內容進行了調整，還能夠測試多種壓縮方法，并選擇一種合適的方法，確保運行時效率最高。

重復數(shù)據(jù)刪除和壓縮是互為補充的。Greg Schulz說：“如果關注的重點是速度、性能和傳輸速度，那就使用壓縮技術；如果存在大量的冗余數(shù)據(jù)，又希望節(jié)省更多的存儲空間，那就使用重復數(shù)據(jù)刪除技術?！?/P>

基于策略的分層

基于策略的分層是指，根據(jù)數(shù)據(jù)年限、訪問頻繁程度或提取速度等制定相應的標準，把數(shù)據(jù)轉移到不同類別的存儲介質上。除非策略要求完全刪除不需要的數(shù)據(jù)，否則這項技術不會降低總體存儲需求，但由于把部分數(shù)據(jù)轉移到成本較低但速度較慢的介質上了，所以能夠削減成本。

這個市場得到了一些廠商的關注，如惠普和DataGlobal公司?；萜赵谄銼torageWorks X9000中提供了內置的策略管理和自動化文件遷移功能；DataGlobal則聲稱，其統(tǒng)一存儲和信息管理軟件讓客戶能夠分析及管理非結構化文件及其他信息，因而能夠將電子郵件的存儲需求減少60%至70%，將文件服務器的存儲需求減少約20%。

具有分層功能的其他產(chǎn)品包括：Compellent Technologies公司的Storage Center 5、飛康的HotZone和SafeCache、3Par公司的Policy Advisor、EMC的FAST和F5 Networks公司的ARX系列文件虛擬化設備。

存儲虛擬化

與服務器虛擬化一樣，存儲虛擬化指把多個存儲設備“抽象”成單一存儲池，以便管理員可根據(jù)需要，在各存儲層之間轉移數(shù)據(jù)。許多專家認為，存儲虛擬化是一項支持性技術，而其本身并不是一種數(shù)據(jù)縮減技術；但也有另一些專家認為，它與數(shù)據(jù)縮減有著更直接的關系。

Actifio公司的數(shù)據(jù)管理系統(tǒng)使用了虛擬化，以便使備份和災難恢復等操作不需要多個應用程序。其設備讓客戶可以選擇合適的服務級別協(xié)議，以便通過一系列模板來管理眾多的數(shù)據(jù)集。借助這個方法，適當?shù)墓芾聿呗噪S后可運用到數(shù)據(jù)的惟一副本上，比如定義數(shù)據(jù)副本存儲在何處、在備份和復制等操作期間如何進行重復數(shù)據(jù)刪除處理。該公司的聯(lián)合創(chuàng)辦人兼首席執(zhí)行官Ash Ashutosh聲稱，Actifio可將存儲需求縮減75%至90%。

自動精簡配置

自動精簡配置是指對于一項應用，系統(tǒng)會在磁盤上為該應用分配一定量的空間，但實際上只有應用需要時，才真正使用這部分空間。與基于策略的存儲一樣，這項技術并不縮減總的數(shù)據(jù)占用空間，但可以推遲購買更多磁盤的需要，只有絕對必要時才購買。

i365公司的Allen表示，如果存儲需求迅速增長，你必須“非常迅速地響應”，確保有足夠的物理存儲空間。你的需求越難預測，就越需要好的衡量和管理工具，如果采用自動精簡配置的話。高級分析師Greg Schulz建議，應該尋求這樣一種產(chǎn)品：可確認用戶需要跟蹤了解的數(shù)據(jù)和應用程序；不但能監(jiān)測存儲空間的使用情況，還能監(jiān)測讀寫操作，以防出現(xiàn)瓶頸。

IBM是這個市場的代表廠商，它將自動精簡配置技術運用到了其所有存儲控制器中。惠普在其P4000 SAN上也提供了自動精簡配置技術，它收購的3Par可確保其Utility Storage產(chǎn)品會將客戶的存儲需求縮減50%。Nexsan公司的SATABeast陣列也提供了自動精簡配置。

在選擇一項數(shù)據(jù)縮減策略之前，要制定好策略，以便有助于選擇何時投入成本，以提升性能；何時通過縮減數(shù)據(jù)占用空間來省錢。切忌一味關注縮減比，而是要牢記：如果縮減比比較小，但數(shù)據(jù)集比較大，則有望節(jié)省更多空間。

另外，不要被廠商的術語搞得一頭霧水。壓縮、重復數(shù)據(jù)刪除、變更數(shù)據(jù)備份（change-only backups）和單實例存儲都是縮減冗余數(shù)據(jù)的不同方式而已。如果有疑慮，應根據(jù)給業(yè)務帶來的成效，詳細分析數(shù)據(jù)結果，以選擇合適的存儲縮減工具。