多管齊下縮減存儲空間

申請免費試用、咨詢電話：400-8352-114

面對急劇增長的存儲需求與緊縮的IT預(yù)算，最有效的解決辦法是縮減需要存儲的數(shù)據(jù)量，這樣不但能削減硬件、軟件、電力和數(shù)據(jù)中心場地的成本，還能減輕網(wǎng)絡(luò)和備份窗口的負擔(dān)?，F(xiàn)在，幾乎每家存儲廠商都聲稱自己有相應(yīng)的解決方案。那么，縮減數(shù)據(jù)占用空間應(yīng)該使用哪些技術(shù)？

首先我們要了解自己企業(yè)如何存儲和使用數(shù)據(jù)，并確定什么時候需要通過數(shù)據(jù)縮減來節(jié)省成本，即使性能因此而下降也是值得的。最適合自己企業(yè)的技術(shù)并不取決于所在行業(yè)，而是取決于所存儲數(shù)據(jù)的類型，如對于X光片、工程測試數(shù)據(jù)、視頻或音樂來說，由于其中相同的數(shù)據(jù)相對少，所以，應(yīng)用重復(fù)數(shù)據(jù)刪除技術(shù)常常無法大幅節(jié)省空間，不過，重復(fù)數(shù)據(jù)刪除技術(shù)卻能對虛擬服務(wù)器大施功夫，降低成本。

重復(fù)數(shù)據(jù)刪除技術(shù)

重復(fù)數(shù)據(jù)刪除技術(shù)是指查找并刪除存儲在不同數(shù)據(jù)集里面的重復(fù)數(shù)據(jù)，它可將存儲需求最多縮減90%。比如，通過重復(fù)數(shù)據(jù)刪除技術(shù)，可以使同時發(fā)送給數(shù)百名員工的郵件的相同附件只保存一個副本。對于縮減數(shù)據(jù)占用空間比讀取速度更重要的各種二級存儲來說，重復(fù)數(shù)據(jù)刪除幾乎已變得必不可少。

從事醫(yī)療廣告和營銷的Grey Healthcare Group的IT主管Chris Watkis發(fā)現(xiàn)，備份數(shù)據(jù)的縮減比可以高達72:1，而這要歸功于使用了飛康軟件公司的虛擬磁帶庫存儲設(shè)備的重復(fù)數(shù)據(jù)刪除方法。云存儲服務(wù)提供商i365的首席技術(shù)官David Allen則表示，在微軟Exchange、SharePoint、SQL Server和VMware虛擬機文件組成的混合環(huán)境下，數(shù)據(jù)縮減比可達到30:1至50:1。

數(shù)據(jù)可以在文件或塊層面進行重復(fù)數(shù)據(jù)刪除處理，不同產(chǎn)品能夠深入分析不同大小的塊。在大多數(shù)情況下，系統(tǒng)進行重復(fù)數(shù)據(jù)比較的粒度越細，所節(jié)省的存儲空間越大。不過，粒度越細，其重復(fù)數(shù)據(jù)刪除要花的時間越長，因而降低了數(shù)據(jù)訪問的速度。

重復(fù)數(shù)據(jù)刪除可以在數(shù)據(jù)寫入到存儲目標(biāo)前進行操作，稱為預(yù)處理（Preprocessing）或在線處理（Inline）；也可以在數(shù)據(jù)存儲到目標(biāo)設(shè)備后進行操作，稱為后處理（Postprocessing）。從事技術(shù)調(diào)研和咨詢的Server and StorageIO Group的高級分析師Greg Schulz表示，如果希望數(shù)據(jù)快速備份，更關(guān)注縮小備份窗口，那么，后處理方案比較合適；但如果你“有的是時間”，又需要節(jié)省備份磁盤，降低成本，則不妨考慮預(yù)處理方案。

批評人士稱，雖然inline方式重復(fù)數(shù)據(jù)刪除技術(shù)在縮減存儲的數(shù)據(jù)量時，其縮減比可達到約20:1，但它不具有擴展性，還會降低性能，迫使用戶購買更多的服務(wù)器來執(zhí)行重復(fù)數(shù)據(jù)刪除。另外，后處理重復(fù)數(shù)據(jù)刪除則需要更多的存儲空間作為緩沖區(qū)，而使這部分空間無法用于其他需要。

對于擁有多臺服務(wù)器或多個存儲平臺的客戶來說，全企業(yè)實行重復(fù)數(shù)據(jù)刪除可消除存儲在各平臺上的重復(fù)數(shù)據(jù)副本，從而節(jié)省費用。基于磁盤的存儲廠商Nexsan公司戰(zhàn)略副總裁Randy Chalfant認為這很重要，因為大多數(shù)企業(yè)為同一數(shù)據(jù)生成的副本多達15個，以供數(shù)據(jù)挖掘、企業(yè)資源規(guī)劃和客戶關(guān)系管理等應(yīng)用系統(tǒng)使用。用戶可能還需要考慮使用單一重復(fù)數(shù)據(jù)刪除系統(tǒng)，以便任何應(yīng)用或用戶更容易根據(jù)需要“還原”數(shù)據(jù)（讓數(shù)據(jù)恢復(fù)原來形狀），并且避免多個系統(tǒng)不兼容問題。

高級分析師Greg Schulz則表示，主要的重復(fù)數(shù)據(jù)刪除產(chǎn)品可在預(yù)處理模式下進行操作，直到遇到一定的性能閾值，之后再改用后處理模式。

另外還有一種方案，即基于策略的重復(fù)數(shù)據(jù)刪除，它允許存儲管理人員根據(jù)文件的大小、重要性或其他標(biāo)準(zhǔn)，選擇哪些文件進行重復(fù)數(shù)據(jù)刪除處理。

SFL Data專門為要打官司的公司企業(yè)和律師事務(wù)所收集、存儲、檢索、搜索及提供數(shù)據(jù)，它在性能與數(shù)據(jù)縮減之間找到了平衡點。該公司正在部署Ocarina Networks的2400存儲優(yōu)化器，以便以“近在線（near-online）”的方式將經(jīng)過壓縮和重復(fù)數(shù)據(jù)刪除處理的文件存儲在BlueArc Mercury 50集群上，該集群的可用容量最多可以擴展到2PB。當(dāng)用戶需要時，還可以還原那些文件。

SFL公司的技術(shù)主管Ruth Townsend說：“還原文件導(dǎo)致訪問時間有點減慢，但比告訴客戶必須等兩天才能訪問那些文件要好多了。”他指出，該公司借助重復(fù)數(shù)據(jù)刪除和文件壓縮技術(shù)，省下了多達50%的存儲空間。

數(shù)據(jù)壓縮

壓縮大概是最有名的數(shù)據(jù)縮減技術(shù)了，它是指查找并刪除重復(fù)字節(jié)。它非常適用于數(shù)據(jù)庫、電子郵件和文件，但是對圖片來說效果則不太好。壓縮技術(shù)內(nèi)置在一些存儲系統(tǒng)中，但也有獨立的壓縮軟件或壓縮設(shè)備。

高級分析師Greg Schulz表示，實時壓縮技術(shù)不需要數(shù)據(jù)在改動或讀取之前先解壓，所以不會導(dǎo)致訪問延遲或性能降低，很適合像數(shù)據(jù)庫和聯(lián)機事務(wù)處理這些聯(lián)機應(yīng)用。現(xiàn)代多核處理器具有的計算能力也讓基于服務(wù)器的壓縮成為有些環(huán)境的一種選擇。

i365公司的Allen說，壓縮效果好壞不一。針對SQL數(shù)據(jù)庫，數(shù)據(jù)縮減比至少可以達到6:1；但針對文件服務(wù)器，縮減比則接近2:1。據(jù)飛康公司營銷副總裁Fadi Albatal聲稱，壓縮技術(shù)對備份、二級存儲或三級存儲最有效，針對“高度活躍”的數(shù)據(jù)庫或電子郵件應(yīng)用，可以把存儲需求縮減到1/2或1/4。

信息管理服務(wù)公司Iron Mountain的首席營銷官T.M. Ravi表示，該公司對應(yīng)用進行歸檔時，壓縮和重復(fù)數(shù)據(jù)刪除這兩項技術(shù)可將存儲空間最多縮減80%。

IBM收購的Storwize公司主要是為了對主存儲進行壓縮。該公司的設(shè)備可將壓縮文件寫回到生成這些文件的NAS（網(wǎng)絡(luò)附加存儲）設(shè)備上，或?qū)懙搅硪粋€存儲層上。IBM存儲部門副總裁Doug Balog說，Storwize正在測試一款基于塊的設(shè)備。

由微軟Office應(yīng)用軟件壓縮的文件或JPEG等流行的圖片格式無法用許多常用的壓縮技術(shù)來縮減，壓縮后文件大小甚至可能變大。Neuxpower Solutions公司聲稱，其軟件可以刪除不必要的信息，如元數(shù)據(jù)或只有圖片放大后才看得清的細節(jié)，從而把Office和JPEG文件的大小最多縮減95%，圖片質(zhì)量并不下降。被戴爾收購的Ocarina公司則稱，其產(chǎn)品提供了類似功能，因為所用的多種優(yōu)化算法已針對不同類型的內(nèi)容進行了調(diào)整，還能夠測試多種壓縮方法，并選擇一種合適的方法，確保運行時效率最高。

重復(fù)數(shù)據(jù)刪除和壓縮是互為補充的。Greg Schulz說：“如果關(guān)注的重點是速度、性能和傳輸速度，那就使用壓縮技術(shù)；如果存在大量的冗余數(shù)據(jù)，又希望節(jié)省更多的存儲空間，那就使用重復(fù)數(shù)據(jù)刪除技術(shù)?！?/P>

基于策略的分層

基于策略的分層是指，根據(jù)數(shù)據(jù)年限、訪問頻繁程度或提取速度等制定相應(yīng)的標(biāo)準(zhǔn)，把數(shù)據(jù)轉(zhuǎn)移到不同類別的存儲介質(zhì)上。除非策略要求完全刪除不需要的數(shù)據(jù)，否則這項技術(shù)不會降低總體存儲需求，但由于把部分數(shù)據(jù)轉(zhuǎn)移到成本較低但速度較慢的介質(zhì)上了，所以能夠削減成本。

這個市場得到了一些廠商的關(guān)注，如惠普和DataGlobal公司?；萜赵谄銼torageWorks X9000中提供了內(nèi)置的策略管理和自動化文件遷移功能；DataGlobal則聲稱，其統(tǒng)一存儲和信息管理軟件讓客戶能夠分析及管理非結(jié)構(gòu)化文件及其他信息，因而能夠?qū)㈦娮余]件的存儲需求減少60%至70%，將文件服務(wù)器的存儲需求減少約20%。

具有分層功能的其他產(chǎn)品包括：Compellent Technologies公司的Storage Center 5、飛康的HotZone和SafeCache、3Par公司的Policy Advisor、EMC的FAST和F5 Networks公司的ARX系列文件虛擬化設(shè)備。

存儲虛擬化

與服務(wù)器虛擬化一樣，存儲虛擬化指把多個存儲設(shè)備“抽象”成單一存儲池，以便管理員可根據(jù)需要，在各存儲層之間轉(zhuǎn)移數(shù)據(jù)。許多專家認為，存儲虛擬化是一項支持性技術(shù)，而其本身并不是一種數(shù)據(jù)縮減技術(shù)；但也有另一些專家認為，它與數(shù)據(jù)縮減有著更直接的關(guān)系。

Actifio公司的數(shù)據(jù)管理系統(tǒng)使用了虛擬化，以便使備份和災(zāi)難恢復(fù)等操作不需要多個應(yīng)用程序。其設(shè)備讓客戶可以選擇合適的服務(wù)級別協(xié)議，以便通過一系列模板來管理眾多的數(shù)據(jù)集。借助這個方法，適當(dāng)?shù)墓芾聿呗噪S后可運用到數(shù)據(jù)的惟一副本上，比如定義數(shù)據(jù)副本存儲在何處、在備份和復(fù)制等操作期間如何進行重復(fù)數(shù)據(jù)刪除處理。該公司的聯(lián)合創(chuàng)辦人兼首席執(zhí)行官Ash Ashutosh聲稱，Actifio可將存儲需求縮減75%至90%。

自動精簡配置

自動精簡配置是指對于一項應(yīng)用，系統(tǒng)會在磁盤上為該應(yīng)用分配一定量的空間，但實際上只有應(yīng)用需要時，才真正使用這部分空間。與基于策略的存儲一樣，這項技術(shù)并不縮減總的數(shù)據(jù)占用空間，但可以推遲購買更多磁盤的需要，只有絕對必要時才購買。

i365公司的Allen表示，如果存儲需求迅速增長，你必須“非常迅速地響應(yīng)”，確保有足夠的物理存儲空間。你的需求越難預(yù)測，就越需要好的衡量和管理工具，如果采用自動精簡配置的話。高級分析師Greg Schulz建議，應(yīng)該尋求這樣一種產(chǎn)品：可確認用戶需要跟蹤了解的數(shù)據(jù)和應(yīng)用程序；不但能監(jiān)測存儲空間的使用情況，還能監(jiān)測讀寫操作，以防出現(xiàn)瓶頸。

IBM是這個市場的代表廠商，它將自動精簡配置技術(shù)運用到了其所有存儲控制器中?；萜赵谄銹4000 SAN上也提供了自動精簡配置技術(shù)，它收購的3Par可確保其Utility Storage產(chǎn)品會將客戶的存儲需求縮減50%。Nexsan公司的SATABeast陣列也提供了自動精簡配置。

在選擇一項數(shù)據(jù)縮減策略之前，要制定好策略，以便有助于選擇何時投入成本，以提升性能；何時通過縮減數(shù)據(jù)占用空間來省錢。切忌一味關(guān)注縮減比，而是要牢記：如果縮減比比較小，但數(shù)據(jù)集比較大，則有望節(jié)省更多空間。

另外，不要被廠商的術(shù)語搞得一頭霧水。壓縮、重復(fù)數(shù)據(jù)刪除、變更數(shù)據(jù)備份（change-only backups）和單實例存儲都是縮減冗余數(shù)據(jù)的不同方式而已。如果有疑慮，應(yīng)根據(jù)給業(yè)務(wù)帶來的成效，詳細分析數(shù)據(jù)結(jié)果，以選擇合適的存儲縮減工具。