將重復數(shù)據(jù)刪除用在主存儲？

申請免費試用、咨詢電話：400-8352-114

每一種技術的出現(xiàn)都有其適合伸展的市場，即使這個市場有大有小，我們也必須要以辨證的看法去看問題，而不能一杠到底，所以，最后的答案往往是這樣的："哪一種重復數(shù)據(jù)刪除技術比較好，還是要看用戶的實際情況。"

所以，本周我們想談另一個與重復數(shù)據(jù)刪除技術有關的話題：你是否能夠在主存儲上應用重復數(shù)據(jù)刪除技術？對于這個問題，我們希望我們能夠給予一個明晰的答案，哪怕仍然是一個"一分為二"的答案，我們也力圖將分開的"二"，分的更加明確一點，就像楚河漢界那樣。

主存儲：是能隨便動的么？

Storage Switzerland 及 Storage Switzerland Events的創(chuàng)始人兼主席George Crump認為，在主存儲上進行重復數(shù)據(jù)刪除可不是鬧著玩的。

這位存儲專家認為，主存儲是對性能十分敏感的而且生怕出現(xiàn)問題，如果因為執(zhí)行重復數(shù)據(jù)刪除而影響了生產環(huán)境的性能表現(xiàn)，企業(yè)是肯定不能接受的，因此，重復數(shù)據(jù)刪除技術必須是高效快速的，它不能影響性能，或者在重復數(shù)據(jù)刪除的過程中絕不能有任何的"性能波段"。而且，還涉及到另外一個問題：主存儲都是生產系統(tǒng)，存儲在上面的數(shù)據(jù)會是"靜止"的么？

答案肯定是否定的，既然是生產系統(tǒng)，就肯定是在線系統(tǒng)，那么，肯定會是經常訪問的，但是，重復數(shù)據(jù)刪除技術與壓縮技術有一個共同的特點，那就是壓縮技術的壓縮比越高，所需的解壓縮的時間越長（用WinRAR的人肯定都見過標準、最快、最好等多個選項），重復數(shù)據(jù)刪除也是如此：重復刪除的水平越高，數(shù)據(jù)讀回時對性能的影響越大

除了在性能上的擔憂之外，主存儲應用重復數(shù)據(jù)刪除是否會出問題也是我們不得不考慮的問題，當然，我們在此沒有懷疑任何一家重復數(shù)據(jù)刪除公司會錯誤的刪除數(shù)據(jù)，只是我們想到一個問題，在任何一個IT系統(tǒng)中，部署的應用越多，系統(tǒng)的風險也越大，那么，用戶到底做沒做好準備去再在其系統(tǒng)上加裝一個系統(tǒng)？尤其是，這個系統(tǒng)將會將會在每一次存儲和讀取數(shù)據(jù)時現(xiàn)身，這是另外一個需要考慮的問題--或許用戶可以嘗試重復數(shù)據(jù)刪除卡，也是個不錯的選擇，只是我們是不是要去考慮一下標準化和兼容性的問題呢？目前我還沒有遇到這個產品的用戶，或許過幾個月會有答案。

主存儲：有多少的"刪除"余地？

重復數(shù)據(jù)刪除出生的初衷是什么？是因為有很多像我一樣每天做備份，而且不僅做一個備份的用戶--自從我的移動硬盤丟失過一次數(shù)據(jù)之后，我每天都要把新文件在移動硬盤和閃存上存兩份，對于許多企業(yè)來說也是這樣，像工商銀行這樣的金融用戶，幾乎每天的交易數(shù)據(jù)都要存三份：本地備份系統(tǒng)一份，長期歸檔系統(tǒng)一份，異地的災備中心還要有一份，有時候，甚至還會另備份一份在其它備份系統(tǒng)上，因為他們的數(shù)據(jù)太寶貴了，如果丟失，造成的損失絕不是個小數(shù)目，但是這里面有個問題：過多的備份，尤其是很多用戶的全備份（而不是增量備份），讓存儲系統(tǒng)不堪重負，所以才想起去壓縮，去刪除重復數(shù)據(jù)。

但是生產系統(tǒng)顯然不太一樣。

首先，生產系統(tǒng)是獨一無二的，我們的生產系統(tǒng)中，能夠有多少數(shù)據(jù)是重復的？10%？20%還是50%，很顯然，除了抄送了多人的電子郵件和某些標準格式的調查表之外，或許沒有太多的數(shù)據(jù)讓我們去刪除重復數(shù)據(jù)，像George Crump就覺得，對于生產數(shù)據(jù)來說，盡管可能會有一些重復--比如同一個數(shù)據(jù)庫的"額外"副本，但大多數(shù)情況下，數(shù)據(jù)冗余并不像備份或歸檔那么多。

隨著基于磁盤的歸檔和磁盤備份變得更加普遍，主存儲的冗余數(shù)據(jù)更少了。過去，保存數(shù)據(jù)庫或文件的額外副本的價值是"以防萬一"?，F(xiàn)在這些副本，可以很容易地發(fā)送到磁盤歸檔或磁盤備份設備當中。（這是一件好事！ ）注意：當前用戶期望看到的存儲效率提升20倍或更多，在主存儲就不要想了。一個更現(xiàn)實的目標可能是3倍，最多5倍。

另一個現(xiàn)象是：大部分的主存儲的數(shù)據(jù)已經是預壓縮格式。文件，如圖片，媒體文件，和特定行業(yè)的數(shù)據(jù)集，是已經預先壓縮過的。即使最新版本的流行的office應用也是預先壓縮的。這些預壓縮文件，往往代表了企業(yè)增長最快的最大的數(shù)據(jù)集。為應對生產數(shù)據(jù)的"獨特性"和"預壓縮"，一個成功的主存儲精簡技術需要"挖的更深"。內置的數(shù)據(jù)精簡（重復數(shù)據(jù)刪除）在備份和存檔有明顯的優(yōu)勢，但生產存儲中，帶外管理會更有效。

當然，在主存儲上，我們仍然有一些關于重復數(shù)據(jù)刪除的建議。

嘗試應用：如果你有錢

"以前沒有人能夠真正對在線及主存儲進行重復數(shù)據(jù)刪除，因為這的確很難"，George說，"（在線數(shù)據(jù)）的性能要求更加嚴格，而且?guī)缀趺總€文件都已經在保存過程中被它自己的應用程序給壓縮過了"。例如，他指出Microsoft 2007文檔在關閉時就被自動壓縮。這也就是說這個文件不能通過傳統(tǒng)方法來再次壓縮以節(jié)省空間--而這正是重復數(shù)據(jù)刪除作用的領域。

另一個需要去刪除一些重復數(shù)據(jù)的地方或者說有重復數(shù)據(jù)可能性更高的地方，是Exchange和Lotus，我們都會常常收到群發(fā)郵件，而當這些群發(fā)郵件中擁有一個龐大的附件時，可刪除的重復數(shù)據(jù)就比較多了，可以肯定的是，每個周末每個公司總會有很開朗的同事發(fā)一些視頻和圖片，而且一發(fā)就是幾十人--這個時候，單一實例存儲，很有用。

第三個應用領域是當你的虛擬機很多的時候，隨著數(shù)據(jù)中心的虛擬化建設，原來的一臺服務器現(xiàn)在可能變成了多臺虛擬機，有多個操作系統(tǒng)在運行，而這些操作系統(tǒng)很多是重復的，這就造成了大量的重復數(shù)據(jù)，在主存儲中引入重復數(shù)據(jù)刪除，可以消除此類冗余數(shù)據(jù)--NetApp公司中國區(qū)總經理柯志明是這樣看待這個問題的，對于這樣"應用在主存儲上的重復數(shù)據(jù)刪除"，IDC的分析師Laura DuBois認為：NetApp也許會開辟出新的應用領域，但世上沒有十全十美的事，他表示，我們也要看到，在主存儲上做重復數(shù)據(jù)刪除可能給生產系統(tǒng)性能造成一定影響。對此，柯志明先生坦言"我們做過一些測試，用了De-Dupication大概有5%-10%的性能影響"。

那么，對于那些希望將重復數(shù)據(jù)刪除加入到主存儲的人們眼中，到底他們的商機在哪里呢？打算將重復數(shù)據(jù)刪除推進到主存儲的Ocarina公司的產品副總裁Carter George認為，一些燃氣及石油行業(yè)可能對該技術感興趣，因為它們有大量的地震圖片文件需要存儲。他認為大型金融機構和事務類型的環(huán)境也可能適合重復數(shù)據(jù)刪除。"數(shù)據(jù)庫比較棘手"，他說，"我們可以縮減數(shù)據(jù)庫文件的大小，但是由于數(shù)據(jù)經常在變動，這些文件縮小又膨脹--重復數(shù)據(jù)刪除并不能起作用"。

但是在最后，我們打算將重復數(shù)據(jù)刪除歸結到一個亙古不變的問題上來：你到底有錢沒錢？

隨著頂級存儲制造商開始生產1T的SATA硬盤，購買大容量的存儲空間越來越容易--未來，SSD的發(fā)展最終會帶來一個更美妙的主存儲世紀：容量更大，耗電更低，價格更平易近人，而性能，可能會超乎我們的想象！(IT168)