存儲(chǔ)領(lǐng)域的熱門技術(shù) 重復(fù)數(shù)據(jù)刪除弱點(diǎn)分析

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

重復(fù)數(shù)據(jù)刪除是目前存儲(chǔ)行業(yè)最熱門的技術(shù)之一，用戶和廠商們都很看好這種技術(shù)。有的廠商在開發(fā)硬件，有的廠商在開發(fā)軟件，還有的廠商同時(shí)開發(fā)相關(guān)的軟件和硬件。

跟以前一樣，我不打算對(duì)比不同廠商的產(chǎn)品或者技術(shù)，我只想談?wù)勀阍诳紤]購(gòu)買重復(fù)數(shù)據(jù)刪除軟件或硬件時(shí)必須向廠商咨詢的一個(gè)重要問(wèn)題，即數(shù)據(jù)損壞的問(wèn)題。你可能會(huì)想，重復(fù)數(shù)據(jù)刪除與數(shù)據(jù)損壞有什么關(guān)系呢，不用著急，我馬上就給你解釋。但是必須說(shuō)明的是，我是從通用硬件和軟件的角度來(lái)寫這篇文章的。有些廠商的產(chǎn)品也許可以或者不可以接近我在文中談到的全部或者部分問(wèn)題。選購(gòu)哪家廠商的產(chǎn)品以及向廠商咨詢什么問(wèn)題的決定權(quán)在你自己手中，筆者不承擔(dān)任何責(zé)任。

有些人也許讀過(guò)我曾經(jīng)寫過(guò)的一篇關(guān)于我自己經(jīng)歷過(guò)的數(shù)據(jù)損壞的文章。 我稍微對(duì)比了一下正確的數(shù)據(jù)和損壞后的數(shù)據(jù)，數(shù)據(jù)的ASCII碼發(fā)生了很大變化。實(shí)際上，大部分字節(jié)都損壞了。

本文討論的是數(shù)據(jù)不定期損壞的問(wèn)題，并非一定會(huì)發(fā)生，即使是發(fā)生數(shù)據(jù)損壞事故的概率遠(yuǎn)低于廉價(jià)SATA的高端企業(yè)光纖信道驅(qū)動(dòng)器也不能例外。另外，發(fā)生問(wèn)題的部件不一定是驅(qū)動(dòng)器或者控制器，也可能是內(nèi)存、CPU或者別的什么部件。歸結(jié)為一點(diǎn)就是，數(shù)字世界中的數(shù)字資料肯定有可能會(huì)損壞。雖然發(fā)生數(shù)據(jù)損壞事故的情況跟使用的操作系統(tǒng)、硬件和軟件都有關(guān)系，即使是運(yùn)行在基于MVS多重虛擬存儲(chǔ)系統(tǒng)的IBM大型機(jī)上也可能發(fā)生數(shù)據(jù)損壞事故，只是概率要比系統(tǒng)低很多。

瑞士一家實(shí)驗(yàn)室去年發(fā)表了一篇關(guān)于數(shù)據(jù)損壞的論文，其中有些內(nèi)容值得一讀。

你可能會(huì)想，這些跟重復(fù)數(shù)據(jù)刪除有什么關(guān)系。問(wèn)題是，如果重復(fù)數(shù)據(jù)刪除的硬件或者軟件損壞了，你可能會(huì)失去所有的數(shù)據(jù)。 如果你打算刪除重復(fù)的數(shù)據(jù)，你就必須保證你擁有的那些數(shù)據(jù)是完好的。

例如，加入數(shù)據(jù)在被讀出時(shí)損壞，而存儲(chǔ)在磁盤上的數(shù)據(jù)仍是好的，那么在進(jìn)行數(shù)據(jù)對(duì)比時(shí)會(huì)怎么樣? 如果再次讀取，可能就能夠得到正確的數(shù)據(jù)。但是如果數(shù)據(jù)被寫入磁盤時(shí)的日期出錯(cuò)，你是否還能讀取那些文件呢? 讓我們一步一步分析這兩個(gè)例子，看看到底發(fā)生了什么事。

實(shí)例1：受損數(shù)據(jù)讀取

如果從磁盤讀取數(shù)據(jù)，而且那些數(shù)據(jù)由于某種原因損壞了，然后開始將受損的數(shù)據(jù)應(yīng)用于新數(shù)據(jù)，你可能會(huì)遇到一個(gè)大問(wèn)題。當(dāng)你再次從磁盤讀取數(shù)據(jù)，進(jìn)行重復(fù)數(shù)據(jù)刪除的操作時(shí)，它可能就不同了。

如果將讀取的數(shù)據(jù)與新數(shù)據(jù)進(jìn)行對(duì)比，內(nèi)存中的數(shù)據(jù)將是壞的，所以你找到的所有一樣的數(shù)據(jù)在下次被讀取時(shí)都將變成其他的數(shù)據(jù)。因此，基本上從受損數(shù)據(jù)中讀取的任何數(shù)據(jù)都將被錯(cuò)誤的對(duì)比，因而變得無(wú)法讀取。

如果那些數(shù)據(jù)由于某種原因被重新讀取，而且讀取的是正確的數(shù)據(jù)的話，那么后續(xù)數(shù)據(jù)都將是正確的。除此之外，就會(huì)發(fā)生無(wú)法恢復(fù)的調(diào)試，你將丟失大量的數(shù)據(jù)。 令人擔(dān)心的是，一部分?jǐn)?shù)據(jù)是好的，一部分?jǐn)?shù)據(jù)是壞的，要想?yún)^(qū)分開來(lái)，非要進(jìn)行非常細(xì)致的檢查工作。

實(shí)例2：受損數(shù)據(jù)重復(fù)數(shù)據(jù)

但是，如果數(shù)據(jù)從一開始就出錯(cuò)，在磁盤上就已經(jīng)受損了怎么辦? 這個(gè)問(wèn)題與第一個(gè)實(shí)例很相似，只是第一個(gè)實(shí)例中的數(shù)據(jù)是好的，后來(lái)才讀取了壞的數(shù)據(jù)，令所有數(shù)據(jù)都受損了。在這個(gè)實(shí)例中，重復(fù)數(shù)據(jù)是在內(nèi)存中創(chuàng)建的，是好的，但是磁盤上的數(shù)據(jù)是壞的。也就是說(shuō)，你用一個(gè)好的重復(fù)數(shù)據(jù)建立了數(shù)據(jù)，但是一旦從磁盤讀取數(shù)據(jù)，數(shù)據(jù)就變成壞的了。好的一面是，一旦從磁盤重新讀取數(shù)據(jù)到內(nèi)存，數(shù)據(jù)就一樣了，所以這個(gè)問(wèn)題不是很嚴(yán)重。但是在利用內(nèi)存中的原始數(shù)據(jù)創(chuàng)建數(shù)據(jù)時(shí)，你不能進(jìn)行恢復(fù)已經(jīng)刪除的重復(fù)數(shù)據(jù)。當(dāng)你下個(gè)月恢復(fù)刪除的重復(fù)數(shù)據(jù)時(shí)，你會(huì)獲得錯(cuò)誤的數(shù)據(jù)，除非從磁盤讀取正確的數(shù)據(jù)才行。 再次強(qiáng)調(diào)一點(diǎn)，這是個(gè)調(diào)試問(wèn)題，可能無(wú)法解決。

你需要向廠商咨詢些什么

我自己遇到過(guò)數(shù)據(jù)受損的事故，我也看到其他人遇到過(guò)同樣的問(wèn)題，你遲早也會(huì)遇到。 我也非常相信新的T10 Data Integrity Field標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)會(huì)從主機(jī)向磁盤進(jìn)行8字節(jié)的檢驗(yàn)，讓磁盤來(lái)驗(yàn)證數(shù)據(jù)，估計(jì)很多廠商都將在今年晚些時(shí)候提供基于這種標(biāo)準(zhǔn)的產(chǎn)品。我個(gè)人很喜歡這個(gè)標(biāo)準(zhǔn)，因?yàn)橛行┎糠忠呀?jīng)應(yīng)用于硬件的數(shù)據(jù)通道中，它是由為你提供SCSI協(xié)議的同一個(gè)廠商提供的。

文件系統(tǒng)可以進(jìn)行數(shù)據(jù)檢驗(yàn)，但是如果文件系統(tǒng)在進(jìn)行檢驗(yàn)時(shí)修正了數(shù)據(jù)，你可能會(huì)遇到兩個(gè)問(wèn)題：

文件系統(tǒng)在檢驗(yàn)之前必須將數(shù)據(jù)讀回到服務(wù)器。當(dāng)數(shù)據(jù)被寫回設(shè)備之前，它們是沒有被檢驗(yàn)過(guò)的。

服務(wù)器CPU必須計(jì)算出檢驗(yàn)數(shù)字，并且在文件被讀回時(shí)進(jìn)行驗(yàn)證。這對(duì)服務(wù)器有很大影響。 包括增加內(nèi)存帶寬的要求以及利用CPU高速緩存，要求將應(yīng)用程序重新從內(nèi)存載入以及檢驗(yàn)數(shù)字計(jì)算所需的內(nèi)存帶寬。

如果你運(yùn)行的應(yīng)用程序使用了大量服務(wù)器資源，這就會(huì)構(gòu)成一個(gè)嚴(yán)重的問(wèn)題了。

有些產(chǎn)品有著自己的文件系統(tǒng)和檢驗(yàn)數(shù)字，可以解決我對(duì)數(shù)據(jù)損壞的部分擔(dān)憂，但是并非所有的廠商都提供了具有這些功能的產(chǎn)品。這只是你應(yīng)關(guān)注的重復(fù)數(shù)據(jù)刪除中的一部分問(wèn)題。在選購(gòu)產(chǎn)品時(shí)，你還必須考慮其他許多因素，但是這應(yīng)該是你優(yōu)先考慮的因素。你在提出這個(gè)問(wèn)題的時(shí)候，廠商們也許會(huì)說(shuō)這是你自己的問(wèn)題，你的系統(tǒng)應(yīng)該象 T10DIF那樣。 這種回答是錯(cuò)誤的。在你提出問(wèn)題之前，廠商們必須考慮到你的硬件和軟件，如果它們把問(wèn)題丟給你，你就不用考慮購(gòu)買它們的產(chǎn)品了。

在某些環(huán)境中，重復(fù)數(shù)據(jù)刪除是一種很重要的工具，但是凡事都有兩面性，你應(yīng)該認(rèn)真規(guī)劃和執(zhí)行它。（dostor）