解析分級(jí)存儲(chǔ)管理（HSM）

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

    一、  三種存儲(chǔ)方式

    所謂分級(jí)存儲(chǔ)，就是根據(jù)數(shù)據(jù)不同的重要性、訪問(wèn)頻次等指標(biāo)分別存儲(chǔ)在不同性能的存儲(chǔ)設(shè)備上，采取不同的存儲(chǔ)方式。這樣一方面可大大減少非重要性數(shù)據(jù)在一級(jí)本地磁盤(pán)所占用的空間，還可加快整個(gè)系統(tǒng)的存儲(chǔ)性能。在這里就涉及到幾種不同性能的存儲(chǔ)設(shè)備和不同的存儲(chǔ)形式了。

    目前常用于數(shù)據(jù)存儲(chǔ)的存儲(chǔ)設(shè)備主要有磁盤(pán)（包括磁盤(pán)陣列）、磁帶（包括磁帶機(jī)和磁帶庫(kù)）和光盤(pán)（包括一切CD-R、CD-RW、DVD-R、DVD-RW等光盤(pán)塔和光盤(pán)庫(kù)設(shè)備）。從性能上來(lái)說(shuō)，磁盤(pán)當(dāng)然是最好的，光盤(pán)次之，最差的是磁帶。而從價(jià)格上來(lái)說(shuō)，單位容量成本上升磁盤(pán)最貴、光盤(pán)次之，磁帶最低。這就為我們不同的應(yīng)用追求最佳性價(jià)比提供了條件，因?yàn)檫@些不同的存儲(chǔ)媒介可應(yīng)用于不同的存儲(chǔ)方式中。這不同的存儲(chǔ)形式包括在線存儲(chǔ)（OnStore）、近線存儲(chǔ)（NearStore）和離線存儲(chǔ)（OffStore）。

    在線存儲(chǔ)
    在線存儲(chǔ)又稱(chēng)工作級(jí)的存儲(chǔ)，存儲(chǔ)設(shè)備和所存儲(chǔ)的數(shù)據(jù)時(shí)刻保持“在線”狀態(tài)，是可隨意讀取的，可滿足計(jì)算平臺(tái)對(duì)數(shù)據(jù)訪問(wèn)的速度要求。如我們PC機(jī)中常用的磁盤(pán)基本上都是采用這種存儲(chǔ)形式的。一般在線存儲(chǔ)設(shè)備為磁盤(pán)和磁盤(pán)陣列等磁盤(pán)設(shè)備，價(jià)格相對(duì)昂貴，但性能最好。

    離線存儲(chǔ)
    離線存儲(chǔ)主要是用于對(duì)在線存儲(chǔ)的數(shù)據(jù)進(jìn)行備份，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難，因此又稱(chēng)備份級(jí)的存儲(chǔ)。離線海量存儲(chǔ)的典型產(chǎn)品就是磁帶或磁帶庫(kù)，價(jià)格相對(duì)低廉。離線存儲(chǔ)介質(zhì)上的數(shù)據(jù)在讀寫(xiě)時(shí)是順序進(jìn)行的。當(dāng)需要讀取數(shù)據(jù)時(shí)，需要把帶子卷到頭，再進(jìn)行定位。當(dāng)需要對(duì)已寫(xiě)入的數(shù)據(jù)進(jìn)行修改時(shí)，所有的數(shù)據(jù)都需要全部進(jìn)行改寫(xiě)。因此，離線海量存儲(chǔ)的訪問(wèn)是慢速度、低效率的。

    近線存儲(chǔ)
    所謂近線存儲(chǔ)，就是指將那些并不是經(jīng)常用到，或者說(shuō)數(shù)據(jù)的訪問(wèn)量并不大的數(shù)據(jù)存放在性能較低的存儲(chǔ)設(shè)備上。對(duì)這些的設(shè)備要求是尋址迅速、傳輸率高。因此，近線存儲(chǔ)對(duì)性能要求相對(duì)來(lái)說(shuō)并不高，但由于不常用的數(shù)據(jù)要占總數(shù)據(jù)量的大多數(shù)，這也就意味著近線存儲(chǔ)設(shè)備首先要保證的是容量。

    在分級(jí)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)中，磁帶庫(kù)等成本較低的存儲(chǔ)資源用來(lái)存放訪問(wèn)頻率較低的信息，而磁盤(pán)或磁盤(pán)陣列等成本高、速度快的設(shè)備，用來(lái)存儲(chǔ)經(jīng)常訪問(wèn)的重要信息。數(shù)據(jù)分級(jí)存儲(chǔ)的工作原理是基于數(shù)據(jù)訪問(wèn)的局部性。通過(guò)將不經(jīng)常訪問(wèn)的數(shù)據(jù)自動(dòng)移到存儲(chǔ)層次中較低的層次，釋放出較高成本的存儲(chǔ)空間給更頻繁訪問(wèn)的數(shù)據(jù)，可以獲得更好的總體性價(jià)比。

    二、  分級(jí)存儲(chǔ)的必要性和主要優(yōu)點(diǎn)

    今天企業(yè)的數(shù)據(jù)中心非常復(fù)雜，數(shù)據(jù)保護(hù)是其關(guān)鍵。但是，并非所有的數(shù)據(jù)都具有同樣的價(jià)值，也并非所有的企業(yè)都具有同樣的需求。的確如此，通常認(rèn)為企業(yè)中的關(guān)鍵和非關(guān)鍵數(shù)據(jù)量也符合“二八原則”，就是只有20%的關(guān)鍵數(shù)據(jù)，而80%都是非關(guān)鍵的。系統(tǒng)中60%至80%的數(shù)據(jù)經(jīng)常在一個(gè)月，甚至一年中都不會(huì)被訪問(wèn)。而在經(jīng)常訪問(wèn)的數(shù)據(jù)中，重要性差別也十分突出，有的數(shù)據(jù)與用戶的業(yè)務(wù)聯(lián)系緊密，可靠性、可用性及性能要求都很高，有的盡管經(jīng)常使用但是與業(yè)務(wù)聯(lián)系不是特別緊密。一般來(lái)說(shuō)，重用數(shù)據(jù)的概率自數(shù)據(jù)創(chuàng)建3天之后就會(huì)下降50%，當(dāng)數(shù)據(jù)創(chuàng)建30天后，重用的概率通常會(huì)降至很低，而高達(dá)90%的數(shù)據(jù)超過(guò)90天后就不會(huì)或很少被讀取。為了提供良好的數(shù)據(jù)保護(hù)，IT部門(mén)通常都保留巨大的空余空間，用以防止出現(xiàn)容量不足的現(xiàn)象。

    IT企業(yè)總是要面對(duì)增長(zhǎng)起來(lái)無(wú)休無(wú)止的數(shù)據(jù)量。各種應(yīng)用都在創(chuàng)建越來(lái)越大的文件，用戶也很少刪除數(shù)據(jù)和存檔，這就導(dǎo)致要訪問(wèn)舊一些的文件已經(jīng)變得非常困難。之所以要采取分組存儲(chǔ)，是因?yàn)樗饶茏畲笙薅鹊貪M足用戶隨時(shí)訪問(wèn)所有需要經(jīng)常使用的數(shù)據(jù)，又可使存儲(chǔ)成本最小化。綜合起來(lái)，可以得出分級(jí)存儲(chǔ)的優(yōu)點(diǎn)主要體現(xiàn)在以下兩個(gè)方面：

    1、  減少總體存儲(chǔ)成本
    在傳統(tǒng)的在線存儲(chǔ)中，所有數(shù)據(jù)都存儲(chǔ)在一線磁盤(pán)存儲(chǔ)設(shè)備上，而由于絕大多數(shù)數(shù)據(jù)的訪問(wèn)率并不高，占住了大量寶貴的磁盤(pán)空間，在一定程度上是一種浪費(fèi)。如果把這些數(shù)據(jù)轉(zhuǎn)移到存儲(chǔ)性能稍低的磁盤(pán)（如IDE或SATA接口磁盤(pán)）或光盤(pán)存儲(chǔ)設(shè)備上，存儲(chǔ)成本可得以大幅降低。

    2、  提高整體系統(tǒng)性能
    由于絕大部分?jǐn)?shù)據(jù)轉(zhuǎn)移到下級(jí)存儲(chǔ)設(shè)備上，那需要時(shí)刻保持在線的數(shù)據(jù)就少了，系統(tǒng)資源的占用也就少了許多，整體系統(tǒng)性能自然也就提高了。如果采用了離線存儲(chǔ)方式對(duì)很少使用的數(shù)據(jù)保存在像磁帶這樣的離線存儲(chǔ)媒體上時(shí)，則不僅可提高系統(tǒng)性能，還可確保數(shù)據(jù)的安全性。
   
    三、  分級(jí)存儲(chǔ)的管理

    分級(jí)存儲(chǔ)管理（Hierarchical Storage Management，HSM）就是要將用戶擁有的所有存儲(chǔ)資源統(tǒng)一管理，提高每種存儲(chǔ)設(shè)備的利用率，節(jié)約了成本。在分級(jí)存儲(chǔ)中，存儲(chǔ)的分級(jí)是十分明顯的，僅從設(shè)備上說(shuō)，就有磁帶機(jī)、磁帶庫(kù)、NAS、中低端盤(pán)陣、高端存儲(chǔ)系統(tǒng)等等。而且在線、近線與離線存儲(chǔ)存放的數(shù)據(jù)價(jià)值不同，如何根據(jù)用戶數(shù)據(jù)的不同價(jià)值合理利用好每種存儲(chǔ)資源是一個(gè)不小的挑戰(zhàn)。

    分級(jí)存儲(chǔ)管理起源于1978年，首先使用于IBM的大型機(jī)系統(tǒng)。近10年來(lái)，HSM被廣泛應(yīng)用于開(kāi)放系統(tǒng)的Unix和Windows平臺(tái)。其中最關(guān)鍵的技術(shù)就是近線存儲(chǔ)和數(shù)據(jù)遷移技術(shù)。

    分級(jí)存儲(chǔ)管理是一種將離線存儲(chǔ)與在線存儲(chǔ)融合的技術(shù)。它將高速、高容量的非在線存儲(chǔ)設(shè)備作為磁盤(pán)設(shè)備的下一級(jí)設(shè)備，然后將磁盤(pán)中常用的數(shù)據(jù)按指定的策略自動(dòng)遷移到磁帶庫(kù)等二級(jí)大容量存儲(chǔ)設(shè)備上。當(dāng)需要使用這些數(shù)據(jù)時(shí)，分級(jí)存儲(chǔ)系統(tǒng)會(huì)自動(dòng)將這些數(shù)據(jù)從下一級(jí)存儲(chǔ)設(shè)備調(diào)回到上一級(jí)磁盤(pán)上。對(duì)于用戶來(lái)說(shuō)，上述數(shù)據(jù)遷移操作完全是透明的，只是在訪問(wèn)磁盤(pán)的速度上略有怠慢，而在邏輯磁盤(pán)的容量上明顯感覺(jué)大大提高了。通俗地講，數(shù)據(jù)遷移是一種可以把大量不經(jīng)常訪問(wèn)的數(shù)據(jù)存放在磁帶庫(kù)、光盤(pán)庫(kù)等離線介質(zhì)上，只在磁盤(pán)陣列上保存少量訪問(wèn)頻率高的數(shù)據(jù)的技術(shù)。當(dāng)那些磁帶等介質(zhì)上數(shù)據(jù)被訪問(wèn)時(shí)，系統(tǒng)自動(dòng)地把這些數(shù)據(jù)回遷到磁盤(pán)陣列中；同樣，磁盤(pán)陣列中很久未訪問(wèn)的數(shù)據(jù)被自動(dòng)遷移到磁帶介質(zhì)上，從而大大降低投入和管理成本。

    HSM應(yīng)用也具備監(jiān)測(cè)磁盤(pán)容量并在關(guān)鍵容量情況下做出反應(yīng)的能力。這種軟件經(jīng)過(guò)配置后可以為某個(gè)卷設(shè)定一個(gè)最小的剩余空間，當(dāng)達(dá)到這個(gè)極限后自動(dòng)向用戶發(fā)出警告，提示用戶或自動(dòng)進(jìn)行數(shù)據(jù)遷移。這樣便可以立即釋放空間，管理員也可以在今后有空閑時(shí)再來(lái)解決空間的問(wèn)題。

    由此可見(jiàn)，分級(jí)存儲(chǔ)管理更多從降低成本、不影響數(shù)據(jù)應(yīng)用效果的角度解決數(shù)據(jù)的存儲(chǔ)問(wèn)題。事實(shí)上，降低成本、提高效率已成為IT廠商追逐技術(shù)進(jìn)步的一個(gè)目標(biāo)。近線存儲(chǔ)就是這種進(jìn)步的產(chǎn)物。伴隨單盤(pán)成本的下降，近線存儲(chǔ)市場(chǎng)漸熱，有業(yè)內(nèi)專(zhuān)家預(yù)測(cè)，不久的將來(lái)，近線存儲(chǔ)技術(shù)將取代數(shù)據(jù)遷移技術(shù)，用戶將以模擬海量空間的、更為安全可靠的磁盤(pán)介質(zhì)保存歷史數(shù)據(jù)。而成熟完善的數(shù)據(jù)遷移軟件技術(shù)將更為恰到好處的融入到近線存儲(chǔ)設(shè)備中，為近線存儲(chǔ)技術(shù)的發(fā)展起到推波助瀾的作用。

    四、NeytApp NearStore分級(jí)存儲(chǔ)管理方案

    為了使大家對(duì)分級(jí)存儲(chǔ)管理有一個(gè)具體的了解，下面結(jié)合Network Appliance公司的NearStore近線存儲(chǔ)在HSM中的應(yīng)用介紹分級(jí)存儲(chǔ)網(wǎng)絡(luò)架構(gòu)，同時(shí)了解有關(guān)產(chǎn)品。

    NearStore HSM存儲(chǔ)方案體系結(jié)構(gòu)如圖所示。此方案的核心設(shè)備就是NetApp公司的NearStore存儲(chǔ)設(shè)備，如NearStore R2000（如圖所示）。HSM服務(wù)器可以是任何配置相應(yīng)HSM軟件的服務(wù)器，甚至PC機(jī)。
 
 

 NetApp NearStore R200

    NetApp NearStore R200 系統(tǒng)是一個(gè)磁盤(pán)近線存儲(chǔ)系統(tǒng)，它結(jié)合了Data ONTAP操作系統(tǒng)功能強(qiáng)大的特點(diǎn)與ATA磁盤(pán)驅(qū)動(dòng)器成本低廉的特點(diǎn)。NearStore能夠以接近磁帶的存儲(chǔ)成本提供接近主存儲(chǔ)系統(tǒng)的性能。NearStore R200系統(tǒng)可以從8TB擴(kuò)展到96TB，它既能為中小型企業(yè)帶來(lái)價(jià)值，也能為需要實(shí)施或增強(qiáng)其存儲(chǔ)基礎(chǔ)設(shè)施的全球性企業(yè)客戶帶來(lái)價(jià)值。NearStore近線存儲(chǔ)設(shè)備和HSM服務(wù)器都通過(guò)交換機(jī)連接，而其它本地存儲(chǔ)設(shè)備可直接掛接在HSM服務(wù)器上。

    NearStore近線存儲(chǔ)設(shè)備在如下圖所示的三層存儲(chǔ)體系結(jié)構(gòu)的應(yīng)用程序存儲(chǔ)和磁帶庫(kù)之間插入經(jīng)濟(jì)而易用的磁盤(pán)式存儲(chǔ)，從而完美地補(bǔ)充并顯著地改善現(xiàn)有的磁帶備份、存檔與數(shù)據(jù)保護(hù)方案。

    NearStore通過(guò)合并NetApp系統(tǒng)和其他存儲(chǔ)設(shè)備的近線負(fù)載數(shù)據(jù)，進(jìn)一步加強(qiáng)了數(shù)據(jù)保護(hù)和管理。 
 

    這一方案具有以下幾個(gè)方面的特點(diǎn)：

    （1）大多數(shù)HSM方案中，應(yīng)用程序的源卷必須為本地磁盤(pán)或能提供基于塊的界面，不能以CIFS或NFS方式進(jìn)行安裝。而在NearStore的HSM方案中，目標(biāo)卷可以是HSM服務(wù)器上以CIFS或NFS方式安裝的卷。這樣，文件就可在源卷和NearStore卷間進(jìn)行復(fù)制。管理員還可定義清除規(guī)則，從而將源卷上的文件變?yōu)橐粋€(gè)指針，指向其在NearStore上的對(duì)應(yīng)文件。根據(jù)操作系統(tǒng)的不同，簡(jiǎn)單情況下指針可以為符號(hào)鏈接或CIFS快捷方式，復(fù)雜情況下則可以為源文件系統(tǒng)中的占位程序。清除規(guī)則可由磁盤(pán)容量標(biāo)記觸發(fā)，或者由執(zhí)行磁盤(pán)掃描過(guò)程觸發(fā)。此外，客戶還可使用刪除規(guī)則將文件從源和NearStore卷中刪除。

    （2）通常，存檔產(chǎn)品按“時(shí)間點(diǎn)復(fù)制”的模式工作，將存在于某個(gè)特定時(shí)間點(diǎn)的數(shù)據(jù)取出，并將其復(fù)制、移動(dòng)或遷移到目標(biāo)卷中去。而NearStore HSM產(chǎn)品則通常按照連續(xù)方式工作。如果文件與預(yù)先定義的規(guī)則或策略相匹配，即可立刻進(jìn)行遷移。

    （3）存檔產(chǎn)品需要由管理員或由按時(shí)間表運(yùn)行的操作系統(tǒng)調(diào)用。NearStore HSM產(chǎn)品則采用服務(wù)或守護(hù)程序，它們能隨時(shí)監(jiān)聽(tīng)請(qǐng)求、截取請(qǐng)求并采取行動(dòng)。

    （4）一些HSM產(chǎn)品還提供復(fù)雜的存儲(chǔ)虛擬技術(shù)，從而客戶可將所有可用的存儲(chǔ)看作一個(gè)巨大的磁盤(pán)。存檔應(yīng)用程序則不具備該功能。

    分級(jí)存儲(chǔ)產(chǎn)品和方案還有許多，因篇幅關(guān)系在此就不多介紹了。

    來(lái)源：E-WORKS