一種采用帶外虛擬化技術(shù)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

一、引言

隨著信息存儲(chǔ)量的爆炸式增長(zhǎng)和數(shù)據(jù)重要性的日益凸顯，網(wǎng)絡(luò)存儲(chǔ)正在逐步取代傳統(tǒng)直連式存儲(chǔ)(DAS，direct aim.ched storage)，它具有以下優(yōu)點(diǎn)：

(1)提高存儲(chǔ)資源利用率，研究表明直連存儲(chǔ)中的存儲(chǔ)設(shè)備利用率僅為40%，而網(wǎng)絡(luò)存儲(chǔ)中則高達(dá)90%;

(2)降低存儲(chǔ)系統(tǒng)的總體擁有成本(TCO，total cost ofowner)，存儲(chǔ)管理成本中最主要的是人力成本，網(wǎng)絡(luò)存儲(chǔ)可以有效降低大規(guī)模存儲(chǔ)中的人力成本的開(kāi)銷(xiāo)。

據(jù)統(tǒng)計(jì)，直連存儲(chǔ)的TCO約為0.84$/MB，而網(wǎng)絡(luò)存儲(chǔ)則僅為0.35~0.38$/MB。

存儲(chǔ)虛擬化是網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中普遍采用的一種數(shù)據(jù)管理技術(shù)，它通過(guò)一定手段實(shí)現(xiàn)對(duì)存儲(chǔ)資源的集中式管理，屏蔽了組成物理存儲(chǔ)介質(zhì)的異構(gòu)性并為使用者提供大容量、高性能和多功能的存儲(chǔ)系統(tǒng)。網(wǎng)絡(luò)存儲(chǔ)虛擬化可以分為帶內(nèi)和帶外兩類(lèi)，如圖1所示，在帶內(nèi)虛擬化網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中。所有數(shù)據(jù)通路都經(jīng)由唯一I/O導(dǎo)向器，它不僅負(fù)責(zé)存儲(chǔ)資源的虛擬化管理同時(shí)在數(shù)據(jù)通路上實(shí)現(xiàn)各種數(shù)據(jù)存儲(chǔ)管理語(yǔ)義;在帶外虛擬化網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中，應(yīng)用服務(wù)器和存儲(chǔ)設(shè)備直接進(jìn)行數(shù)據(jù)傳輸，存儲(chǔ)資源的管理由獨(dú)立于數(shù)據(jù)傳輸通路的存儲(chǔ)虛擬化服務(wù)器提供。相比之下，一方面，帶內(nèi)虛擬化方式不僅存在由I/O導(dǎo)向器帶來(lái)的性能瓶頸和單點(diǎn)故障等問(wèn)題，同時(shí)它不能充分發(fā)揮交換式存儲(chǔ)網(wǎng)絡(luò)的承載能力和單個(gè)存儲(chǔ)設(shè)備的I/O能力，此外I/O導(dǎo)向器的I/O轉(zhuǎn)發(fā)操作也會(huì)相應(yīng)增加數(shù)據(jù)傳輸通路的I/O延遲;另一方面，通過(guò)對(duì)數(shù)據(jù)傳輸通路的有效控制，帶內(nèi)虛擬化方式易于實(shí)現(xiàn)各種高級(jí)數(shù)據(jù)存儲(chǔ)管理語(yǔ)義，如在線數(shù)據(jù)遷移、數(shù)據(jù)復(fù)制和數(shù)據(jù)版本(快照)控制等。

目前網(wǎng)絡(luò)存儲(chǔ)從系統(tǒng)結(jié)構(gòu)上主要分為SAN(storage areanetwork)和NAS(network attached storage)兩類(lèi)，其中前者由專用的網(wǎng)絡(luò)和設(shè)備構(gòu)建，提供塊級(jí)數(shù)據(jù)訪問(wèn)接口，而后者基于服務(wù)器直連盤(pán)陣架構(gòu)，在傳統(tǒng)數(shù)據(jù)網(wǎng)上提供文件級(jí)數(shù)據(jù)訪問(wèn)接口。本文主要介紹由國(guó)家高性能計(jì)算機(jī)工程技術(shù)中心自主研制的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)?BW VSDS(Blue Whale-virtual storagedevice system)，它是一種基于帶外虛擬化技術(shù)的SAN系統(tǒng)，目前已實(shí)際應(yīng)用于視頻監(jiān)控、科學(xué)研究和企業(yè)辦公等領(lǐng)域，相比于其它SAN系統(tǒng)，BW-VSDS具有以下特點(diǎn)：

(1)采用兩級(jí)帶外虛擬化數(shù)據(jù)管理模型以充分發(fā)揮單個(gè)存儲(chǔ)節(jié)點(diǎn)的L/O能力并釋放存儲(chǔ)網(wǎng)絡(luò)的承載能力;

(2)采用分布式數(shù)據(jù)存儲(chǔ)管理協(xié)議以實(shí)現(xiàn)高級(jí)數(shù)據(jù)存儲(chǔ)管理語(yǔ)義;

(3)支持多種塊級(jí)數(shù)據(jù)傳輸協(xié)議以適用于不同的應(yīng)用環(huán)境。

2基本原理

BW-VSDS系統(tǒng)由元數(shù)據(jù)服務(wù)器、存儲(chǔ)節(jié)點(diǎn)和應(yīng)用服務(wù)器三種功能實(shí)體組成，如圖2所示，元數(shù)據(jù)服務(wù)器采用帶外虛擬化方式將分布在多個(gè)存儲(chǔ)節(jié)點(diǎn)中的離散存儲(chǔ)資源聚合為一個(gè)統(tǒng)一的虛擬存儲(chǔ)池，它根據(jù)應(yīng)用的具體需求劃分出具有不同屬性的虛擬存儲(chǔ)卷并授權(quán)給相應(yīng)的應(yīng)用服務(wù)器，后者則通過(guò)存儲(chǔ)代理以虛擬磁盤(pán)的方式直接訪問(wèn)位于存儲(chǔ)節(jié)點(diǎn)中的存儲(chǔ)資源。本小節(jié)我們將闡述為實(shí)現(xiàn)上述功能BW―VSDS所采用的兩項(xiàng)關(guān)鍵技術(shù)。 2.1 兩級(jí)帶外虛擬化數(shù)據(jù)管理模型

BW-VSDS系統(tǒng)中將存儲(chǔ)虛擬化功能劃分為存儲(chǔ)節(jié)點(diǎn)內(nèi)和存儲(chǔ)節(jié)點(diǎn)間兩級(jí)(如圖3所示)：

本地虛擬化：存儲(chǔ)節(jié)點(diǎn)通過(guò)RMD或基于磁盤(pán)屬性的分組池化技術(shù)集中管理與其直連的物理存儲(chǔ)資源(磁盤(pán)或磁盤(pán)陣列)，在此基礎(chǔ)之上，它以邏輯存儲(chǔ)卷為單位對(duì)存儲(chǔ)資源進(jìn)行劃分，并在節(jié)點(diǎn)內(nèi)提供各種高級(jí)數(shù)據(jù)存儲(chǔ)管理功能，如數(shù)據(jù)讀寫(xiě)緩存、數(shù)據(jù)復(fù)制、數(shù)據(jù)版本控制和數(shù)據(jù)加密等，其中邏輯存儲(chǔ)卷是BW-VSDS系統(tǒng)中最小的可管理單元。

全局虛扭化：元數(shù)據(jù)服務(wù)器集中管理系統(tǒng)中的存儲(chǔ)資源，它首先將存儲(chǔ)節(jié)點(diǎn)中離散的存儲(chǔ)資源聚合為一個(gè)統(tǒng)一的虛擬存儲(chǔ)池，接著根據(jù)應(yīng)用服務(wù)器的具體需求為其分配具有豐H應(yīng)屆性(存儲(chǔ)空間的大小、數(shù)據(jù)的可靠性和讀寫(xiě)性能等)的虛擬存儲(chǔ)卷，其中后者是由分布于不同存儲(chǔ)節(jié)點(diǎn)中的邏輯存儲(chǔ)卷在按照一定的地址映射規(guī)則聚合而成，位于應(yīng)用服務(wù)器中的虛擬磁盤(pán)驅(qū)動(dòng)，根據(jù)相關(guān)元數(shù)據(jù)(對(duì)應(yīng)于圖3中的靜態(tài)路由轉(zhuǎn)發(fā)表)完成數(shù)據(jù)讀寫(xiě)的轉(zhuǎn)發(fā)。

相比于Magicstore系統(tǒng)中采用的帶外虛擬化技術(shù)，BW-VSDS系統(tǒng)的特點(diǎn)在于將數(shù)據(jù)存儲(chǔ)的管理和存儲(chǔ)資源的管理進(jìn)一步分離，其中元數(shù)據(jù)服務(wù)器只專注于系統(tǒng)存儲(chǔ)資源的管理，而各種高級(jí)數(shù)據(jù)存儲(chǔ)語(yǔ)義由每個(gè)存儲(chǔ)節(jié)點(diǎn)在本地提供，這樣徹底將元數(shù)據(jù)服務(wù)器從數(shù)據(jù)傳輸通路中釋放出來(lái)，這不僅減輕了前者的負(fù)載，提高了系統(tǒng)的可擴(kuò)展性，同時(shí)避免了Magicstore系統(tǒng)在數(shù)據(jù)讀寫(xiě)過(guò)程中訪問(wèn)動(dòng)態(tài)元數(shù)據(jù)而引入的額外網(wǎng)絡(luò)延遲開(kāi)銷(xiāo)，從而進(jìn)一步降低了端到端的數(shù)據(jù)傳輸延遲，這些相互獨(dú)立的存儲(chǔ)節(jié)點(diǎn)之間則通過(guò)相應(yīng)的分布式數(shù)據(jù)存儲(chǔ)管理協(xié)議以協(xié)作實(shí)現(xiàn)對(duì)虛擬存儲(chǔ)卷的高級(jí)數(shù)據(jù)存儲(chǔ)功能。

2.2分布式數(shù)據(jù)存儲(chǔ)管理

如前所述，帶內(nèi)虛擬存儲(chǔ)系統(tǒng)中的I/O導(dǎo)向器通過(guò)重定向應(yīng)用服務(wù)器的讀寫(xiě)請(qǐng)求在數(shù)據(jù)傳輸通路中實(shí)現(xiàn)各種高級(jí)數(shù)據(jù)存儲(chǔ)管理語(yǔ)義;而帶外虛擬存儲(chǔ)系統(tǒng)的特點(diǎn)在于元數(shù)據(jù)服務(wù)器并不直接參與數(shù)據(jù)的讀寫(xiě)，為了實(shí)現(xiàn)多個(gè)存儲(chǔ)節(jié)點(diǎn)之問(wèn)的協(xié)同工作需要某種分布式數(shù)據(jù)管理機(jī)制的支持，MagIEStore系統(tǒng)采用一種存儲(chǔ)空間的動(dòng)態(tài)影射技術(shù)，其基本原理為：為了完成一次i賣(mài)寫(xiě)請(qǐng)求，應(yīng)用服務(wù)器需首先向元數(shù)據(jù)服務(wù)器查詢完成該讀寫(xiě)操作所需的地址影射信息，因此元數(shù)據(jù)服務(wù)器雖然不支直接參與讀寫(xiě)轉(zhuǎn)發(fā)但實(shí)際控制著讀寫(xiě)操作的進(jìn)程，在這類(lèi)帶外虛擬化存儲(chǔ)系統(tǒng)中，數(shù)據(jù)存儲(chǔ)管理功能對(duì)存儲(chǔ)節(jié)點(diǎn)是透明的，其優(yōu)點(diǎn)在于實(shí)現(xiàn)簡(jiǎn)單而代價(jià)是增加了每次讀寫(xiě)操作的延遲，相反，在BW-VSDS系統(tǒng)中，智能化的存儲(chǔ)節(jié)點(diǎn)在本地實(shí)現(xiàn)對(duì)單個(gè)組成邏輯存儲(chǔ)卷的數(shù)據(jù)存儲(chǔ)管理，而多個(gè)獨(dú)立存儲(chǔ)節(jié)點(diǎn)在元數(shù)據(jù)服務(wù)器的統(tǒng)一協(xié)調(diào)下協(xié)同工作，從而不僅實(shí)現(xiàn)了對(duì)復(fù)合虛擬存儲(chǔ)卷的數(shù)據(jù)存儲(chǔ)管理，同時(shí)保證了存儲(chǔ)數(shù)據(jù)的一致性，目前BW-VSDS系統(tǒng)已實(shí)現(xiàn)了對(duì)虛擬存儲(chǔ)卷的在線擴(kuò)容、數(shù)據(jù)版本控制和在線數(shù)據(jù)復(fù)制等3種分布式數(shù)據(jù)存儲(chǔ)管理協(xié)議，下面我們主要介紹數(shù)據(jù)版本控制協(xié)議的基本工作原理

數(shù)據(jù)版本控制用以解決虛擬存儲(chǔ)卷快照創(chuàng)建時(shí)多個(gè)組成邏輯存儲(chǔ)卷的數(shù)據(jù)版本一致性問(wèn)題。

(1)系統(tǒng)管理員為滿足麻用或系統(tǒng)在線數(shù)據(jù)備份等需求，分別從應(yīng)用服務(wù)器或元數(shù)據(jù)服務(wù)器發(fā)起虛擬存儲(chǔ)卷的快照創(chuàng)建請(qǐng)求;

(2)元數(shù)據(jù)服務(wù)器在接受該請(qǐng)求后向當(dāng)前在線共享該虛擬卷的所有應(yīng)用服務(wù)器發(fā)送快照創(chuàng)建命令;

(3)后者依次執(zhí)行對(duì)前臺(tái)讀寫(xiě)請(qǐng)求的阻塞和本地緩存的同步;

(4)當(dāng)所有應(yīng)用服務(wù)器都完成(3)步操作后，元數(shù)據(jù)服務(wù)器向相關(guān)存儲(chǔ)節(jié)點(diǎn)發(fā)起對(duì)組成邏輯存儲(chǔ)卷的本地快照創(chuàng)建命令;(5-7)元數(shù)服務(wù)器在所有存儲(chǔ)節(jié)點(diǎn)完成快照創(chuàng)建操作后，通知應(yīng)用服務(wù)器快照操作完成，后者隨即釋放正被阻塞的讀寫(xiě)請(qǐng)求，由上可知一次虛擬存儲(chǔ)卷的快照創(chuàng)建操作的總用時(shí)

3系統(tǒng)實(shí)現(xiàn)

如圖5所示，BW-VSDS系統(tǒng)軟件從結(jié)構(gòu)上可劃分為全局虛擬化、本地虛擬化和存儲(chǔ)代理三個(gè)子系統(tǒng)，他們分別運(yùn)行于系統(tǒng)中的三種功能實(shí)體：元數(shù)據(jù)服務(wù)器、存儲(chǔ)節(jié)點(diǎn)和應(yīng)用服務(wù)器，本節(jié)將依次介紹這三種子系統(tǒng)各自不同的軟件組成和系統(tǒng)功能，以及三者之間的通訊機(jī)制。

3.1全局虛擬化子系統(tǒng)

該子系統(tǒng)運(yùn)行于元數(shù)據(jù)服務(wù)器是整個(gè)系統(tǒng)的核心樞紐，它一方面將位于后端存儲(chǔ)節(jié)點(diǎn)中離散存儲(chǔ)資源聚合統(tǒng)一管理;另一方面以虛擬存儲(chǔ)卷為單位為前端應(yīng)用服務(wù)器分配所需的存儲(chǔ)資源，它由全局虛擬化引擎、系統(tǒng)管理接口，Web服務(wù)器三個(gè)模塊構(gòu)成，其中全局虛擬化引擎實(shí)現(xiàn)了系統(tǒng)存儲(chǔ)資源管理機(jī)制及多種資源管理策略;系統(tǒng)管理接口將用戶管理員命令轉(zhuǎn)換為對(duì)全局虛擬化引擎的相應(yīng)操作;Web服務(wù)器對(duì)外提供功能豐富的系統(tǒng)管理界面以方便管理員在控制臺(tái)實(shí)施遠(yuǎn)程訪問(wèn)。