用寫入卸載技術降低日益龐大的能耗開支

申請免費試用、咨詢電話：400-8352-114

本文作者是來自于英國微軟劍橋研究院的Dushyanth Narayanan，Austin Donnelly以及Antony Rowstron。

能耗管理是企業(yè)數(shù)據(jù)中心的主要問題之一，它影響到服務器密度和總擁有成本。電能管理正在改變數(shù)據(jù)中心設置和管理。一些組件已經(jīng)支持電能管理功能：例如，服務器CPU可以使用低能耗狀態(tài)，動態(tài)時鐘和電壓調節(jié)來顯著減少閑置期的電能消耗。企業(yè)存儲子系統(tǒng)沒有這么先進的電能管理功能，并在數(shù)據(jù)中心消耗很大部分電能。一個企業(yè)級磁盤，比如希捷Cheetah 15K.4，即使在閑置狀態(tài)下每小時也要消耗12W電能，而雙核的英特爾Xeon處理器在閑置的時候每小時消耗24W電能。因此，在一個帶雙核處理器和兩個磁盤的設備中，磁盤和處理器的電能消耗量是一樣的。但是，在通常的數(shù)據(jù)中心中，一個核心服務器平均擁有超過13個磁盤。

簡單地購買更少的磁盤并不是常用的解決方案，因為這會導致高峰性能和/或容量的減少。另一種方案就是在磁盤閑置的時候將磁盤降速。傳統(tǒng)的觀點是服務器工作負荷閑置的時間過短，因此這種方法不能奏效。不過，通過我們對實際的服務器工作負荷的分析，我們發(fā)現(xiàn)存儲卷層面實際上有很多閑置時間。我們同時還預計--同時前面的工作已經(jīng)證實--主記憶體高速緩存可以有效地吸收讀取操作，但是對寫入的效果則不佳。因此，我們預計，當所有的傳輸都是寫入傳輸?shù)臅r候，存儲層面將很少閑置時間。我們的分析表明確實是這樣，在很大部分時間中，請求流是寫入主導的。

這個分析推動了我們稱之為寫入卸載的技術（write off-loading）。該技術可以讓寫入某卷的塊重定向到數(shù)據(jù)中心中的其他存儲。在寫入操作為主導的期間，磁盤被降速，然后寫入被重定向，使得卷的一些塊被卸載。塊的卸載是臨時的，時間有可能是數(shù)分鐘，也有可能是數(shù)小時，在主卷的磁盤恢復正常速度后，可以在后臺慢慢地重新回收這些塊。

寫入卸載改變了卷前訪問模式，使得所有的磁盤都可以在同一閑置期間降速。根據(jù)我們的觀察，這使得各個卷的平均閑置時間達到了79%。這樣做的缺點就是，如果需要對沒有卸載的塊進行讀取操作，那么隨著磁盤恢復正常速度，會有很大的延遲。不過，我們的觀察表明這種情況的幾率很小。

寫入卸載是在塊層面部署的，對文件系統(tǒng)和服務器上運行的應用程序是透明的。塊可以從任何一個卷卸載到數(shù)據(jù)中心任何可用的持續(xù)存儲，卸載后的目標地址可以是在同一個設備內也可以是在另一個設備中。存儲介質可以是磁盤、NVRAM（非易失性隨機存儲記憶體）或固態(tài)記憶體，比如閃存。卸載使用的是現(xiàn)有卷的空余容量和帶寬，因此不需要配置額外的存儲。寫入卸載還可以用于各種存儲架構。我們的跟蹤分析和評估都是基于直連式存儲（DAS）模式，在這種模式中，每臺服務器都是直接連到一套磁盤，這些磁盤通常設置為一個或多個RAID（獨立磁盤冗余陣列）陣列。DAS是小型數(shù)據(jù)中心（比如服務于單個辦公建筑物的數(shù)據(jù)中心）典型的設置。寫入卸載還可以用于網(wǎng)絡附加存儲（NAS）和存儲局域網(wǎng)（SAN）。

在進行寫入卸載的時候，一個主要的挑戰(zhàn)就是如何確保一致性。每個寫入請求會根據(jù)一系列標準（包括電能狀態(tài)和目標地址的當前負載）卸載到另外一處地方。這種每次操作都進行的負載均衡可以改善性能，但是同時也意味著同一邏輯塊的連續(xù)寫入被卸載到不同的地點。因此必須保證原始卷的一致性（即使在在發(fā)生故障的情況下）。我們的方法是，保存足夠的元數(shù)據(jù)以反映每個卸載寫入的信息，這樣就可以在故障發(fā)生后重新構建每個塊的最近一個版本。這種元數(shù)據(jù)在記憶體中予以高速緩存，處于軟狀態(tài)中，以便能夠快速訪問。

寫入卸載同時還可以維護數(shù)據(jù)的持久性和可靠性。卸載后的目標地點可以限定為遠程站點，這些遠程站點應有和卸載卷一樣的容錯機制或更強的容錯機制，即RAID卷只能卸載到其他的RAID卷。此外，卸載機制同時還支持遠程復制，也就是說，每個卸載后的寫入操作都可以發(fā)送到多個遠程站點。

卷訪問模式

傳統(tǒng)觀點認為，因為服務器工作負荷閑置時間過短，讓旋轉中的磁盤降速并不能帶來很好的效果。不過，許多企業(yè)級服務器的I/O密集程度低于TPC標桿--TPC標桿特意將標準設得比較高以測試系統(tǒng)在壓力狀態(tài)下的表現(xiàn)。在不同時間里，企業(yè)負載的起伏波動也比較大，比如在全日模式下。

為了更好地理解標準的數(shù)據(jù)中心服務器的I/O模式，我們跟蹤我們大樓里的數(shù)據(jù)中心，以便獲得每個卷在一周時間內的塊層次上的跟蹤數(shù)據(jù)。我們總共跟蹤了36個卷，包括13個服務器上的179個磁盤。系統(tǒng)啟動卷都是RAID-1的，其他都是RAID-5的。

我們認為這些服務器、數(shù)據(jù)卷和它們的訪問模式可以代表很大部分中小型企業(yè)數(shù)據(jù)中心的狀況。雖然系統(tǒng)卷的訪問模式可能依賴于服務器的操作系統(tǒng)，但是在數(shù)據(jù)卷中，訪問模式的差別很小。

我們采集了文件系統(tǒng)下每個卷的狀態(tài)，并采集了36個卷上所有塊層次讀取和寫入操作。跟蹤時間為168個小時（一周時間），從2007年2月22日GMT（格林尼治時間）下午5點開始。我們使用Event Tracing ForWindows（ETW：Windows事件跟蹤）來采集數(shù)據(jù)，每個事件都是一個I/O請求。我們可以看到每個Windows磁盤設備（也就是卷）的事件，其信息包括時間，磁盤號碼，起始邏輯塊號碼，被傳輸?shù)膲K的數(shù)量，傳輸類型（讀取或寫入）。跟蹤到的總請求數(shù)為4.34億個，其中70%是寫入請求；跟蹤數(shù)據(jù)的總大小為29GB。在跟蹤期間，總共有8.5TB的數(shù)據(jù)被讀取，2.3TB的數(shù)據(jù)被寫入。

整體上，總的工作負荷是讀取主導的：讀取與寫入請求之比為2.37。不過，在36個卷中，有19個卷的讀取/寫入比率低于1.0，而且這些卷整體的讀取/寫入比率僅有0.18。進一步的分析表明，在大部分卷中，讀取工作負荷是突發(fā)的。因此，從直覺上來看，將寫入請求從工作負荷中移去可以極大地增加閑置時間。

能耗節(jié)約 vs 性能

通過在硬件測試床中重播這些跟蹤，我們衡量了寫入卸載對能耗節(jié)約和性能的影響。我們采用的測試床使用的是典型的高性能存儲硬件：希捷Cheetah 1.5萬轉磁盤和惠普SmartArray 6400 RAID控制器。從一周的跟蹤結果中，我們重播了兩天的所有卷跟蹤：I/O請求閑置時間最長的一天和最短的一天。

我們看到，僅僅是在閑置的時候將磁盤降速就可以節(jié)約很多能源；啟用寫入卸載功能則可以節(jié)約更多的能源，而且這種能耗節(jié)約在寫入卸載范圍增大的時候也隨之增加。通過機架層面的卸載，當工作負荷比較低且寫入操作占主導的時候，一個正常速度的卷就可以吸收整個機架寫入卸載，也就是說所有其他卷都可以實現(xiàn)降速。

不過，磁盤降速會犧牲一定的性能。發(fā)送給降速卷的請求會遭到一定的延遲：雖然這種情況的發(fā)生幾率比較小，但是響應時間會變長許多。我們注意到"普通的"磁盤降速會導致讀取和寫入的響應時間增加許多，但是如果啟用機架層次的寫入卸載功能，則寫入操作的響應時間幾乎不會受到任何影響。實際上，通過在多個卷上對突發(fā)寫入的負載均衡，以及通過在遠程卷上使用寫入優(yōu)化后的日志布局，寫入卸載改善了平均響應時間。通過設備層面上的卸載，最差情況下的響應時間得到了稍微改善：這是因為有時我們一個配置良好但已經(jīng)降速的卷會遇到突發(fā)的寫入，這時只好將寫入卸載到同一設備上另一個配置稍差的卷。通過機架層面的卸載，這種情況就不是問題了，因為突發(fā)寫入可以在不同服務器上的多個卷中進行負載均衡。

降速和寫入卸載都可以在每個卷上進行（一個給定的卷可以設置成可以進行卸載，或者可以接收卸載后的寫入，或兩者皆可，或兩者皆不可），管理員不應該在承載應用程序的卷上啟用降速功能，以防應用程序遭到性能上的損失。一般來說，系統(tǒng)卷也不能啟用寫入卸載功能，以防系統(tǒng)數(shù)據(jù)（比如操作系統(tǒng)包）被卸載。

小結

由于全日制使用模式，許多服務器的I/O工作負荷在卷層面上都有較多的閑置時間。我們可以挖掘這些閑置時間，并通過使閑置卷的磁盤降速或使其進入節(jié)電模式，實現(xiàn)可觀的電能節(jié)約。如果我們能夠利用寫入卸載來延長閑置時間，那么企業(yè)存儲硬件，比如磁盤、RAID控制器等硬件，則可以通過降速節(jié)能模式實現(xiàn)更多的電能節(jié)約。