數(shù)據(jù)中心IRF2虛擬化網(wǎng)絡(luò)架構(gòu)與應(yīng)用

申請免費試用、咨詢電話：400-8352-114

網(wǎng)絡(luò)已經(jīng)成為企業(yè)IT運行的基石，隨著IT業(yè)務(wù)的不斷發(fā)展，企業(yè)的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)也不斷調(diào)整和演化，以支持上層不斷變化的應(yīng)用要求。

在傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的性能、安全、永續(xù)基礎(chǔ)上，隨著企業(yè)IT應(yīng)用的展開，業(yè)務(wù)類型快速增長,運行模式不斷變化，基礎(chǔ)網(wǎng)絡(luò)需要不斷變化結(jié)構(gòu)、不斷擴展以適應(yīng)這些變化，這給運維帶來極大壓力。傳統(tǒng)的網(wǎng)絡(luò)規(guī)劃設(shè)計依據(jù)高可靠思路，形成了冗余復(fù)雜的網(wǎng)狀網(wǎng)結(jié)構(gòu)，如圖1所示。

企業(yè)數(shù)據(jù)中心IT基礎(chǔ)架構(gòu)網(wǎng)狀網(wǎng) 結(jié)構(gòu)化網(wǎng)狀網(wǎng)的物理拓?fù)湓诒３指呖煽俊⒐收先蒎e、提升性能上有著極好的優(yōu)勢，是通用設(shè)計規(guī)則。這樣一種依賴于純物理冗余拓?fù)涞募軜?gòu)，在實際的運行維護中卻同時也承擔(dān)了極其繁冗的工作量。

多環(huán)的二層接入、Full Mesh的路由互聯(lián)，網(wǎng)絡(luò)中各種鏈路狀態(tài)變化、節(jié)點運行故障都會引起預(yù)先規(guī)劃配置狀態(tài)的變遷，帶來運維診斷的復(fù)雜性;而應(yīng)用的擴容、遷移對網(wǎng)絡(luò)涉及更多的改造，復(fù)雜的網(wǎng)絡(luò)環(huán)境下甚至可能影響無關(guān)業(yè)務(wù)系統(tǒng)的正常運行。 因此，傳統(tǒng)網(wǎng)絡(luò)技術(shù)在支撐業(yè)務(wù)發(fā)展的同時，對運維人員提出的挑戰(zhàn)是越來越嚴(yán)峻的。

隨著上層應(yīng)用不斷發(fā)展，虛擬化技術(shù)、大規(guī)模集群技術(shù)廣泛應(yīng)用到企業(yè)IT中，作為底層基礎(chǔ)架構(gòu)的網(wǎng)絡(luò)，也進入新一輪技術(shù)革新時期。H3C IRF2以極大簡化網(wǎng)絡(luò)邏輯架構(gòu)、整合物理節(jié)點、支撐上層應(yīng)用快速變化為目標(biāo)，實現(xiàn)IT網(wǎng)絡(luò)運行的簡捷化，改變了傳統(tǒng)網(wǎng)絡(luò)規(guī)劃與設(shè)計的繁冗規(guī)則。

1. 數(shù)據(jù)中心的應(yīng)用架構(gòu)與服務(wù)器網(wǎng)絡(luò)

對于上層應(yīng)用系統(tǒng)而言，當(dāng)前主流的業(yè)務(wù)架構(gòu)主要基于C/S與B/S架構(gòu)，從部署上，展現(xiàn)為多層架構(gòu)的方式，如圖2所示，常見應(yīng)用兩層、三層、四層的部署方式都有，依賴于服務(wù)器處理能力、業(yè)務(wù)要求和性能、擴展性等多種因素。

多層應(yīng)用架構(gòu)

基礎(chǔ)網(wǎng)絡(luò)的構(gòu)建是為上層應(yīng)用服務(wù)，因此，針對應(yīng)用系統(tǒng)的不同要求，數(shù)據(jù)中心服務(wù)器區(qū)的網(wǎng)絡(luò)架構(gòu)提供了多種適應(yīng)結(jié)構(gòu)，圖3展示了四種H3C提供的常用網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)：

多種數(shù)據(jù)中心ServerFarm結(jié)構(gòu)

根據(jù)H3C的數(shù)據(jù)中心架構(gòu)理解和產(chǎn)品組合能力，可提供獨立的網(wǎng)絡(luò)、安全、優(yōu)化設(shè)備組網(wǎng)，也可以提供基于框式交換平臺集成安全、優(yōu)化的網(wǎng)絡(luò)架構(gòu)。ServerFarm 1和2是一種扁平化架構(gòu)，多層應(yīng)用服務(wù)器(WEB、App、DB)群共用同一網(wǎng)關(guān)，適用于一般規(guī)模服務(wù)器群，可擴展性有一定限制，網(wǎng)關(guān)層控制策略比較復(fù)雜;ServerFarm 3和4是一種展開式架構(gòu)，與應(yīng)用的多層訪問架構(gòu)保持了一致性，具有更清晰的數(shù)據(jù)流路徑，更強的業(yè)務(wù)擴展能力和良好的策略控制能力。

2. 數(shù)據(jù)中心ServerFarm 交換網(wǎng)絡(luò)IRF2虛擬化設(shè)計方案

對于傳統(tǒng)的數(shù)據(jù)中心服務(wù)器區(qū)交換網(wǎng)絡(luò)(如圖4所示)，針對無環(huán)設(shè)計和有環(huán)設(shè)計有多種選擇方案。

傳統(tǒng)的多種服務(wù)器區(qū)接入網(wǎng)絡(luò)拓?fù)?/P>

在數(shù)據(jù)中心更為通用的是采用環(huán)路接入拓?fù)淠Ｊ?，以生成樹協(xié)議(MSTP)配合第一跳網(wǎng)關(guān)冗余協(xié)議(VRRP)提供服務(wù)器接入的可靠性。同時，服務(wù)器以多網(wǎng)卡連接網(wǎng)絡(luò)以進一步提供冗余能力。圖5為常用的三種接入設(shè)計方法，雖然這幾種方式已經(jīng)成為數(shù)據(jù)中心接入設(shè)計的最佳實踐，但從網(wǎng)絡(luò)的拓?fù)湓O(shè)計、環(huán)路規(guī)避、冗余備份等角度考慮，設(shè)計過程是極其復(fù)雜的。如VLAN的規(guī)劃、生成樹實例的拓?fù)渥枞?、網(wǎng)關(guān)冗余選擇，包括相應(yīng)技術(shù)的參數(shù)選擇、配置，故障切換的預(yù)期判斷等，需要一套十分詳細(xì)的流程，而在后期網(wǎng)絡(luò)運行維護過程中面臨的壓力和復(fù)雜度是顯而易見的。

生成樹+VRRP的設(shè)計方式

引入虛擬化設(shè)計方式之后，在不改變傳統(tǒng)設(shè)計的網(wǎng)絡(luò)物理拓?fù)?、保證現(xiàn)有布線方式的前提下，以IRF2的技術(shù)實現(xiàn)網(wǎng)絡(luò)各層的橫向整合，即將交換網(wǎng)絡(luò)每一層的兩臺、多臺物理設(shè)備使用IRF2技術(shù)形成一個統(tǒng)一的交換架構(gòu)，減少了邏輯的設(shè)備數(shù)量，如圖6所示

IRF2對網(wǎng)絡(luò)橫向虛擬化整合過程

在虛擬化整合過程中，被整合設(shè)備的互聯(lián)電纜成為IRF2的內(nèi)部互聯(lián)電纜，對IRF2系統(tǒng)外部就不可見了.原來兩臺設(shè)備之間的捆綁互聯(lián)端口歸屬的VLAN三層接口網(wǎng)段均能被其它設(shè)備可達(dá)(如ping通)，而歸屬到IRF2系統(tǒng)內(nèi)部后，不對互聯(lián)電纜接口進行IP配置，因此隔離于IRF2外部網(wǎng)絡(luò)。

虛擬化整合后的IRF2系統(tǒng)，對外表現(xiàn)為單臺物理設(shè)備，因此，在保持基本網(wǎng)絡(luò)互聯(lián)條件下(如圖6左圖所示)，可將一對IRF2系統(tǒng)之間的多條線纜進行鏈路捆綁聚合動作(如圖6中圖所示)，從而將不同網(wǎng)絡(luò)層之間的網(wǎng)狀互聯(lián)簡化成單條邏輯鏈路(如圖6右圖所示)。

以IRF2組網(wǎng)后，整個網(wǎng)絡(luò)的配置管理情況發(fā)生了很大變化。原來的多臺物理設(shè)備組成為一臺邏輯設(shè)備，所有IRF2成員可以統(tǒng)一管理配置。因為只有一個管理IP，所以不需要登陸到不同設(shè)備各自管理運維，可以直接對所有端口、VLAN等特性進行配置，如圖7所示。

IRF2組網(wǎng)的網(wǎng)絡(luò)配置管理方式

對于接入層設(shè)備來說，以Top of Rack接入為例：一般使用兩臺接入交換機對同類業(yè)務(wù)系統(tǒng)服務(wù)器進行接入，以滿足服務(wù)器雙網(wǎng)卡的上行要求。使用IRF2進行網(wǎng)絡(luò)簡化時，對網(wǎng)絡(luò)匯聚層或服務(wù)器網(wǎng)關(guān)層的虛擬化整合是必要的，因為這是消除生成樹和VRRP的關(guān)鍵網(wǎng)絡(luò)層。對接入層網(wǎng)絡(luò)來說，有如圖8所示的兩種選擇：

接入層不同的IRF2應(yīng)對方式

第一種，保持原有網(wǎng)絡(luò)拓?fù)浜驮O(shè)備獨立性不變，如圖8方式A，通過IRF2將匯聚網(wǎng)關(guān)層虛擬化，Top of Rack交換機雙歸屬上聯(lián)的兩條鏈路直接進行捆綁，消除了環(huán)路，服務(wù)器網(wǎng)卡歸屬到獨立的兩臺交換機。

第二種，在Top of Rack兩臺交換機之間增加IRF2互聯(lián)線纜，使得接入層也實現(xiàn)虛擬化整合，如圖8方式B，服務(wù)器雙網(wǎng)卡連接的兩臺交換機虛擬化成一臺，這兩臺交換機的所有上聯(lián)線纜可實現(xiàn)跨設(shè)備的捆綁，進一步減少邏輯鏈路數(shù)。方式B還可實現(xiàn)更多的接入層設(shè)備整合，網(wǎng)絡(luò)物理設(shè)備與邏輯節(jié)點的整合比可大大超過2:1。

對于服務(wù)器而言，上行到IRF2系統(tǒng)的所有網(wǎng)卡如同接入一臺交換機，可滿足各種工作模式，特別是服務(wù)器的雙網(wǎng)卡捆綁方式，如圖9所示。除了支持網(wǎng)卡主備模式，對于網(wǎng)卡需要捆綁(LACP功能)的業(yè)務(wù)要求，由于IRF2本身可支持跨設(shè)備的鏈路聚合，因此服務(wù)器多網(wǎng)卡上行到一個IRF2系統(tǒng)的不同交換機均可實現(xiàn)捆綁，實現(xiàn)網(wǎng)卡吞吐帶寬增強和提升可靠性。

基于IRF2的服務(wù)器多網(wǎng)卡適配

服務(wù)器雙網(wǎng)卡接入網(wǎng)絡(luò)有多種模式：網(wǎng)卡的主備、網(wǎng)卡雙活。雙網(wǎng)卡主備方式下，服務(wù)器兩個網(wǎng)卡分別接入IRF2的不同交換機成員，實際等同于接在同一臺交換機下，因此網(wǎng)卡鏈路狀態(tài)發(fā)生變化時，IRF2系統(tǒng)能夠立刻感知，網(wǎng)卡業(yè)務(wù)切換后，對交換機IRF2系統(tǒng)只是表現(xiàn)為網(wǎng)卡地址遷移到同一臺交換機的不同物理端口。由于IRF2交換系統(tǒng)對上層網(wǎng)絡(luò)隔離了地址端口遷移(對上層設(shè)備來說，服務(wù)器地址總是在與接入層IRF2的上行鏈路對應(yīng)的網(wǎng)絡(luò)接口下，并沒有漂移)，表項變化只在接入層設(shè)備處理，因此網(wǎng)絡(luò)能夠快速適應(yīng)網(wǎng)卡流量切換。網(wǎng)卡雙活模式下，兩塊網(wǎng)卡可以工作在聚合捆綁方式，則可將雙網(wǎng)卡分別連接IRF2的不同交換機成員接入端口，并可以基于IRF2將不同交換機上的端口進行聚合捆綁，由于雙網(wǎng)卡具有相同的Mac和IP地址，而IRF2將不同交換機端口聚合捆綁后，聚合組內(nèi)不同端口下不會存在地址漂移，網(wǎng)卡地址在IRF2上只被作為分布式設(shè)備的虛擬聚合鏈路下的一個地址，優(yōu)化了雙網(wǎng)卡組網(wǎng)方式。

在實施數(shù)據(jù)中心IRF2架構(gòu)中，VLAN和IP的設(shè)計變得十分簡單，在網(wǎng)絡(luò)各層互聯(lián)上使用鏈路捆綁方式在多條物理鏈路上虛擬出了一個聚合層，也就是捆綁后的邏輯鏈路，因此聚合組替代了原來的物理端口成為VLAN設(shè)計的考慮因素，因為聚合/捆綁后的交換機端口群(可能分布在IRF2不同的成員上)被視為單個邏輯端口使用。

由于網(wǎng)絡(luò)采用IRF2設(shè)計中，已經(jīng)消除了環(huán)路，在不考慮生成樹協(xié)議條件下，VLAN的設(shè)計在滿足業(yè)務(wù)連通性上已經(jīng)十分簡單。

基于IRF2的VLAN、IP設(shè)計

如圖10所示，在接入層配置了A-H共8個接入VLAN，用于數(shù)據(jù)中心8類服務(wù)器接入，分屬到兩個業(yè)務(wù)網(wǎng)關(guān)層。核心層與網(wǎng)關(guān)層(匯聚層)均采用IRF2實現(xiàn)每層兩臺設(shè)備的虛擬化整合，接入層分別采用兩種方式：左邊模塊Top of Rack接入不進行IRF2虛擬化;右邊模塊采用IRF2虛擬化橫向整合。

對于VLAN A，服務(wù)器上聯(lián)到兩臺Top of Rack交換機，每臺交換機雙上行捆綁到網(wǎng)關(guān)，邏輯上形成了一個倒V的拓?fù)?，VLAN A在網(wǎng)關(guān)的IRF2系統(tǒng)上只需配置一個IP地址10.1.1.1/24。

對于VLAN H，由于右邊模塊下的Top of Rack交換機以IRF2形式接入服務(wù)器，服務(wù)器的雙網(wǎng)卡所在的兩個端口只表現(xiàn)為一臺交換機同一VLAN H的兩個端口，上行只有一個邏輯鏈路，因此VLAN H簡單地通過此鏈路終結(jié)在匯聚層網(wǎng)關(guān)上，只需配置一個IP地址10.2.4.1/24. 核心層與匯聚層之間的連接也簡化為只通過一個VLAN進行三層互聯(lián)了，將本來full mesh全連接的網(wǎng)狀網(wǎng)變成了簡單的單邏輯鏈路連接。

IRF2網(wǎng)絡(luò)架構(gòu)對路由設(shè)計的簡化

圖11左圖的網(wǎng)絡(luò)結(jié)構(gòu)中，三層互聯(lián)鏈路成網(wǎng)狀，所需網(wǎng)段多，且一般一條物理鏈路對應(yīng)一個互聯(lián)網(wǎng)段，在運行動態(tài)路由、使能接入環(huán)路生成樹條件下，任意物理鏈路的故障(Up/Down)都會引起網(wǎng)絡(luò)路由的振蕩、VRRP狀態(tài)變化或生成樹的重新計算，同時可能引起應(yīng)用系統(tǒng)業(yè)務(wù)流的中斷(在協(xié)議計算收斂條件下的業(yè)務(wù)恢復(fù)時間可達(dá)到數(shù)秒甚至分鐘級)。

而圖11右圖采用IRF2的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)節(jié)點之間以多鏈路捆綁組模式互聯(lián)(普通方式下為1～4條物理鏈路)，捆綁組中任意一條物理鏈路發(fā)生故障(引起Up/Down)，由于整個捆綁組在邏輯上仍然有效，接口狀態(tài)正常，整個網(wǎng)絡(luò)拓?fù)錄]有變化，因此不會引發(fā)上層路由協(xié)議重計算，極大保持了網(wǎng)絡(luò)穩(wěn)定運行。同時基于IRF2的網(wǎng)絡(luò)架構(gòu)所需互聯(lián)IP大量減少，減少了網(wǎng)絡(luò)可管理的IP對象，也消除了潛在隱患。此結(jié)構(gòu)中，動態(tài)路由設(shè)計面對的網(wǎng)絡(luò)區(qū)域，也因架構(gòu)橫向整合而使得動態(tài)路由區(qū)域可能變成了簡單的鏈狀，參與路由計算的節(jié)點大量減少，設(shè)計上更簡單和易穩(wěn)定。

面向server farm多層應(yīng)用架構(gòu)的IRF2組網(wǎng)

對于數(shù)據(jù)中心應(yīng)用的多層架構(gòu)，按圖5的組網(wǎng)模式，采用IRF2技術(shù)進行改良。如圖12所示，端到端的IRF2設(shè)計可以將大規(guī)模數(shù)據(jù)中心網(wǎng)狀網(wǎng)變成線性/樹狀輻射網(wǎng)，在網(wǎng)絡(luò)每一層具有靈活擴展能力、簡單配置管理方式，提升網(wǎng)絡(luò)的運行管理效率。 對于數(shù)據(jù)中心已有核心，擴建業(yè)務(wù)模塊的網(wǎng)絡(luò)設(shè)計，可在匯聚/網(wǎng)關(guān)層以下的網(wǎng)絡(luò)層次使用IRF2技術(shù)進行構(gòu)建。

在現(xiàn)有數(shù)據(jù)中心采用IRF2架構(gòu)擴建新業(yè)務(wù)模塊

如圖13左圖，新建業(yè)務(wù)模塊的網(wǎng)絡(luò)連接與已有業(yè)務(wù)模塊區(qū)可采用相同連接拓?fù)?，新建業(yè)務(wù)模塊通過IRF2消除本模塊內(nèi)的環(huán)路設(shè)計，網(wǎng)關(guān)/匯聚節(jié)點創(chuàng)建兩個接口分別與核心兩臺設(shè)備連接，如圖15右圖，出入此新建業(yè)務(wù)模塊的訪問流量可通過兩條(或多條)等價路由實現(xiàn)連通。

3. 如何通過IRF2網(wǎng)絡(luò)構(gòu)建適應(yīng)VMotion的虛擬化應(yīng)用

VMware的VMotion是當(dāng)前服務(wù)器虛擬化技術(shù)的熱點內(nèi)容，主要好處是解決了業(yè)務(wù)在運行過程中的動態(tài)遷移問題，使得應(yīng)用可以根據(jù)計算容量需求動態(tài)調(diào)整計算資源。

VMoiton過程示意

如圖14所示，在VMotion過程中，選擇好目的物理服務(wù)器后，啟動遷移流程，VMWare虛擬系統(tǒng)將處于工作運行中的虛擬機(VM)的實時狀態(tài)，包括內(nèi)存、寄存器狀態(tài)等信息同步拷貝到目的VM，并激活目的VM從而完成遷移。

VMotion過程對于網(wǎng)絡(luò)設(shè)計本無特殊要求，但遷移的范圍要求網(wǎng)絡(luò)二層連通，即源VM與目的VM在同一VLAN內(nèi)，這就要求VM虛擬化應(yīng)用所在的網(wǎng)絡(luò)是一個二層網(wǎng)絡(luò)。如圖15所示，VMotion的網(wǎng)絡(luò)中存在三種VLAN：管理VLAN如VLAN 10，遷移VMotion VLAN如VLAN 20，VM業(yè)務(wù)VLAN如VLAN 105/106。

VMotion的二層VLAN類型

傳統(tǒng)MSTP的二層設(shè)計在小范圍網(wǎng)絡(luò)環(huán)境也基本滿足VMotion的應(yīng)用要求，但是隨著VM 二層域規(guī)模的不斷擴大，有些企業(yè)甚至要建數(shù)據(jù)中心范圍內(nèi)的二層網(wǎng)絡(luò)，如果采用MSTP+VRRP構(gòu)建數(shù)據(jù)中心網(wǎng)絡(luò)，不論是前期規(guī)劃還是建成后的運營都會極其復(fù)雜。

基于IRF2的大規(guī)模VMotion網(wǎng)絡(luò)架構(gòu)

圖16提供了端到端全面構(gòu)建VMotion網(wǎng)絡(luò)的方案。由于IRF2消除了環(huán)路和冗余網(wǎng)關(guān)協(xié)議帶來的問題，整個網(wǎng)絡(luò)可搭建一個大范圍的二層互聯(lián)平臺，在此平臺上合理部署相應(yīng)的管理VLAN、VMotion VLAN和VM業(yè)務(wù)VLAN即可滿足虛擬化業(yè)務(wù)需求。

在虛擬化環(huán)境中遇到的另一個問題是安全策略問題，有外部流量訪問VM的安全策略，也有VM之間的安全策略。對此存在不同的部署意見，有的認(rèn)為安全策略需要部署到服務(wù)器內(nèi)部的vSwitch上，有的建議由安全設(shè)備如防火墻集中執(zhí)行。

安全策略部署在服務(wù)器內(nèi)的vsSwitch上，便于做到控制精細(xì)，并且在VM的遷移過程中，相應(yīng)的控制策略也能跟隨虛擬化系統(tǒng)軟件的遷移功能隨著VM到達(dá)相應(yīng)的vSwitch。但根據(jù)思博倫測試專家的觀點，策略在vSwitch上部署過多對于vSwitch性能有一定影響。同時，對大二層網(wǎng)絡(luò)，策略過于分散，不利于運行維護。并且在當(dāng)前企業(yè)數(shù)據(jù)中心運維架構(gòu)中，服務(wù)器虛擬化帶來的Switch管理歸屬成為問題。(是網(wǎng)絡(luò)運營部門?還是應(yīng)用運營部門?) 另一種集中式的控制策略部署在網(wǎng)絡(luò)設(shè)備上。對IRF2構(gòu)建的網(wǎng)絡(luò)，如果對外部訪問VM的流量進行策略控制，則可在所有VM的網(wǎng)關(guān)層設(shè)置入方向的ACL控制策略，如圖16所示，控制集中、便于策略維護。