監(jiān)理公司管理系統(tǒng) | 工程企業(yè)管理系統(tǒng) | OA系統(tǒng) | ERP系統(tǒng) | 造價(jià)咨詢管理系統(tǒng) | 工程設(shè)計(jì)管理系統(tǒng) | 簽約案例 | 購(gòu)買價(jià)格 | 在線試用 | 手機(jī)APP | 產(chǎn)品資料
X 關(guān)閉

向FCoE遷徙的思考

申請(qǐng)免費(fèi)試用、咨詢電話:400-8352-114

文章來(lái)源:泛普軟件

T11技術(shù)委員會(huì)下設(shè)的FC-BB-5工作組早在2009年6月就一致通過(guò)了FCoE的最終標(biāo)準(zhǔn),并且T11技術(shù)委員會(huì)全體會(huì)議已將這項(xiàng)FC-BB-5標(biāo)準(zhǔn)提交給國(guó)際信息技術(shù)標(biāo)準(zhǔn)委員會(huì)(INCITS)審核,作為ANSI標(biāo)準(zhǔn)做進(jìn)一步的處理。

據(jù)光纖通道行業(yè)協(xié)會(huì)(FCIA)聲稱,如今得到OEM認(rèn)證的FCoE產(chǎn)品均是基于已完成的標(biāo)準(zhǔn),也就是說(shuō),用戶們從一開始就能夠得益于標(biāo)準(zhǔn)化的FCoE解決方案。不過(guò),那是將來(lái)的事,目前在大企業(yè)的存儲(chǔ)部門中,F(xiàn)CoE仍處于初期發(fā)展階段。

據(jù)去年4月進(jìn)行的一項(xiàng)調(diào)查顯示,約有9%的調(diào)查對(duì)象表示,他們計(jì)劃在2009年試用FCoE,而33%的人計(jì)劃到2010年或2011年部署FCoE。不過(guò),大多數(shù)的人(58%)表示,他們目前還沒(méi)有具體的部署計(jì)劃。前不久,同樣的調(diào)查顯示,計(jì)劃今年部署FCoE的用戶數(shù)量略有增長(zhǎng),為13%,但幾乎57%的用戶沒(méi)有做任何改變,他們?nèi)匀粵](méi)有具體的部署計(jì)劃。

不過(guò),行業(yè)分析師對(duì)此并不意外,因?yàn)檫@項(xiàng)技術(shù)目前仍處于起步階段。據(jù)IDC預(yù)測(cè),融合網(wǎng)絡(luò)試驗(yàn)項(xiàng)目將在2010年有所增多,預(yù)計(jì)在2011年會(huì)得到大規(guī)模的部署。IDC存儲(chǔ)系統(tǒng)副總裁Richard Villars認(rèn)為,F(xiàn)CoE和融合增強(qiáng)型以太網(wǎng)(CEE)技術(shù)的采用絕不僅僅是一種技術(shù)過(guò)渡,而是改變企業(yè)構(gòu)建和運(yùn)營(yíng)數(shù)據(jù)中心的方式這一總體目標(biāo)的一部分。他說(shuō):“服務(wù)器變得越來(lái)越小,服務(wù)器外面的所有電纜越來(lái)越密集地被捆扎在一起?,F(xiàn)在已出現(xiàn)了模塊化系統(tǒng)部署模式,而數(shù)據(jù)中心的架構(gòu)師們應(yīng)該開始為未來(lái)設(shè)計(jì)而規(guī)劃了,要為使用這些融合技術(shù)的環(huán)境而規(guī)劃,確定如何做到布線和供電最優(yōu)化?!?/P>

降低布線成本和復(fù)雜性

標(biāo)準(zhǔn)制定機(jī)構(gòu)將要批準(zhǔn)基于以太網(wǎng)的光纖通道(FCoE)和融合增強(qiáng)型以太網(wǎng)(CEE,又叫數(shù)據(jù)中心橋接即DCB)成為官方標(biāo)準(zhǔn),在同一個(gè)以太網(wǎng)網(wǎng)絡(luò)上傳送局域網(wǎng)流量和光纖通道SAN流量將隨之迅速變成現(xiàn)實(shí)。

伴隨局域網(wǎng)和SAN流量一并傳輸而來(lái)的是可以大大減少把服務(wù)器連接至數(shù)據(jù)中心的存儲(chǔ)資源所需的電纜數(shù)量。咨詢顧問(wèn)聲稱,現(xiàn)在可以開始為統(tǒng)一網(wǎng)絡(luò)架構(gòu)而做規(guī)劃了。

以太網(wǎng)有缺點(diǎn),它被認(rèn)為是一種“盡力”(best-effort)網(wǎng)絡(luò),它并不總是按序傳送數(shù)據(jù),甚至可能因網(wǎng)絡(luò)堵塞而丟失數(shù)據(jù)包。存儲(chǔ)網(wǎng)絡(luò)要求數(shù)據(jù)按序傳送,并且完好無(wú)損,這就是為什么當(dāng)初要開發(fā)高性能的光纖通道協(xié)議,建立一個(gè)單獨(dú)的“無(wú)損”(lossless)網(wǎng)絡(luò),以便在服務(wù)器與存儲(chǔ)設(shè)備之間傳送SCSI流量。

結(jié)合這兩種網(wǎng)絡(luò),在IP網(wǎng)絡(luò)上傳送存儲(chǔ)流量需要兩個(gè)要素:萬(wàn)兆以太網(wǎng)和以太網(wǎng)的改進(jìn),從而在不影響性能的情況下防止數(shù)據(jù)丟失。這些改進(jìn)統(tǒng)稱為CEE或DCB,目前正由IEEE 802.1工作組下設(shè)的數(shù)據(jù)中心橋接(DCB)任務(wù)組來(lái)敲定,預(yù)計(jì)今年年底前會(huì)完成。

在萬(wàn)兆以太網(wǎng)上實(shí)施CEE,便于部署FCoE?;谝蕴W(wǎng)的光纖通道可將光纖通道幀封裝成以太網(wǎng)幀。FCoE標(biāo)準(zhǔn)允許存儲(chǔ)流量在萬(wàn)兆以太網(wǎng)通道上可靠地傳送,從而實(shí)現(xiàn)統(tǒng)一網(wǎng)絡(luò)架構(gòu)。

向?qū)嵤┤诤匣蚪y(tǒng)一網(wǎng)絡(luò)架構(gòu)邁出的第一步是,由傳統(tǒng)的網(wǎng)絡(luò)適配器改用融合網(wǎng)絡(luò)適配器(CNA)卡。如果使用目前的技術(shù),服務(wù)器通常需要傳送以太網(wǎng)流量的網(wǎng)卡和傳送存儲(chǔ)流量的主機(jī)總線適配器,各自需要多條電纜。

大多數(shù)服務(wù)器利用千兆以太網(wǎng)銅纜來(lái)進(jìn)行連接,從服務(wù)器到接入交換機(jī)的電纜會(huì)多達(dá)10條。導(dǎo)致電纜密密麻麻的原因有很多。多核處理器提供了強(qiáng)大的處理能力,需要大量的網(wǎng)絡(luò)帶寬。

由于許多企業(yè)部署數(shù)量眾多的虛擬服務(wù)器或虛擬機(jī),千兆以太網(wǎng)已成為數(shù)據(jù)中心的瓶頸。在一些情況下,服務(wù)器管理員在每臺(tái)服務(wù)器上運(yùn)行的應(yīng)用程序超過(guò)20個(gè)。這個(gè)現(xiàn)象需為每臺(tái)物理服務(wù)器確保大量帶寬。

FCoE是融合或統(tǒng)一網(wǎng)絡(luò)概念中的一個(gè)重要基礎(chǔ),但統(tǒng)一網(wǎng)絡(luò)架構(gòu)完全基于無(wú)損萬(wàn)兆以太網(wǎng),而萬(wàn)兆以太網(wǎng)允許使用FCoE,又支持使用其他存儲(chǔ)/網(wǎng)絡(luò)協(xié)議,如iSCSI、CIFS和NFS。

統(tǒng)一架構(gòu)最初會(huì)影響數(shù)據(jù)中心網(wǎng)絡(luò)的頭幾米。服務(wù)器會(huì)使用FCoE,而CEE以10Gbps的速度把服務(wù)器連接至第一個(gè)中繼段,即接入服務(wù)器。隨后使用光纖通道,流量轉(zhuǎn)向到局域網(wǎng)或現(xiàn)有的SAN。暫且不說(shuō)FCoE,單單萬(wàn)兆以太網(wǎng)就有望大大減少把服務(wù)器連接至交換機(jī)所需的電纜數(shù)量。

虛擬化促進(jìn)FCoE應(yīng)用

隨著FCoE標(biāo)準(zhǔn)即將落實(shí)到位,采用虛擬化存儲(chǔ)的公司有望獲得由這項(xiàng)存儲(chǔ)協(xié)議帶來(lái)的好處。

據(jù)TheInfoPro信息技術(shù)咨詢公司的一項(xiàng)新研究顯示,基于以太網(wǎng)的光纖通道存儲(chǔ)協(xié)議可能會(huì)改善虛擬化項(xiàng)目,因?yàn)樗纱_保虛擬機(jī)有更強(qiáng)的移動(dòng)性,《財(cái)富》1000強(qiáng)公司中已有1/4以上的公司計(jì)劃采用它。TheInfoPro公司存儲(chǔ)研究部門執(zhí)行董事Rob Stevenson表示,很少有公司已開始使用FCoE產(chǎn)品,考慮到FCoE標(biāo)準(zhǔn)還沒(méi)有正式敲定,因此這不足為奇。他表示,但大企業(yè)的存儲(chǔ)主管們都期盼著FCoE將為虛擬化服務(wù)器帶來(lái)的種種好處。

Rob Stevenson表示,F(xiàn)CoE有望簡(jiǎn)化布線方案,從而將減少把一個(gè)虛擬機(jī)從一臺(tái)服務(wù)器轉(zhuǎn)移到另一臺(tái)服務(wù)器所需的實(shí)際工作量。他說(shuō):“要是虛擬機(jī)的連接點(diǎn)比較少,就有更強(qiáng)的移動(dòng)性。”即便在虛擬環(huán)境下,“硬件底層還是有需要合理配置的物理接口?!?/P>

TheInfoPro在去年11月到今年4月調(diào)查了303家《財(cái)富》1000強(qiáng)公司的存儲(chǔ)主管。當(dāng)被問(wèn)及哪些應(yīng)用會(huì)從FCoE得到最大好處時(shí),調(diào)查對(duì)象把虛擬化服務(wù)器列在了首位,其次是數(shù)據(jù)庫(kù)、刀片服務(wù)器、備份環(huán)境、微軟應(yīng)用程序、災(zāi)難恢復(fù)和數(shù)據(jù)倉(cāng)庫(kù)。他們之后的報(bào)告聲稱,存儲(chǔ)主管們通常認(rèn)為FCoE“會(huì)是將來(lái)主導(dǎo)性的存儲(chǔ)傳輸協(xié)議”,但如今采用者的數(shù)量寥寥無(wú)幾。只有3%的調(diào)查對(duì)象已經(jīng)在使用FCoE技術(shù),另有26%在試用、評(píng)估或打算在近期或遠(yuǎn)期部署FCoE。Rob Stevenson強(qiáng)調(diào),國(guó)立實(shí)驗(yàn)室、電信公司和一些技術(shù)公司在試用FCoE,但現(xiàn)在還沒(méi)有到主流用戶采用或用于關(guān)鍵任務(wù)應(yīng)用領(lǐng)域的階段。

據(jù)Rob Stevenson聲稱,改用FCoE帶來(lái)了無(wú)損協(xié)議具有的優(yōu)點(diǎn),但這項(xiàng)尚未完成的標(biāo)準(zhǔn)還沒(méi)有人們預(yù)期的多路徑和負(fù)載均衡等功能。因而,如今的FCoE像是一輛能開的汽車,但還沒(méi)有安全氣囊和后視鏡。他說(shuō):“我們采訪企業(yè)時(shí),它們表示需要一套完整的功能?!?/P>

雖然這項(xiàng)標(biāo)準(zhǔn)還沒(méi)有完成,但思科、博科、EMC和NetApp等公司已在發(fā)布產(chǎn)品,為整個(gè)行業(yè)向FCoE邁進(jìn)打下基礎(chǔ)。比方說(shuō),博科最近發(fā)布了一款交換機(jī)和多款網(wǎng)絡(luò)適配器,它們可以把基于以太網(wǎng)的光纖通道和融合增強(qiáng)型以太網(wǎng)(CEE)整合到一個(gè)平臺(tái)上;但該公司表示,預(yù)計(jì)要到2011年才會(huì)出現(xiàn)大規(guī)模采用。

Rob Stevenson表示,用戶通常認(rèn)為NetApp和思科這兩家廠商能提供最佳的FCoE技術(shù)。TheInfoPro表示,用戶在等萬(wàn)兆以太網(wǎng)在整個(gè)數(shù)據(jù)中心得到全面部署之后,才會(huì)采用FCoE。這至少需要兩三年的時(shí)間。

這家研究公司撰文道:“在可以預(yù)測(cè)的將來(lái),光纖通道仍將是首選的主導(dǎo)技術(shù);但FCoE在簡(jiǎn)化布線、降低基礎(chǔ)設(shè)施成本和簡(jiǎn)化管理等方面具有優(yōu)勢(shì),這讓它有望成為下一代存儲(chǔ)架構(gòu)?!?/P>

FCoE與iSCSI孰優(yōu)孰劣

雖然FCoE搶走了風(fēng)頭,但支持者認(rèn)為,基于以太網(wǎng)的iSCSI(iSCSI over Ethernet)融合或統(tǒng)一數(shù)據(jù)中心中服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)的功能同樣強(qiáng)大。

據(jù)光纖通道和iSCSI的擁護(hù)者聲稱,統(tǒng)一數(shù)據(jù)中心的關(guān)鍵組件是無(wú)損以太網(wǎng),不過(guò)兩個(gè)陣營(yíng)之間的信仰大戰(zhàn)一觸即發(fā):到底誰(shuí)能最有效地把存儲(chǔ)部分集成到基于以太網(wǎng)的統(tǒng)一數(shù)據(jù)中心架構(gòu)?

Craig Chapman是系統(tǒng)集成商MCPc的思科統(tǒng)一計(jì)算系統(tǒng)戰(zhàn)略主管,他說(shuō):“大家都認(rèn)為,如果你反對(duì)iSCSI或反對(duì)光纖通道,那你一定是個(gè)偏執(zhí)的人。不能迷戀于某一協(xié)議,也不能死抱著某一種方法,而是應(yīng)根據(jù)實(shí)際情況,選擇最合適的解決方案?!?/P>

Craig Chapman表示,作為統(tǒng)一數(shù)據(jù)中心架構(gòu)的一種方法,iSCSI對(duì)FCoE不構(gòu)成競(jìng)爭(zhēng)關(guān)系。兩者都占有一席之地,如果企業(yè)已經(jīng)部署了其中某一項(xiàng)技術(shù)的話,就更是如此。

光纖通道通常受到大企業(yè)的青睞,大企業(yè)對(duì)延遲和丟包的容忍度低,又要求很高的應(yīng)用程序吞吐量。但光纖通道要有自己的基礎(chǔ)設(shè)施,因此提高了成本。

中小型企業(yè)可能會(huì)選擇成本較低的iSCSI,它對(duì)延遲的容忍度高于光纖通道,但是“有損耗”,Craig Chapman說(shuō)。

IDC公司連續(xù)性、災(zāi)難恢復(fù)和存儲(chǔ)協(xié)調(diào)部門的研究經(jīng)理Steven Scully說(shuō):“你會(huì)在一些企業(yè)看到iSCSI,特別是用于復(fù)制解決方案和遠(yuǎn)程辦公室安裝。從本質(zhì)上說(shuō),這些客戶會(huì)是龐大的FCoE用戶,但另一方面,你在中小企業(yè)可能很少見到FCoE?!?/P>

Craig Chapman表示,因?yàn)閕SCSI運(yùn)行在TCP/IP上,很容易受到TCP“開銷”的影響,比如TCP中的窗口特點(diǎn)。TCP窗口是服務(wù)器發(fā)送的一段數(shù)據(jù),由幾個(gè)數(shù)據(jù)包組成。服務(wù)器從客戶機(jī)得到窗口已收到的確認(rèn)消息,而且沒(méi)有錯(cuò)誤后,它會(huì)發(fā)送數(shù)據(jù)包的下一個(gè)窗口。

要是出現(xiàn)錯(cuò)誤,數(shù)據(jù)必須重發(fā)。這整個(gè)事件會(huì)導(dǎo)致iSCSI出現(xiàn)延遲、丟包。但沒(méi)有什么阻止得了企業(yè)利用iSCSI來(lái)融合或統(tǒng)一數(shù)據(jù)中心中的服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)。的確,思科表示能做到基于以太網(wǎng)的iSCSI其傳輸能力與FCoE一樣強(qiáng)大。

現(xiàn)在市面上出現(xiàn)了Emulex等網(wǎng)卡廠商的10Gbps iSCSI融合網(wǎng)絡(luò)適配器,不過(guò)最受媒體關(guān)注的卻是FCoE,原因是思科態(tài)度明確地堅(jiān)決支持統(tǒng)一數(shù)據(jù)中心的這項(xiàng)技術(shù),另一個(gè)原因是這項(xiàng)技術(shù)比iSCSI更新。FCoE成為標(biāo)準(zhǔn)還不到一年,而iSCSI至少已有10年歷史了。

思科在2001年收購(gòu)了iSCSI路由器初創(chuàng)公司NuSpeed,由此進(jìn)入了iSCSI領(lǐng)域。此后,思科停止了NuSpeed產(chǎn)品(當(dāng)時(shí)名為SN 5420)。思科服務(wù)器接入和虛擬化事業(yè)部的營(yíng)銷副總裁Jackie Ross說(shuō):“我們發(fā)覺(jué)iSCSI主要應(yīng)用于小企業(yè);而光纖通道在小企業(yè)已經(jīng)建立了龐大的基礎(chǔ),分析師們預(yù)計(jì)這個(gè)基礎(chǔ)會(huì)繼續(xù)龐大。我們不能忽視這個(gè)事實(shí)。”

iSCSI甚至在中小企業(yè)市場(chǎng)輸給了網(wǎng)絡(luò)附加存儲(chǔ)(NAS),原因是中小企業(yè)現(xiàn)在選擇NAS支持的基于文件的存儲(chǔ),而不是選擇iSCSI和光纖通道支持的基于塊的存儲(chǔ)。Jackie Ross說(shuō):“隨著中小企業(yè)的需求不斷增長(zhǎng),NAS或基于文件的存儲(chǔ)隨之發(fā)展起來(lái)。由于以前一些要求只能通過(guò)基于塊的存儲(chǔ)來(lái)滿足,比如災(zāi)難恢復(fù)和大大改善的多個(gè)網(wǎng)絡(luò)管理,現(xiàn)在利用基于文件的存儲(chǔ)就能滿足。這就是NAS的發(fā)展速度兩倍于iSCSI的原因?!?/P>

但是iSCSI方面仍保持健康的發(fā)展。Jackie Ross表示,對(duì)于沒(méi)有選擇NAS,而是選擇直接連接存儲(chǔ)(DAS)的公司來(lái)說(shuō),iSCSI在以每年約25%的速度增長(zhǎng)。據(jù)iSCSI SAN市場(chǎng)的領(lǐng)導(dǎo)廠商戴爾聲稱,iSCSI的發(fā)展?fàn)顩r甚至比這還好。IDC的數(shù)據(jù)顯示,iSCSI SAN市場(chǎng)在2009年第四季度比去年同期增長(zhǎng)了40.6%。戴爾以29.2%的收入份額領(lǐng)跑這個(gè)市場(chǎng),惠普以18.5%的份額緊隨其后。戴爾在2007年收購(gòu)的iSCSI SAN廠商EqualLogic的iSCSI產(chǎn)品線在此期間更是猛增了44%,同時(shí),IDC數(shù)據(jù)顯示,2009年全年,iSCSI存儲(chǔ)設(shè)備開支達(dá)到19億美元,預(yù)計(jì)到2013年會(huì)增加到44億美元,年復(fù)合增長(zhǎng)率達(dá)到23.4%。2009年用戶在光纖通道/FCoE/InifiniBand上的開支達(dá)到了92億美元,預(yù)計(jì)到2013年會(huì)增加到111億美元,年復(fù)合增長(zhǎng)率將近5%。

另外,戴爾稱最近它委托弗雷斯特研究公司對(duì)213家公司做了存儲(chǔ)和統(tǒng)一架構(gòu)計(jì)劃方面的調(diào)查。據(jù)戴爾聲稱,調(diào)查發(fā)現(xiàn)2/3的調(diào)查對(duì)象準(zhǔn)備在1〜3年內(nèi)向統(tǒng)一架構(gòu)遷移;在知道或了解統(tǒng)一架構(gòu)的人當(dāng)中,有56%的人認(rèn)為iSCSI最適合,27%的人認(rèn)為FCoE最合適。

戴爾從調(diào)查中發(fā)現(xiàn),今后12個(gè)月的存儲(chǔ)采購(gòu),萬(wàn)兆以太網(wǎng)和iSCSI陣列是兩大選擇。在所有調(diào)查對(duì)象當(dāng)中,45%的人計(jì)劃購(gòu)買萬(wàn)兆以太網(wǎng)交換機(jī)或相關(guān)設(shè)備,而39%的人計(jì)劃購(gòu)買iSCSI陣列。

由于客戶在認(rèn)真考慮融合數(shù)據(jù)中心架構(gòu),難怪上述調(diào)查結(jié)果及其在iSCSI市場(chǎng)的地位讓戴爾歡欣鼓舞。戴爾負(fù)責(zé)EqualLogic iSCSI存儲(chǔ)產(chǎn)品系列的高級(jí)經(jīng)理Travis Vigil說(shuō):“如果你今天做出統(tǒng)一架構(gòu)方面的決定,你會(huì)關(guān)注已存在多年的iSCSI。iSCSI通過(guò)了多年的測(cè)試和驗(yàn)證,又有實(shí)際的客戶部署案例,讓你能夠以1Gbps和10Gbps的速度統(tǒng)一架構(gòu)。所以,它為你帶來(lái)了比其他技術(shù)更大的靈活性?!?/P>

不過(guò),Travis Vigil和Jackie Ross都認(rèn)為,信仰大戰(zhàn)毫無(wú)意義,融合數(shù)據(jù)中心的真正統(tǒng)一者是擁有流量控制功能的無(wú)損以太網(wǎng),IEEE下設(shè)的數(shù)據(jù)中心橋接(Data Center Bridging,DCB)任務(wù)組正在敲定這項(xiàng)標(biāo)準(zhǔn)。Travis Vigil說(shuō),他們強(qiáng)烈贊同“基于以太網(wǎng)”這部分,至于客戶部署基于以太網(wǎng)的iSCSI還是基于以太網(wǎng)的光纖通道,那是下一個(gè)選擇。他表示,數(shù)據(jù)中心橋接對(duì)以太網(wǎng)的改進(jìn)不但會(huì)造福FCoE,還會(huì)造福iSCSI:讓融合架構(gòu)變成無(wú)損耗、低延遲、更可靠?!皡^(qū)別在于,F(xiàn)CoE需要DCB方面的改進(jìn);對(duì)于iSCSI而言,你擁有靈活性,因?yàn)閕SCSI不需要DCB方面的改進(jìn)——但這種改進(jìn)的確有助于讓融合基礎(chǔ)設(shè)施具有更易預(yù)測(cè)的性能?!?/P>

思科的Jackie Ross說(shuō):“人們說(shuō)只能選擇其一時(shí),我們總覺(jué)得有些為難,技術(shù)并不是非此即彼的,關(guān)鍵在于確保你部署了合適架構(gòu),能夠支持你所選擇的、可能已經(jīng)出現(xiàn)在環(huán)境中的技術(shù)?!?/P>

那么,是不是說(shuō)只要有了無(wú)損以太網(wǎng)架構(gòu),iSCSI就能用于將存儲(chǔ)系統(tǒng)與服務(wù)器和網(wǎng)絡(luò)融合起來(lái)呢?Frank Berry是數(shù)據(jù)中心市場(chǎng)分析公司IT Brand Pulse的首席執(zhí)行官兼統(tǒng)一網(wǎng)絡(luò)實(shí)踐高級(jí)分析師,他說(shuō):“我肯定這么認(rèn)為。這取決于聽眾是誰(shuí)。”他預(yù)計(jì),在五年內(nèi),來(lái)自iSCSI存儲(chǔ)的收入會(huì)超過(guò)來(lái)自光纖通道存儲(chǔ)的收入。

發(fā)布:2007-04-21 11:05    編輯:泛普軟件 · xiaona    [打印此頁(yè)]    [關(guān)閉]
相關(guān)文章:

泛普長(zhǎng)沙OA軟件行業(yè)資訊其他應(yīng)用

長(zhǎng)沙OA 長(zhǎng)沙新聞動(dòng)態(tài) 長(zhǎng)沙OA信息化 長(zhǎng)沙OA快博 長(zhǎng)沙OA軟件行業(yè)資訊 長(zhǎng)沙軟件開發(fā)公司 長(zhǎng)沙門禁系統(tǒng) 長(zhǎng)沙物業(yè)管理軟件 長(zhǎng)沙倉(cāng)庫(kù)管理軟件 長(zhǎng)沙餐飲管理軟件 長(zhǎng)沙網(wǎng)站建設(shè)公司