監(jiān)理公司管理系統(tǒng) | 工程企業(yè)管理系統(tǒng) | OA系統(tǒng) | ERP系統(tǒng) | 造價咨詢管理系統(tǒng) | 工程設(shè)計管理系統(tǒng) | 甲方項目管理系統(tǒng) | 簽約案例 | 客戶案例 | 在線試用
X 關(guān)閉
北京OA快博

當(dāng)前位置:工程項目OA系統(tǒng) > 泛普各地 > 北京OA系統(tǒng) > 北京OA快博

NetApp 助力 Microsoft 應(yīng)用程序虛擬化

申請免費試用、咨詢電話:400-8352-114

摘要:在您為實現(xiàn)數(shù)據(jù)中心 100% 虛擬化而努力時,希望本文中提供的信息對您了解虛擬化 Microsoft 應(yīng)用程序的流程有所幫助。本文僅講述了 Microsoft 應(yīng)用程序虛擬化聯(lián)合解決方案中的重點內(nèi)容。

在努力實現(xiàn)數(shù)據(jù)中心 100% 虛擬化的目標(biāo)時,密切關(guān)注 Microsoft? 應(yīng)用程序的虛擬化至關(guān)重要,這些業(yè)務(wù)關(guān)鍵性的應(yīng)用程序包括 Microsoft Exchange、Microsoft SQL Server? 以及 Microsoft SharePoint? Server。

若要將您現(xiàn)在使用的環(huán)境配置為能夠提供全部虛擬化優(yōu)勢(包括提高效率、增強可用性以及降低成本)的環(huán)境,您必須將重點放在各層基礎(chǔ)架構(gòu)的虛擬化上,包括虛擬化軟件、服務(wù)器、網(wǎng)絡(luò)以及存儲。

  圖 1)NetApp、VMware 和 Cisco 聯(lián)合解決方案的關(guān)鍵要素。

這是 NetApp 聯(lián)合 Cisco 和 VMware 共同致力于創(chuàng)建 Microsoft 應(yīng)用程序虛擬化完整解決方案的原因。該架構(gòu)綜合了 VMware? vSphere 4 虛擬基礎(chǔ)架構(gòu)、Cisco Nexus 統(tǒng)一網(wǎng)絡(luò)和 NetApp? 統(tǒng)一存儲硬件和軟件的優(yōu)勢。

借助于該靈活的架構(gòu),您可以虛擬化執(zhí)行混合工作任務(wù)的 Microsoft 應(yīng)用程序環(huán)境,獲得服務(wù)器、網(wǎng)絡(luò)和存儲虛擬化的全部優(yōu)勢。我們已經(jīng)測試過實施該解決方案后 Microsoft 應(yīng)用程序的性能,確保不存在任何瓶頸,保證全部性能衡量標(biāo)準(zhǔn)都能達(dá)到 Microsoft 公布的參數(shù)標(biāo)準(zhǔn)。

本文簡要說明了虛擬化 Microsoft 應(yīng)用程序的原因,重點介紹了最重要的架構(gòu)和部署注意事項,為您開始使用我們的產(chǎn)品和服務(wù)提供幫助。如果要查看聯(lián)合解決方案的完整詳情,請參閱 NetApp 技術(shù)報告“NetApp 解決方案指南:VMware vSphere 4、NetApp 統(tǒng)一存儲(FC、iSCSI 和 NFS)以及 Cisco Nexus 統(tǒng)一網(wǎng)絡(luò)上的 Microsoft Exchange Server、SQL Server 和 SharePoint Server 混合工作任務(wù)。”

為什么要虛擬化 Microsoft 應(yīng)用程序?

很大程度上,使用該解決方案虛擬化 Microsoft 應(yīng)用程序的原因與虛擬化其他任意應(yīng)用程序的原因相同。

降低成本。如果不經(jīng)過虛擬化,Microsoft 服務(wù)器應(yīng)用程序在升級時,運行成本原本就居高不下的應(yīng)用程序?qū)⑿枰嗟姆?wù)器硬件來支持。通過在各個系統(tǒng)上運行多個工作任務(wù),VMware 虛擬化能夠釋放您現(xiàn)有硬件的全部潛力。提高利用率就意味著減少硬件以及降低總體資金和管理成本。

高級存儲功能。您可以通過任何存儲協(xié)議(包括 FC、iSCSI 或 NFS)在 NetApp 存儲上部署 Microsoft Exchange、SQL Server 和 SharePoint。NetApp FAS 和 V 系列存儲陣列已經(jīng)過完整的驗證和認(rèn)證,可用于 FC 和基于 IP 的 VMware 環(huán)境。借助于 NetApp 的存儲效率和智能緩存功能,您可以節(jié)省可觀的存儲成本。NetApp 能夠根據(jù)多個應(yīng)用程序的使用需求,集中使用可用的 IOPS 和容量,以此進(jìn)行存儲虛擬化,這與 VMware 虛擬化服務(wù)器資源的方式類似。

高可用性。VMware 不必在虛擬機 (VM) 級別進(jìn)行群集就能為 Microsoft 服務(wù)器應(yīng)用程序提供高可用性 (HA)。VM 不再與基礎(chǔ)服務(wù)器硬件相關(guān),并可隨時使用 VMware VMotion? 在服務(wù)器間移動。VMware HA 為每個 VM 提供了服務(wù)器硬件容錯能力,與專門保護(hù)服務(wù)器的解決方案相比,具有更高水準(zhǔn)的可用性。NetApp 主動/主動存儲配置在存儲級別提供了類似的功能。

高級備份/恢復(fù)和 DR。我們使用集成 VMware、Microsoft 和 NetApp 技術(shù)在該解決方案中內(nèi)置了備份和恢復(fù)功能,可用于高級的應(yīng)用程序感知數(shù)據(jù)保護(hù)。NetApp SnapMirror? 具有重復(fù)數(shù)據(jù)刪除感知的遠(yuǎn)程復(fù)制功能,用于災(zāi)難恢復(fù),能提供端到端的數(shù)據(jù)保護(hù),新增的 VMware 站點恢復(fù)管理器可以實現(xiàn)整個恢復(fù)流程自動化。

增強的移動性。您可以輕松地、不中斷地遷移 Microsoft 應(yīng)用程序所使用的虛擬機和/或存儲,實現(xiàn)負(fù)載平衡、升級和維護(hù)或其他組織目標(biāo)。

盡管有上述顯著的優(yōu)勢,在虛擬化關(guān)鍵 Microsoft 應(yīng)用程序時一直存在兩方面的顧慮,但是現(xiàn)在這兩個顧慮已經(jīng)得到了解決:

性能。隨著 VMware vSphere 4.0 的發(fā)布,VMware 的性能已經(jīng)足以適用任何任務(wù)關(guān)鍵型業(yè)務(wù)應(yīng)用程序,詳情請查看最近一份闡述采用各種不同存儲協(xié)議的 Exchange 性能的 VMware 白皮書。研發(fā)該解決方案時,我們把性能驗證作為研發(fā)的關(guān)鍵部分,就是為了解決這一持久存在的顧慮。

支持。對于 Microsoft 應(yīng)用程序虛擬化是否能獲得支持,人們?nèi)云毡榇嬖陬檻]。好消息是,我們有多種途徑可以獲取必要的支持。Microsoft 通過其服務(wù)器虛擬化驗證計劃 (SVVP) 提供完整的虛擬化支持。如果您簽約 Microsoft 服務(wù)金牌支持計劃 (Microsoft Services PremIEr Support Program) ,那么您將有資格獲得 Microsoft 應(yīng)用程序虛擬化的直接支持。您還可以從服務(wù)器 OEM 供應(yīng)商、VMware 全球服務(wù)支持 (GSS) 和技術(shù)支持聯(lián)盟網(wǎng)絡(luò)(即 TSANet)獲得支持。

設(shè)計時的主要注意事項

構(gòu)建聯(lián)合解決方案時,我們的一項關(guān)鍵目標(biāo)是在提供清晰設(shè)計準(zhǔn)則的同時提供充分的靈活性,以便您能夠根據(jù)自己的環(huán)境要求創(chuàng)建專門的解決方案。您在將 Microsoft 應(yīng)用程序遷移到完全虛擬化的環(huán)境中時,可能會問自己一些問題,本節(jié)將圍繞著其中的一些關(guān)鍵問題展開。

我應(yīng)當(dāng)選擇什么存儲協(xié)議?像所有使用 NetApp 存儲的解決方案一樣,該解決方案最為出色的一個方面就是它的靈活性,您可以為自己的環(huán)境靈活地選擇任何適用的存儲協(xié)議。我們?yōu)槟峁┻m用于以下全部協(xié)議的架構(gòu)準(zhǔn)則:FC、iSCSI 和 NFS。NetApp 和 VMware 聯(lián)合性能研究證明,各種協(xié)議彼此間的性能偏差在 10% 之內(nèi),因此,就性能表現(xiàn)而言,沒有任何理由對各種協(xié)議厚此薄彼。

如果您已經(jīng)擁有光纖通道 (FC) 基礎(chǔ)架構(gòu),您仍可繼續(xù)使用。如果沒有,NFS 和/或 iSCSI 能輕松地滿足您的存儲需求。我建議您從以下方面考慮各種協(xié)議:成本(資金和運營)、可管理性、可擴展性和靈活性,然后從中選擇最適合您需求的一種。(還有多個具體準(zhǔn)則將在存儲布局章節(jié)提及。)

我需要什么 NetApp 軟件?我們強烈推薦您使用包括四款 NetApp 產(chǎn)品在內(nèi)的核心組合:

Rapid Cloning Utility (RCU)。這是一款免費的 vCenter 插件,綜合利用 NetApp FlexClone?、數(shù)據(jù)存儲重復(fù)數(shù)據(jù)刪除管理、數(shù)據(jù)存儲配置、調(diào)整大小和破壞操作,能夠?qū)μ摂M服務(wù)器和桌面進(jìn)行快速而又節(jié)省空間的配置。

虛擬存儲控制臺 (VSC)。這是一款免費的 vCenter 插件,能幫助您管理和監(jiān)控 vCenter 中與 VMware 直接相關(guān)的 NetApp 特定于存儲方面的屬性。

SnapManager? for Virtual Infrastructure。SMVI 是一種集成的數(shù)據(jù)保護(hù)解決方案。它可以為虛擬機提供備份和恢復(fù),并為 DR 提供復(fù)制。它使用 NetApp Snapshot? 的功能,并具備調(diào)用 VMware 快照進(jìn)行 VM 備份的選項。

SANScreen? VMInsight。該 vCenter 插件為從虛擬到物理的存儲映射(vmdk、數(shù)據(jù)存儲、LUN、存儲結(jié)構(gòu))提供了監(jiān)控和范圍廣泛的報告,能幫助進(jìn)行環(huán)境管理和故障排除。

對于上面提及的前三項軟件工具,您可以參閱最新發(fā)表的關(guān)于該主題的 Tech OnTap 文章,從而加深了解。

此外,如果訪客 VM 托管了 Exchange 郵箱服務(wù)器、SQL 服務(wù)器或 SharePoint 數(shù)據(jù)庫和索引服務(wù)器,那么您可能需要在其中安裝 NetApp SnapDrive? 和應(yīng)用程序?qū)S玫?SnapManager 產(chǎn)品,以便對數(shù)據(jù)庫、日志等進(jìn)行與應(yīng)用程序一致的備份和精細(xì)恢復(fù)。(有關(guān)備份和 DR 的詳細(xì)內(nèi)容將在后文提供。)

對于不同的數(shù)據(jù)組件,我應(yīng)當(dāng)使用什么存儲布局?您選擇的存儲布局一定程度上取決于您選擇的存儲協(xié)議。在此,我就不贅述全部可能的存儲布局和協(xié)議選項,只從最靈活的基于 IP 的存儲布局選項中選擇一個重點介紹。如果您要從頭部署,或是您的基礎(chǔ)架構(gòu)能支持該方法,那么我要為您推薦圖 2 所示的布局,這個布局結(jié)合了 NFS 和 iSCSI。有關(guān) FC 或 iSCSI 布局的信息,請參閱 TR-3785。(在所有案例中,該方法及其理論在大多數(shù)方面都是相似的。)

  圖 2)使用 NFS 數(shù)據(jù)存儲和 iSCSI LUN 的存儲布局。

以下是高級準(zhǔn)則:

訪客文件系統(tǒng)一致對能否實現(xiàn)最佳性能十分重要。NetApp TR-3747 提供了在虛擬化環(huán)境中實現(xiàn)文件系統(tǒng)一致的最佳實踐。

使用 NetApp RCU 在 NFS 數(shù)據(jù)存儲上創(chuàng)建 VM。

在 NetApp 存儲系統(tǒng)不同卷的單獨 NFS 數(shù)據(jù)存儲上托管虛擬機 (VM) vswap 和臨時/頁面文件。(分離瞬時數(shù)據(jù)能更快地完成 NetApp Snapshot 副本并能實現(xiàn)更高的存儲效率。)

在 iSCSI 原始設(shè)備映射 (RDM) LUN 上找到您的應(yīng)用程序數(shù)據(jù)(數(shù)據(jù)庫、日志等),這些數(shù)據(jù)使用 NetApp SnapDrive 軟件直接創(chuàng)建并連接到訪客 VM 中(訪客操作系統(tǒng)上必須安裝 6.2 或更高版本)。

在訪客 VM 中安裝應(yīng)用程序?qū)S玫?SnapManager 軟件,以便進(jìn)行一致備份和精細(xì)恢復(fù)。

建議您在使用 Microsoft iSCSI 軟件啟動程序的訪客連接 LUN 上使用這種方法,因為當(dāng)您現(xiàn)在或是將來想要為災(zāi)難恢復(fù)實施 VMware vCenter 站點恢復(fù)管理器時,使用 iSCSI RDM 上的應(yīng)用程序數(shù)據(jù)進(jìn)行故障轉(zhuǎn)移/故障回復(fù)的過程更為簡單,您也能從 VMware 獲得更好的支持。如果您要使用 VMware vCenter 站點恢復(fù)管理器,那么您還應(yīng)當(dāng)將全部數(shù)據(jù)存儲和 RDM LUN 存放在同一存放系統(tǒng)中。

若要充分利用 SnapDrive 和上述推薦的 SCSI RDM 或使用 iSCSI S/W 啟動程序的訪客連接 RDM 帶來的優(yōu)勢,那么當(dāng)您要使用應(yīng)用程序?qū)S玫?SnapManager 工具為 Exchange、SQL Server 和/或 SharePoint 數(shù)據(jù)進(jìn)行備份時,您必須使用 RDM(上述推薦的 FC RDM、iSCSI RDM,或使用 Microsoft iSCSI S/W 啟動程序的訪客連接 LUN 均可)。

出于某些原因,如果您必須使用應(yīng)用程序數(shù)據(jù)的 VMFS 或 NFS 數(shù)據(jù)存儲配置自己的環(huán)境,那么 SMVI 將是您最好的備份選擇。SMVI 能夠為全部三種應(yīng)用程序進(jìn)行連續(xù)備份,但是會有一些限制。當(dāng)前,由于 VMware VSS 請求程序中的限制(VMware 使用卷影備份的副本枚舉),SMVI 無法提供自動事務(wù)日志截斷或備份驗證。這兩項操作都需要手動完成。同樣,VMware VSS 請求程序當(dāng)前并不為運行 windows? Server 2008 的 VM 提供應(yīng)用程序一致性支持。因此該解決方案在某些情況下會受到限制,比如不需要事務(wù)級別的精細(xì)恢復(fù)(例如 SQL 服務(wù)器的時間點恢復(fù))時、備份后可執(zhí)行手動備份驗證時,以及可使用其他方法進(jìn)行事務(wù)日志截斷時(例如可以在單恢復(fù)模式中使用 SQL Server 數(shù)據(jù)庫,因為 SQL Server 提供了自動的日志截斷方法)。

我如何執(zhí)行應(yīng)用程序一致的備份和恢復(fù)?若要完成對 Microsoft 應(yīng)用程序的應(yīng)用程序一致備份,

最好的辦法就是根據(jù)需要在每個 VM 的訪客操作系統(tǒng)安裝 SnapDrive 和相應(yīng)的 SnapManager 產(chǎn)品(SnapManager for Microsoft Exchange、SnapManager for Microsoft SQL Server、SnapManager for Microsoft SharePoint Server)。這些工具具備特定的功能,能夠提供應(yīng)用程序一致的備份、自動備份驗證和精細(xì)恢復(fù)。例如,SnapManager for Exchange 提供了單獨郵箱恢復(fù)功能。您可以參閱之前的 Tech OnTap 文章,加深對 SnapManager 工具的了解。

實施 DR 的最佳方法是什么?NetApp SMVI 和應(yīng)用程序?qū)S玫?SnapManager 產(chǎn)品可以為 VM 和托管 Microsoft 應(yīng)用程序提供復(fù)制和災(zāi)難恢復(fù)。在這些產(chǎn)品中,結(jié)合使用 VMware vCenter 站點恢復(fù)管理器可以實現(xiàn)完全自動化的災(zāi)難恢復(fù)。對于在 Tech OnTap 的使用 VMware 站點恢復(fù)管理器簡化 DR 一文中提及的復(fù)雜環(huán)境,該解決方案提供了完整的自動化故障轉(zhuǎn)移工作流程。

  圖 3)結(jié)合使用 NetApp SnapManager、SnapMirror 和 VMware 站點恢復(fù)管理器為備份/恢復(fù)和災(zāi)難恢復(fù)創(chuàng)建完整的數(shù)據(jù)保護(hù)解決方案。

我如何實施多路徑?如果您想要自己的環(huán)境更為強大,您必須實施多路徑。對于基于 FC 的架構(gòu),我建議您使用非對稱邏輯單元訪問 (ALUA) 協(xié)議和循環(huán)法 (RR) 路徑選擇策略。ALUA 允許在 SCSI 目標(biāo)設(shè)備和目標(biāo)端口間自動協(xié)商路徑,從而實現(xiàn)動態(tài)重新配置。ESX 主機上默認(rèn)啟用 ALUA。在 NetApp 存儲陣列上,應(yīng)當(dāng)在啟動程序組中啟用 ALUA,以實現(xiàn)更為動態(tài)或類似于即插即用的 SAN 架構(gòu)。RR 路徑選擇策略 (PSP) 提供了路徑冗余和帶寬聚合。值得注意的是,不需要在訪客 VM 中安裝設(shè)備專用的模塊 (DSM)。

對于 iSCSI,vSphere 為多路徑在 ESX 主機級別引入了對多 TCP 對話的支持。您可以擁有兩個 vmKernel 端口,并使用循環(huán)法 PSP 實現(xiàn)即插即用的多路徑。這樣能提供多個活動路徑,而且不需要在訪客 VM 中安裝任何 DSM。同樣,也可以使用傳統(tǒng)的多交換機中繼網(wǎng)絡(luò)設(shè)計,TR-3749 對這方面內(nèi)容有所闡述。

對于 NFS,傳統(tǒng)和交叉堆棧交換機同樣可以實現(xiàn)多路徑。有關(guān)詳細(xì)信息,請參閱 NetApp TR 3749。

使用 Cisco Nexus 萬兆以太網(wǎng) (10GbE) 時,ESX 主機上僅需要兩個 10GbE 端口。Cisco 虛擬端口通道 (vPC) 提供了冗余、容錯和安全性。

  圖 4)使用 Cisco Nexus vPC 連接 ESX 主機和 NetApp 存儲。

使用重復(fù)數(shù)據(jù)刪除和自動精簡配置有什么優(yōu)勢?該配置的一個優(yōu)勢是,無論您選擇哪種協(xié)議,您都能充分利用 NetApp 的高效存儲功能(FlexClone、重復(fù)數(shù)據(jù)刪除和自動精簡配置)顯著地降低您所需的存儲空間量。

一般的虛擬環(huán)境會在不同的 VM 上安裝同一操作系統(tǒng)的多個副本和應(yīng)用程序二進(jìn)制,在昂貴的共享存儲上耗用了大量的空間。借助于 NetApp 的高效存儲功能,您可以在主要存儲方面節(jié)省 50% 以上的存儲。圖 5 說明了我們在驗證聯(lián)合解決方案時實現(xiàn)的高達(dá) 92% 的空間節(jié)省。

  圖 5)結(jié)合 NetApp 高效存儲技術(shù)而實現(xiàn)的空間節(jié)省。

我如何調(diào)整自己環(huán)境的大小?調(diào)整您環(huán)境的大小需要調(diào)整以下方面的大?。篤Mware 數(shù)據(jù)存儲(包括訪客操作系統(tǒng)、應(yīng)用程序二進(jìn)制、VM 頁面文件和 vswap 文件)、LUN、托管應(yīng)用程序數(shù)據(jù)庫和日志。NetApp 已經(jīng)研發(fā)出能夠恰當(dāng)調(diào)整您環(huán)境大小的調(diào)整工具。根據(jù)從您站點收集的以下信息,您的 NetApp 系統(tǒng)工程師或經(jīng)銷商能夠幫助您調(diào)整環(huán)境大?。?/P>

要虛擬化的應(yīng)用程序服務(wù)器的數(shù)量

Microsoft 應(yīng)用程序的數(shù)量和種類

不同數(shù)據(jù)組件對容量的要求(包括預(yù)期容量增長率)

性能要求(包括讀/寫比率和隨機/序列比率)

SQL Server 數(shù)據(jù)庫的數(shù)據(jù)庫數(shù)量和種類(OLTP、DSS、混合型)

Exchange 服務(wù)器的郵箱的數(shù)量和大小、用戶檔案

SharePoint 服務(wù)器的用戶數(shù)量、每用戶所需的空間、用戶并發(fā)百分比

備份/恢復(fù)/DR 要求

我如何驗證已經(jīng)過虛擬化的 Microsoft 應(yīng)用程序環(huán)境的性能?您可以使用 Microsoft 和第三方供應(yīng)商提供的一組同樣的性能驗證工具,這些工具可在物理環(huán)境中使用。這些工具能幫助您判斷性能是否符合 Microsoft 準(zhǔn)則的標(biāo)準(zhǔn)。為測試該聯(lián)合解決方案,我們使用了 Microsoft Exchange Load Generation 工具、Microsoft SQLiOSim 實用工具以及 AvePoint Sharepoint Test Environment Creator 和 Usage Simulator 來驗證性能。我們同時還為這些應(yīng)用程序進(jìn)行了若干加載測試。TR-3785 說明了各種應(yīng)用程序的性能驗證方法和驗證成功標(biāo)準(zhǔn)。我們的測試驗證了以下方面:

VM 中或 ESX 主機上不存在任何 CPU 或內(nèi)存瓶頸

存儲上不存在任何 I/O、CPU 或磁盤瓶頸

所有的讀寫延遲均在 Microsoft 公布的準(zhǔn)則標(biāo)準(zhǔn)之內(nèi)

未發(fā)生網(wǎng)絡(luò)瓶頸

結(jié)論

在您為實現(xiàn)數(shù)據(jù)中心 100% 虛擬化而努力時,希望本文中提供的信息對您了解虛擬化 Microsoft 應(yīng)用程序的流程有所幫助。本文僅講述了 Microsoft 應(yīng)用程序虛擬化聯(lián)合解決方案中的重點內(nèi)容。NetApp、VMware 和 Cisco 共同認(rèn)真地編寫了一份 50 頁的解決方案指南,該指南涵蓋了全部的配置詳情。您可以在該指南中找到您部署該解決方案時所需的全部信息。該指南包括了 FC、iSCSI 和 NFS 實施方面的內(nèi)容。

除了本文提及的各種鏈接外,還有其他有價值的資源:

NetApp 和 VMware vSphere 存儲最佳實踐 (TR-3749)。使用 NetApp 存儲實施 VMware 的最佳實踐。

配合 Exchange 2007 使用性能加速模塊 (TR-3767)。該技術(shù)報告說明了 PAM 能任何在不添加軸的前提下提高您能支持的 Exchange 用戶數(shù)量。

SnapManager 指南:

SnapManager 5.0 for Microsoft Exchange 最佳實踐指南 (TR-3730)

SnapManager for MOSS:最佳實踐指南 (TR-3776)

使用 NetApp SnapManager for Exchange 保護(hù) Exchange Server 2007 (TR-3598)

SnapManager for Virtual Infrastructure 最佳實踐 (TR-3737)

SRM

NetApp 和 VMware vCenter SRM 最佳實踐 (TR-3671)


發(fā)布:2007-03-05 15:34    編輯:泛普軟件 · xiaona    [打印此頁]    [關(guān)閉]
相關(guān)文章:
北京OA系統(tǒng)
聯(lián)系方式

成都公司:成都市成華區(qū)建設(shè)南路160號1層9號

重慶公司:重慶市江北區(qū)紅旗河溝華創(chuàng)商務(wù)大廈18樓

咨詢:400-8352-114

加微信,免費獲取試用系統(tǒng)

QQ在線咨詢

泛普北京OA快博其他應(yīng)用

北京OA軟件 北京OA新聞動態(tài) 北京OA信息化 北京OA快博 北京OA行業(yè)資訊 北京軟件開發(fā)公司 北京門禁系統(tǒng) 北京物業(yè)管理軟件 北京倉庫管理軟件 北京餐飲管理軟件 北京網(wǎng)站建設(shè)公司