濟(jì)南鋼鐵楊震：數(shù)據(jù)歸檔瘦身ERP系統(tǒng)

申請免費(fèi)試用、咨詢電話：400-8352-114

      從2004年濟(jì)南鋼鐵集團(tuán)有限公司（以下簡稱濟(jì)鋼）的erp系統(tǒng)上線到現(xiàn)在，系統(tǒng)數(shù)據(jù)平均以每月13GB的速度迅猛增長，已由上線初期的46GB增至760GB。雖然，我們已經(jīng)進(jìn)行了多次的系統(tǒng)調(diào)優(yōu)、軟硬件升級，在短時(shí)間內(nèi)、一定程度上提升了系統(tǒng)性能，但長期來看，數(shù)據(jù)量的迅猛增長將始終影響系統(tǒng)的運(yùn)行效率，必須予以解決。

　　350GB的歷史數(shù)據(jù)

　　濟(jì)鋼作為山東省最大的鋼鐵制造企業(yè)和中國最大的板材制造及出口基地，近10年來，一直在大力推進(jìn)信息化建設(shè)，陸續(xù)建設(shè)了公司內(nèi)部骨干網(wǎng)絡(luò)、OA、ERP、BI等核心應(yīng)用信息系統(tǒng)。

　　目前，ERP系統(tǒng)已成為濟(jì)鋼不可或缺的管理工具。但隨著ERP的深化應(yīng)用，問題也逐漸產(chǎn)生——數(shù)據(jù)量的急速增長，極大地制約著信息系統(tǒng)的深化應(yīng)用。隨著時(shí)間的推移，系統(tǒng)壓力越來越大，僅僅增加硬件投資，無法從根本上解決問題，只會讓ERP系統(tǒng)成為一個(gè)燒錢的無底洞。

歸檔原理圖

數(shù)據(jù)庫中各模塊數(shù)據(jù)量占百分比

　　截至2010年4月，濟(jì)鋼ERP系統(tǒng)的數(shù)據(jù)已增長到760GB。經(jīng)過系統(tǒng)分析，我們發(fā)現(xiàn)濟(jì)鋼ERP數(shù)據(jù)庫現(xiàn)有的760GB的數(shù)據(jù)中，接近一半的數(shù)據(jù)為歷史數(shù)據(jù)，訪問頻率非常低。近350GB的歷史數(shù)據(jù)，對現(xiàn)有ERP系統(tǒng)性能造成了嚴(yán)重影響，特別是對數(shù)據(jù)量大、交互性非常強(qiáng)的庫存、成本管理、生產(chǎn)、銷售四個(gè)模塊。

　　以生產(chǎn)制造模塊（WIP）為例，濟(jì)鋼ERP系統(tǒng)生產(chǎn)制造模塊上線運(yùn)行至今已有6年時(shí)間，隨著集團(tuán)公司規(guī)模的不斷擴(kuò)大以及信息系統(tǒng)不斷深入應(yīng)用，其實(shí)施范圍已經(jīng)覆蓋煉鋼、板材、熱軋廠、冷軋廠等所有主體生產(chǎn)廠，業(yè)務(wù)數(shù)據(jù)已涵蓋計(jì)劃編制、工單下達(dá)、產(chǎn)線管理、成品庫存、物資調(diào)撥等各項(xiàng)流程。

　　自上線以來，系統(tǒng)內(nèi)共下達(dá)了60多萬條生產(chǎn)工單。現(xiàn)在，濟(jì)鋼每月大約產(chǎn)生業(yè)務(wù)數(shù)據(jù)100余萬條，產(chǎn)生批次信息60余萬條，與之相關(guān)的業(yè)務(wù)數(shù)據(jù)達(dá)到2億條以上。急劇增長的數(shù)據(jù)給系統(tǒng)的運(yùn)行和信息檢索帶來了沉重的負(fù)擔(dān)。

　　經(jīng)過對數(shù)據(jù)庫的仔細(xì)分析，我們發(fā)現(xiàn)其中WIP模塊及相關(guān)的庫存模塊數(shù)據(jù)有接近一半的數(shù)據(jù)為可歸檔數(shù)據(jù)。這些數(shù)據(jù)的訪問頻率非常低，導(dǎo)致系統(tǒng)歷史數(shù)據(jù)負(fù)載過重，系統(tǒng)性能下降，用戶查詢、統(tǒng)計(jì)、分析歷史數(shù)據(jù)時(shí)速度相當(dāng)慢，系統(tǒng)穩(wěn)定性也得不到保證。

　　透明歸檔

　　分離歷史與業(yè)務(wù)數(shù)據(jù)

　　為從根本上解決這一問題，濟(jì)鋼自動化部經(jīng)過大量的考察交流、技術(shù)論證，決定聯(lián)手HP公司實(shí)施ERP歸檔系統(tǒng)，對濟(jì)鋼ERP系統(tǒng)進(jìn)行瘦身，實(shí)現(xiàn)歷史數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)的分離，減輕業(yè)務(wù)系統(tǒng)壓力，提高業(yè)務(wù)系統(tǒng)各方面的性能。

　　歸檔系統(tǒng)的核心技術(shù)是透明訪問技術(shù)，其技術(shù)主要解決如何同時(shí)訪問在線數(shù)據(jù)庫及歸檔后的歷史數(shù)據(jù)庫的問題，用戶訪問數(shù)據(jù)將不受到任何影響，其原理如圖1所示。

　　經(jīng)過分析，濟(jì)鋼ERP系統(tǒng)數(shù)據(jù)庫中庫存、成本管理、生產(chǎn)、銷售四個(gè)模塊數(shù)據(jù)量非常大，占總體數(shù)據(jù)大小的 52.43%，其中庫存最大， 約占總體數(shù)據(jù)的34%，成本管理占8%，WIP占7%，銷售模塊占3%（如圖2）。這四個(gè)模塊歷史數(shù)據(jù)占比較高，同時(shí)這些模塊的操作頻率高，數(shù)據(jù)及時(shí)性要求高。因此，數(shù)據(jù)歸檔系統(tǒng)的實(shí)施范圍主要集中在庫存、成本管理、生產(chǎn)、銷售這四個(gè)模塊。

　　濟(jì)鋼用Oracle的數(shù)據(jù)庫。數(shù)據(jù)歸檔系統(tǒng)HP RIM for Oracle EBS（Oracle 電子商務(wù)套件）的實(shí)施步驟是：首先，結(jié)合業(yè)務(wù)情況和系統(tǒng)負(fù)載，與庫存、成本、WIP及銷售業(yè)務(wù)相關(guān)人員討論，根據(jù)業(yè)務(wù)發(fā)展情況、數(shù)據(jù)期間跨度和使用頻率等條件，確定在線數(shù)據(jù)保留期限；然后，進(jìn)入歸檔測試階段，也是整個(gè)項(xiàng)目的關(guān)鍵階段。在這一階段，我們在搭建的歸檔專用測試環(huán)境中進(jìn)行了歸檔工作流程的整體測試，記錄了歸檔前后在線數(shù)據(jù)庫與歸檔歷史數(shù)據(jù)庫的變化，確認(rèn)了歸檔程序的有效性及穩(wěn)定性。

　　測試的過程整體來說比較順利，但也出現(xiàn)了問題，主要集中在由于數(shù)據(jù)填寫不規(guī)范、不完整，導(dǎo)致無法實(shí)現(xiàn)系統(tǒng)歸檔等方面。例如，在系統(tǒng)上線初期，數(shù)據(jù)錄入者對一些必填項(xiàng)和可填項(xiàng)的把握不夠準(zhǔn)確，導(dǎo)致數(shù)據(jù)不規(guī)范，從而影響了歸檔測試。經(jīng)過查詢、修改、完善之后，數(shù)據(jù)規(guī)范問題得以解決。另外還有一些限制條件，會影響歸檔操作，以生產(chǎn)制造模塊為例，只有在庫存歸檔、成本更新歷史歸檔、生產(chǎn)工單關(guān)閉之后，生產(chǎn)制造模塊才能做數(shù)據(jù)歸檔。

　　進(jìn)行了系統(tǒng)功能測試、系統(tǒng)壓力測試及相關(guān)報(bào)表系統(tǒng)的運(yùn)行測試，確認(rèn)歸檔程序可靠后，我們又進(jìn)一步進(jìn)行了重裝（Reload）測試，確保歸檔過程的可逆性。經(jīng)過全面測試，HP RIM for Oracle EBS安全可靠，我們在ERP正式環(huán)境進(jìn)行了最終的歸檔操作，并形成了正式的歸檔記錄文檔。

　　HP RIM歸檔系統(tǒng)針對Oracle EBS的特點(diǎn)，利用標(biāo)準(zhǔn)清除功能，通過Oracle EBS的并發(fā)請求提交歸檔任務(wù)，控制臺統(tǒng)一管理收集將要?dú)w檔的數(shù)據(jù)信息，先將所要?dú)w檔的數(shù)據(jù)移動到歸檔表空間保存成XML格式或集成 WORM存儲，然后再刪除EBS中的歸檔記錄，完成一次歸檔過程。HP RIM通過將不活躍的數(shù)據(jù)遷移到次級數(shù)據(jù)庫，保持了本地應(yīng)用對該數(shù)據(jù)的透明訪問。歸檔過程可在線實(shí)施，從用戶的角度來看，同時(shí)訪問歷史數(shù)據(jù)與在線數(shù)據(jù)不會受到任何影響，業(yè)務(wù)用戶使用系統(tǒng)也不受干擾。

　　用戶可通過Archive Monitor（數(shù)據(jù)增長監(jiān)控和策略管理控制臺），檢測應(yīng)用數(shù)據(jù)增長和程序性能，對每一個(gè)歸檔請求進(jìn)行即時(shí)監(jiān)控，控制歸檔進(jìn)度，處理可能出現(xiàn)的問題。

　　數(shù)據(jù)庫規(guī)模減半 時(shí)間減半

　　實(shí)施了首次數(shù)據(jù)庫歸檔后，在符合數(shù)據(jù)保留法規(guī)的要求的同時(shí)，ERP系統(tǒng)的總體數(shù)據(jù)庫大小大約減少了一半，從而降低了服務(wù)器和存儲基礎(chǔ)設(shè)施的成本、數(shù)據(jù)庫調(diào)優(yōu)的支出以及系統(tǒng)維護(hù)成本，提高了投資回報(bào)率。通過改善應(yīng)用效率和把不活躍的數(shù)據(jù)搬遷，大大節(jié)省數(shù)據(jù)庫的空間，有效提高系統(tǒng)的性能，最大限度地降低系統(tǒng)的關(guān)鍵災(zāi)難恢復(fù)時(shí)間和升級（軟件和硬件）宕機(jī)時(shí)間，同時(shí)減輕相關(guān)的管理和維護(hù)負(fù)擔(dān)。

　　以生產(chǎn)制造模塊為例，HP RIM 系統(tǒng)將使用率低的歷史數(shù)據(jù)遷移出在線數(shù)據(jù)庫后，明顯增加了ERP在線系統(tǒng)的運(yùn)行能力和穩(wěn)定度，并且保證了數(shù)據(jù)完整性。用戶使用相關(guān)報(bào)表時(shí)，程序運(yùn)行效率大大提高，等待時(shí)間也縮短很多。經(jīng)過綜合測試，以查詢一個(gè)較大的報(bào)表為例，歸檔前需要半小時(shí)以上才能運(yùn)行完成，現(xiàn)在10分鐘內(nèi)即可展示結(jié)果。另外，現(xiàn)在每月月初，各業(yè)務(wù)單位幾乎同時(shí)使用系統(tǒng)進(jìn)行數(shù)據(jù)結(jié)算時(shí)，程序運(yùn)行效率的提高更是顯而易見。以生產(chǎn)部門為例，原來一天要對幾十萬個(gè)批次的生產(chǎn)數(shù)據(jù)的屬性、數(shù)量進(jìn)行分類、匯總，要耗整整一天時(shí)間，而現(xiàn)在只需要9個(gè)小時(shí)。

　　另外，通過歸檔，在線數(shù)據(jù)庫數(shù)據(jù)表的記錄數(shù)大量減少， 對應(yīng)的數(shù)據(jù)表的索引、數(shù)據(jù)存儲所需的空間也大大減少，提高了系統(tǒng)的綜合性能。

　　數(shù)據(jù)歸檔是一項(xiàng)需要長期進(jìn)行的工作，因?yàn)槊刻於紩a(chǎn)生新的歷史數(shù)據(jù)。因此，我們需要不斷完善歸檔策略，把握歸檔進(jìn)度，加強(qiáng)對數(shù)據(jù)系統(tǒng)管理的能力，來保障系統(tǒng)運(yùn)行的穩(wěn)定性、高效性。