濟南鋼鐵楊震：數據歸檔瘦身ERP系統(tǒng)

申請免費試用、咨詢電話：400-8352-114

      從2004年濟南鋼鐵集團有限公司（以下簡稱濟鋼）的erp系統(tǒng)上線到現在，系統(tǒng)數據平均以每月13GB的速度迅猛增長，已由上線初期的46GB增至760GB。雖然，我們已經進行了多次的系統(tǒng)調優(yōu)、軟硬件升級，在短時間內、一定程度上提升了系統(tǒng)性能，但長期來看，數據量的迅猛增長將始終影響系統(tǒng)的運行效率，必須予以解決。

　　350GB的歷史數據

　　濟鋼作為山東省最大的鋼鐵制造企業(yè)和中國最大的板材制造及出口基地，近10年來，一直在大力推進信息化建設，陸續(xù)建設了公司內部骨干網絡、OA、ERP、BI等核心應用信息系統(tǒng)。

　　目前，ERP系統(tǒng)已成為濟鋼不可或缺的管理工具。但隨著ERP的深化應用，問題也逐漸產生——數據量的急速增長，極大地制約著信息系統(tǒng)的深化應用。隨著時間的推移，系統(tǒng)壓力越來越大，僅僅增加硬件投資，無法從根本上解決問題，只會讓ERP系統(tǒng)成為一個燒錢的無底洞。

歸檔原理圖

數據庫中各模塊數據量占百分比

　　截至2010年4月，濟鋼ERP系統(tǒng)的數據已增長到760GB。經過系統(tǒng)分析，我們發(fā)現濟鋼ERP數據庫現有的760GB的數據中，接近一半的數據為歷史數據，訪問頻率非常低。近350GB的歷史數據，對現有ERP系統(tǒng)性能造成了嚴重影響，特別是對數據量大、交互性非常強的庫存、成本管理、生產、銷售四個模塊。

　　以生產制造模塊（WIP）為例，濟鋼ERP系統(tǒng)生產制造模塊上線運行至今已有6年時間，隨著集團公司規(guī)模的不斷擴大以及信息系統(tǒng)不斷深入應用，其實施范圍已經覆蓋煉鋼、板材、熱軋廠、冷軋廠等所有主體生產廠，業(yè)務數據已涵蓋計劃編制、工單下達、產線管理、成品庫存、物資調撥等各項流程。

　　自上線以來，系統(tǒng)內共下達了60多萬條生產工單?，F在，濟鋼每月大約產生業(yè)務數據100余萬條，產生批次信息60余萬條，與之相關的業(yè)務數據達到2億條以上。急劇增長的數據給系統(tǒng)的運行和信息檢索帶來了沉重的負擔。

　　經過對數據庫的仔細分析，我們發(fā)現其中WIP模塊及相關的庫存模塊數據有接近一半的數據為可歸檔數據。這些數據的訪問頻率非常低，導致系統(tǒng)歷史數據負載過重，系統(tǒng)性能下降，用戶查詢、統(tǒng)計、分析歷史數據時速度相當慢，系統(tǒng)穩(wěn)定性也得不到保證。

　　透明歸檔

　　分離歷史與業(yè)務數據

　　為從根本上解決這一問題，濟鋼自動化部經過大量的考察交流、技術論證，決定聯(lián)手HP公司實施ERP歸檔系統(tǒng)，對濟鋼ERP系統(tǒng)進行瘦身，實現歷史數據與業(yè)務數據的分離，減輕業(yè)務系統(tǒng)壓力，提高業(yè)務系統(tǒng)各方面的性能。

　　歸檔系統(tǒng)的核心技術是透明訪問技術，其技術主要解決如何同時訪問在線數據庫及歸檔后的歷史數據庫的問題，用戶訪問數據將不受到任何影響，其原理如圖1所示。

　　經過分析，濟鋼ERP系統(tǒng)數據庫中庫存、成本管理、生產、銷售四個模塊數據量非常大，占總體數據大小的 52.43%，其中庫存最大， 約占總體數據的34%，成本管理占8%，WIP占7%，銷售模塊占3%（如圖2）。這四個模塊歷史數據占比較高，同時這些模塊的操作頻率高，數據及時性要求高。因此，數據歸檔系統(tǒng)的實施范圍主要集中在庫存、成本管理、生產、銷售這四個模塊。

　　濟鋼用Oracle的數據庫。數據歸檔系統(tǒng)HP RIM for Oracle EBS（Oracle 電子商務套件）的實施步驟是：首先，結合業(yè)務情況和系統(tǒng)負載，與庫存、成本、WIP及銷售業(yè)務相關人員討論，根據業(yè)務發(fā)展情況、數據期間跨度和使用頻率等條件，確定在線數據保留期限；然后，進入歸檔測試階段，也是整個項目的關鍵階段。在這一階段，我們在搭建的歸檔專用測試環(huán)境中進行了歸檔工作流程的整體測試，記錄了歸檔前后在線數據庫與歸檔歷史數據庫的變化，確認了歸檔程序的有效性及穩(wěn)定性。

　　測試的過程整體來說比較順利，但也出現了問題，主要集中在由于數據填寫不規(guī)范、不完整，導致無法實現系統(tǒng)歸檔等方面。例如，在系統(tǒng)上線初期，數據錄入者對一些必填項和可填項的把握不夠準確，導致數據不規(guī)范，從而影響了歸檔測試。經過查詢、修改、完善之后，數據規(guī)范問題得以解決。另外還有一些限制條件，會影響歸檔操作，以生產制造模塊為例，只有在庫存歸檔、成本更新歷史歸檔、生產工單關閉之后，生產制造模塊才能做數據歸檔。

　　進行了系統(tǒng)功能測試、系統(tǒng)壓力測試及相關報表系統(tǒng)的運行測試，確認歸檔程序可靠后，我們又進一步進行了重裝（Reload）測試，確保歸檔過程的可逆性。經過全面測試，HP RIM for Oracle EBS安全可靠，我們在ERP正式環(huán)境進行了最終的歸檔操作，并形成了正式的歸檔記錄文檔。

　　HP RIM歸檔系統(tǒng)針對Oracle EBS的特點，利用標準清除功能，通過Oracle EBS的并發(fā)請求提交歸檔任務，控制臺統(tǒng)一管理收集將要歸檔的數據信息，先將所要歸檔的數據移動到歸檔表空間保存成XML格式或集成 WORM存儲，然后再刪除EBS中的歸檔記錄，完成一次歸檔過程。HP RIM通過將不活躍的數據遷移到次級數據庫，保持了本地應用對該數據的透明訪問。歸檔過程可在線實施，從用戶的角度來看，同時訪問歷史數據與在線數據不會受到任何影響，業(yè)務用戶使用系統(tǒng)也不受干擾。

　　用戶可通過Archive Monitor（數據增長監(jiān)控和策略管理控制臺），檢測應用數據增長和程序性能，對每一個歸檔請求進行即時監(jiān)控，控制歸檔進度，處理可能出現的問題。

　　數據庫規(guī)模減半 時間減半

　　實施了首次數據庫歸檔后，在符合數據保留法規(guī)的要求的同時，ERP系統(tǒng)的總體數據庫大小大約減少了一半，從而降低了服務器和存儲基礎設施的成本、數據庫調優(yōu)的支出以及系統(tǒng)維護成本，提高了投資回報率。通過改善應用效率和把不活躍的數據搬遷，大大節(jié)省數據庫的空間，有效提高系統(tǒng)的性能，最大限度地降低系統(tǒng)的關鍵災難恢復時間和升級（軟件和硬件）宕機時間，同時減輕相關的管理和維護負擔。

　　以生產制造模塊為例，HP RIM 系統(tǒng)將使用率低的歷史數據遷移出在線數據庫后，明顯增加了ERP在線系統(tǒng)的運行能力和穩(wěn)定度，并且保證了數據完整性。用戶使用相關報表時，程序運行效率大大提高，等待時間也縮短很多。經過綜合測試，以查詢一個較大的報表為例，歸檔前需要半小時以上才能運行完成，現在10分鐘內即可展示結果。另外，現在每月月初，各業(yè)務單位幾乎同時使用系統(tǒng)進行數據結算時，程序運行效率的提高更是顯而易見。以生產部門為例，原來一天要對幾十萬個批次的生產數據的屬性、數量進行分類、匯總，要耗整整一天時間，而現在只需要9個小時。

　　另外，通過歸檔，在線數據庫數據表的記錄數大量減少， 對應的數據表的索引、數據存儲所需的空間也大大減少，提高了系統(tǒng)的綜合性能。

　　數據歸檔是一項需要長期進行的工作，因為每天都會產生新的歷史數據。因此，我們需要不斷完善歸檔策略，把握歸檔進度，加強對數據系統(tǒng)管理的能力，來保障系統(tǒng)運行的穩(wěn)定性、高效性。