網站IT運維管理經驗探討和心得分享

申請免費試用、咨詢電話：400-8352-114

一、什么是大型網站運維?

首先明確一下，全文所講的”運維“是指：大型網站運維，與其它運維的區(qū)別還是蠻大的；然后我們再對大型網站與小型網站進行范圍定義，此定義主要從運維復雜性角度考慮，如網站規(guī)范、知名度、服務器量級、pv量等考慮，其它因素不是重點；因此，我們先定義服務器規(guī)模大于1000臺，pv每天至少上億（至少國內排名前10），如sina、baidu、QQ，51.com等等；其它小型網站可能沒有真正意義上的運維工程師，這與網站規(guī)范不夠和成本因素有關，更多的是集合網絡、系統(tǒng)、開發(fā)工作于一身的“復合性人才”，就如有些公司把一些合同采購都納入了運維職責范圍，還有如IDC網絡規(guī)劃也納入運維職責。所以，非常重要一定需要明白：運維對其它關聯(lián)工種必須非常了解熟悉：網絡、系統(tǒng)、系統(tǒng)開發(fā)、存儲，安全,DB等；我在這里所講的運維工程師就是指專職運維工程師。

我們再來說說一般產品的“出生”流程：

1、首先公司管理層給出指導思想，PM定位市場需求（或copy成熟應用）進行調研、分析、最終給出詳細設計。

2、架構師根據產品設計的需求，如pv大小預估、服務器規(guī)模、應用架構等因素完成網絡規(guī)劃,架構設計等（基本上對網絡變動不大，除非大項目）

3、開發(fā)工程師將設計code實現(xiàn)出來、測試工程師對應用進行測試。

4、好，到運維工程師出馬了，首先明確一點不是說前三步就與運維工作無關了，恰恰相反，前三步與運維關系很大：應用的前期架構設計、軟/硬件資源評估申請采購、應用設計性能隱患及評估、IDC、服務性能安全調優(yōu)、服務器系統(tǒng)級優(yōu)化（與特定應用有關）等都需運維全程參與，并主導整個應用上線項目；運維工程師負責產品服務器上架準備工作，服務器系統(tǒng)安裝、網絡、IP、通用工具集安裝。運維工程師還需要對上線的應用系統(tǒng)架構是否合理、是否具備可擴展性、及安全隱患等因素負責，并負責最后將產品（程序）、網絡、系統(tǒng)三者進行拼接并最優(yōu)化的組合在一起，最終完成產品上線提供用戶使用，并周而復使：需求->開發(fā)（升級）->測試->上線（性能、安全問題等之前預估外的問題隨之慢慢就全出來了）在這里提一點：網站開發(fā)模式與傳統(tǒng)軟件開發(fā)完全不一樣，網站一天開發(fā)上線1~5個升級版本是家常便飯，用戶體驗為王嘛，如果某個線上問題像M$需要1年解決，用戶早跑光了；應用上線后，運維工作才剛開始，具體工作可能包括：升級版本上線工作、服務監(jiān)控、應用狀態(tài)統(tǒng)計、日常服務狀態(tài)巡檢、突發(fā)故障處理、服務日常變更調整、集群管理、服務性能評估優(yōu)化、數據庫管理優(yōu)化、隨著應用PV增減進行應用架構的伸縮、安全、運維開發(fā)工作：

a、盡量將日常機械性手工工作通過工具實現(xiàn)（如服務監(jiān)控、應用狀態(tài)統(tǒng)計、服務上線等等），提高效率。

b、解決現(xiàn)實中服務存在的問題，如高可靠性、可擴展性問題等。

c、大規(guī)模集群管理工具的開發(fā)，如1萬臺機器如何在1分鐘內完成密碼修改、或運行指定任務？2000臺服務器如何快速安裝操作系統(tǒng)？各分布式IDC、存儲集群中數PT級的數據如何快速的存儲、共享、分析？等一系列挑戰(zhàn)都需運維工程師的努力。

在此說明一下其它配合工種情況，在整個項目中，前端應用對于網絡/系統(tǒng)工程師來說是黑匣子，同時開發(fā)工程師職責只是負責完成應用的功能性開發(fā)，并對應用本身性能、安全性等應用本身負責，它不負責或關心網絡/系統(tǒng)架構方面事宜，當然軟/硬件采購人員等事業(yè)部其它同事也不會關心這些問題，各司其職，但項目的核心是運維工程師~！所有其它部門的橋梁。

上面說了很多，我想大家應該對運維有一些概念了，在此打個比方吧，如果我們是一輛高速行駛在高速公路上的汽車，那運維工程師就是司機兼維修工，這個司機不簡單，有時需要在高速行駛過程中換輪胎、并根據道路情況換檔位、當汽車速度越來越快，汽車本身不能滿足高速度時對汽車性能調優(yōu)或零件升級、高速行進中解決汽車故障及性能問題、時刻關注前方安全問題，并先知先覺的采取規(guī)避手段。這就是運維工作~！

最后說一下運維工程師的職責：”確保線上穩(wěn)定“，看似簡單，但實屬不容易，運維工程師必須在諸多不利因素中進行權衡：新產品模式對現(xiàn)有架構及技術的沖擊、產品高頻度的升級帶來的線上BUG隱患、運維自動化管理承度不高導致的人為失誤、上網行為行業(yè)追求的高效率導致流程執(zhí)行上的缺失、用戶增漲帶來的性能及架構上的壓力、上網行為行業(yè)寬松的技術管理文化、創(chuàng)新風險、互聯(lián)網安全性問題等因素，都會是網站穩(wěn)定的大敵，運維工程師必須把控好這最后一關，需具體高度的責任感、原則性及協(xié)調能力，如果能做到各因素的最佳平衡，那就是一名優(yōu)秀的運維工程師了。

另外在此聊點題外話，我在這里看到有很多人要sina、QQ、baidu,51.com等聊自已的運維方面的經驗，其實這對于它們有點免為其難：

a、各公司自已網絡架構、規(guī)模、或多或少還算是公司的核心秘密，要保密，另外，對于大家所熟知的通用軟件、架構，由于很多公司會根據自已實際業(yè)務需要，同時因為原版性能、安全性、已知bug、功能等原因，進行過二次開發(fā)（如apache,php,mysql），操作系統(tǒng)內核也會根據不同業(yè)務類型進行定制的，如某些應用屬于運算型、某些是高IO型、或大存儲大內存型。根據這些特點進行內核優(yōu)化定制，如sina就在memcache上進行過二次開發(fā)，搞出了一個MemcacheDB，具體做得如何我們不談，但開源了，是值得稱贊的，國內公司對于開源基本上是索取，沒有貢獻；另外，服務器也不是大家所熟知的型號，根據業(yè)務特點，大部份都是找DELL/HP/ibm進行過定制；另外，在分布式儲存方面都有自已解決方案，要不就是使用現(xiàn)成開源hadoop等解決方案，或自已開發(fā)。但90%都是借鑒googleGFS的思想:分布式存儲、計算、大表。

b、各公司業(yè)務方向不一樣，會導致運維模式或方法都不一樣，如51.com和baidu運維肯定區(qū)別很大，因為他們業(yè)務模式決定了其架構、服務器量級、IDC分布、網絡結構、通用技術都會不一樣，主打新聞門戶的sina與主打sns的51.com運維模式差異就非常大,甚至職責都不大一樣；但有一點，通用技術及大致架構上都大同小異，大家不要太神化，更多的公司只是玩壘積木的游戲罷了，沒什么技術含量。

c、如上面所講，目前大型網站運維還處于幼年時期理念和經驗都比較零散，沒有成熟的知識體系，可能具體什么是運維，大家都要先思索一番，或壓根沒想過，真正討論也只是運維工作的冰山一角，局限于具體技術細節(jié)，或某某著名網站大的框架，真正運維體系化東西沒有，這也許是目前網上運維相關資料比較少的原故吧?；蛘咭彩菄鴥冗\維人員比較難招，比較牛的運維工程師比較少見的原因之一吧
 

【推薦閱讀】

◆上網行為運維管理專區(qū)

◆網絡運維流程管理平臺技術架構

◆網絡運維流程管理平臺功能模塊

◆網絡運維流程管理平臺改進目標

◆網管軟件專區(qū)