應對超大訪問流量統(tǒng)計

申請免費試用、咨詢電話：400-8352-114

應用背景

新華網(wǎng)在世界網(wǎng)站的排名中名列我們國家新聞網(wǎng)站首位，網(wǎng)站的點擊率非常高，訪問流量很大。為了獲取網(wǎng)站的信息流量和使用情況，以及用戶訪問網(wǎng)站的相關信息，實現(xiàn)對各類業(yè)務信息流數(shù)據(jù)的統(tǒng)計分析，傳統(tǒng)的解決方法是由分析系統(tǒng)提取網(wǎng)站中所有服務器上的LOG日志文件，對LOG日志文件中所記錄的服務器訪問記錄進行統(tǒng)計分析，最終得出整個網(wǎng)站的訪問量的統(tǒng)計分析結(jié)果。

目前，新華網(wǎng)的服務器數(shù)量已達數(shù)十臺之多，如果使用這種方法來實現(xiàn)對整個網(wǎng)站的訪問情況的統(tǒng)計分析，則分析系統(tǒng)必須分別訪問并提取各個服務器的LOG文件，這樣就會給服務器以及整個網(wǎng)絡造成正常運行之外的額外系統(tǒng)開銷。假設每個服務器的LOG日志文件為10-100M字節(jié)量級，那么，數(shù)十臺服務器的LOG日志文件就是幾千兆字節(jié)，甚至幾十千兆字節(jié)，分析系統(tǒng)在提取這些日志文件時，一方面要加重服務器的訪問開銷，另一方面還要加重網(wǎng)絡交換機的負擔，損耗整個網(wǎng)絡的性能。另外，使用服務器LOG日志文件進行統(tǒng)計分析還不利于實時統(tǒng)計分析，因此，通常的解決方案不適合這種大型網(wǎng)絡的訪問流量的分析統(tǒng)計需求。

基于上述應用背景和分析，我們提出了一種全新的技術(shù)思路來實現(xiàn)新華網(wǎng)訪問流量統(tǒng)計分析的需求，即從網(wǎng)絡上實時采集數(shù)據(jù)流，從數(shù)據(jù)流中提取網(wǎng)絡會話并處理對網(wǎng)站中各類服務器群的訪問請求與應答信息，生成LOG項寫入LOG日志文件。在實際應用中我們選用了CAPTECH公司的網(wǎng)絡會話流采集分析系統(tǒng)NSCAS，其特點是針對高速網(wǎng)絡的數(shù)據(jù)采集、提取會話處理以及生成LOG日志文件。

NSCAS技術(shù)解析

NSCAS的網(wǎng)絡會話實時采集處理技術(shù)是在網(wǎng)絡線路上采用線路分向旁路監(jiān)聽方式，高速地采集網(wǎng)絡上所有數(shù)據(jù)流，從所采集到的數(shù)據(jù)包中提取網(wǎng)絡會話，對會話按相應的應用協(xié)議進行處理，生成LOG記錄項，按標準LOG日志文件格式進行記錄，形成標準的LOG日志文件，這樣就可以不用訪問服務器而獲得與服務器LOG日志文件格式相同的日志文件。

這項技術(shù)的優(yōu)勢在于，它不依賴于各種應用服務器的應用系統(tǒng)而獨立工作，不對系統(tǒng)和網(wǎng)絡的性能和負載產(chǎn)生任何影響。并且，由于日志文件的形成是可以由用戶自己定義，因此用戶可以將訪問某一類服務器的記錄放在同一個LOG日志文件中，這樣有利于后端統(tǒng)計分析軟件的運行效率，提高統(tǒng)計分析系統(tǒng)的處理能力。

新華網(wǎng)的應用效果

新華網(wǎng)采用NSCAS系統(tǒng)后，經(jīng)過一段時間的實際運行，完全滿足了新華網(wǎng)針對超大訪問流量統(tǒng)計分析的需求，同時，網(wǎng)絡自身的性能沒有受到任何影響。該方案中幾個關鍵技術(shù)點，如：高速數(shù)據(jù)采集的性能經(jīng)過在新華網(wǎng)中的實際測試，根據(jù)對網(wǎng)絡中實際傳輸?shù)母鞣N尺寸數(shù)據(jù)包類型的分布統(tǒng)計，得出其采集能力在700Mbps以上；在滿足對本地服務器LOG日志文件的合并處理的需求的基礎上，還實現(xiàn)了將新華網(wǎng)的各地區(qū)分社頻道以及國外分社頻道的LOG日志文件同本地服務器一同合并處理的附加功能，同時還解決了訪問流量的實時統(tǒng)計問題。