網(wǎng)站日志分析:清楚網(wǎng)絡蜘蛛的爬行日志

申請免費試用、咨詢電話：400-8352-114

在seo逐步普及的大浪潮下，許多所謂的seoer都將她簡單歸結為內(nèi)容和外鏈，其實這個說法并沒有錯，內(nèi)容和外鏈的確是做seo最為重要的兩大手段，但這就好像某領導在某大會上發(fā)言：“我們要繼往開來，我們要卓越進取！”，繼往開來是對的，卓越進取是對的，但靠什么繼往開來、卓越進取就不得而知了。所以在這里我想說的就是科學的理性的看待seo，內(nèi)容和外鏈發(fā)布中的一些方法細節(jié)在這里姑且不談，我們就談一談如何有效分析一個階段中seo的效果。

下面言歸正傳，大家都應該知道搜索引擎對網(wǎng)站的了解靠的是網(wǎng)絡蜘蛛，所以通過分析網(wǎng)站日志中網(wǎng)絡蜘蛛的動向，就能清晰的認識到蜘蛛的訪問頻率、訪問去向，從而分析得出正確的seo優(yōu)化方法。

一般的網(wǎng)站日志形為

66.249.72.250 - - ［16/Jun/2012:01:03:44 +0800］ “GET /skill/skill06/20120501_261_2.html HTTP/1.1” 200 15468 “-” “Mozilla/5.0 （compatible; Googlebot/2.1; +http://www.google.com/bot.html）” tcie.cn text/html “/usr/home/hmu090204/htdocs/skill/skill06/20120501_261_2.html”

每一項數(shù)據(jù)代表什么意思就不一一介紹了，不明白的可以去問百度。那么我們前面說要分析一個階段的數(shù)據(jù)，這一個階段可以是半個月、1個月甚至可以是1年，然后通過我們介紹的方法，來達到數(shù)據(jù)分析的目的。具體操作如下：

1、 例子中選取了1周的數(shù)據(jù)，在這里我們需要用到一個工具——《光年SEO日志分析系統(tǒng)》（非廣告），利用它的“日志拆分”功能，就能達到目的，方法如下圖。

2、 點擊下一步后，添加拆分條件，選擇到agent，在自定義值處填入baiduspider（這里是分析百度蜘蛛，也可以填入googlebot來分析谷歌蜘蛛），然后再下一步……直到保存，最后會生成兩個.log文件，不帶_exclude的是我們需要的，帶_exclude的則是拆分后剩下的。

3、 打開我們需要的log文件，然后從第四行的date開始直到結束，整體復制到excel中A列中，然后利用excel的分列功能，“數(shù)據(jù)”-“分列”-“分隔符號”-勾選“空格”-“完成”，最終得到我們需要的表格化的數(shù)據(jù)（表頭如下圖）。

4、 前3步是網(wǎng)站日志數(shù)據(jù)表格的制作過程，接下來就需要用到excel中強大的“數(shù)據(jù)透視表”功能進行數(shù)據(jù)分析的工作，我這里用的是excel2003版，用07版的同學可以在數(shù)據(jù)那一項找到。

5、 點擊“數(shù)據(jù)透視表和數(shù)據(jù)透視圖”后，excel已經(jīng)幫我們選定好了范圍，再點擊完成，之后會出現(xiàn)“數(shù)據(jù)透視表”的界面。

6、 我們可以嘗試將“數(shù)據(jù)透視表字段列表”中的“date”拖入“行字段”中，然后將“cs-method”拖入“數(shù)據(jù)字段”中，大家看到了什么？如圖所示，從6月10日到17日，每一天百度蜘蛛訪問的次數(shù)就顯而易見了，蜘蛛的訪問頻率一定是和我們的操作有關的，回憶一下，在蜘蛛訪問頻率高的前一天你都做了些什么，多做這樣的總結，你就能得出規(guī)律了。

7、 你不僅可以分析每一天的蜘蛛訪問頻率，也可以分析蜘蛛抓取了你網(wǎng)站的哪些頁面，方法很簡單，將“數(shù)據(jù)透視表”中“行字段”的“date”換成“cs-uri-stem”，重新刷新數(shù)據(jù)透視表即可。

上面我講到也只是一些基礎的方法，還是那句話，工具是死的，人是活的，數(shù)據(jù)分析的維度在于你想知道什么樣的結論。