網(wǎng)站日志分析:清楚網(wǎng)絡(luò)蜘蛛的爬行日志

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

在seo逐步普及的大浪潮下，許多所謂的seoer都將她簡(jiǎn)單歸結(jié)為內(nèi)容和外鏈，其實(shí)這個(gè)說(shuō)法并沒(méi)有錯(cuò)，內(nèi)容和外鏈的確是做seo最為重要的兩大手段，但這就好像某領(lǐng)導(dǎo)在某大會(huì)上發(fā)言：“我們要繼往開(kāi)來(lái)，我們要卓越進(jìn)??！”，繼往開(kāi)來(lái)是對(duì)的，卓越進(jìn)取是對(duì)的，但靠什么繼往開(kāi)來(lái)、卓越進(jìn)取就不得而知了。所以在這里我想說(shuō)的就是科學(xué)的理性的看待seo，內(nèi)容和外鏈發(fā)布中的一些方法細(xì)節(jié)在這里姑且不談，我們就談一談如何有效分析一個(gè)階段中seo的效果。

下面言歸正傳，大家都應(yīng)該知道搜索引擎對(duì)網(wǎng)站的了解靠的是網(wǎng)絡(luò)蜘蛛，所以通過(guò)分析網(wǎng)站日志中網(wǎng)絡(luò)蜘蛛的動(dòng)向，就能清晰的認(rèn)識(shí)到蜘蛛的訪問(wèn)頻率、訪問(wèn)去向，從而分析得出正確的seo優(yōu)化方法。

一般的網(wǎng)站日志形為

66.249.72.250 - - ［16/Jun/2012:01:03:44 +0800］ “GET /skill/skill06/20120501_261_2.html HTTP/1.1” 200 15468 “-” “Mozilla/5.0 （compatible; Googlebot/2.1; +http://www.google.com/bot.html）” tcie.cn text/html “/usr/home/hmu090204/htdocs/skill/skill06/20120501_261_2.html”

每一項(xiàng)數(shù)據(jù)代表什么意思就不一一介紹了，不明白的可以去問(wèn)百度。那么我們前面說(shuō)要分析一個(gè)階段的數(shù)據(jù)，這一個(gè)階段可以是半個(gè)月、1個(gè)月甚至可以是1年，然后通過(guò)我們介紹的方法，來(lái)達(dá)到數(shù)據(jù)分析的目的。具體操作如下：

1、 例子中選取了1周的數(shù)據(jù)，在這里我們需要用到一個(gè)工具——《光年SEO日志分析系統(tǒng)》（非廣告），利用它的“日志拆分”功能，就能達(dá)到目的，方法如下圖。

2、 點(diǎn)擊下一步后，添加拆分條件，選擇到agent，在自定義值處填入baiduspider（這里是分析百度蜘蛛，也可以填入googlebot來(lái)分析谷歌蜘蛛），然后再下一步……直到保存，最后會(huì)生成兩個(gè).log文件，不帶_exclude的是我們需要的，帶_exclude的則是拆分后剩下的。

3、 打開(kāi)我們需要的log文件，然后從第四行的date開(kāi)始直到結(jié)束，整體復(fù)制到excel中A列中，然后利用excel的分列功能，“數(shù)據(jù)”-“分列”-“分隔符號(hào)”-勾選“空格”-“完成”，最終得到我們需要的表格化的數(shù)據(jù)（表頭如下圖）。

4、 前3步是網(wǎng)站日志數(shù)據(jù)表格的制作過(guò)程，接下來(lái)就需要用到excel中強(qiáng)大的“數(shù)據(jù)透視表”功能進(jìn)行數(shù)據(jù)分析的工作，我這里用的是excel2003版，用07版的同學(xué)可以在數(shù)據(jù)那一項(xiàng)找到。

5、 點(diǎn)擊“數(shù)據(jù)透視表和數(shù)據(jù)透視圖”后，excel已經(jīng)幫我們選定好了范圍，再點(diǎn)擊完成，之后會(huì)出現(xiàn)“數(shù)據(jù)透視表”的界面。

6、 我們可以嘗試將“數(shù)據(jù)透視表字段列表”中的“date”拖入“行字段”中，然后將“cs-method”拖入“數(shù)據(jù)字段”中，大家看到了什么？如圖所示，從6月10日到17日，每一天百度蜘蛛訪問(wèn)的次數(shù)就顯而易見(jiàn)了，蜘蛛的訪問(wèn)頻率一定是和我們的操作有關(guān)的，回憶一下，在蜘蛛訪問(wèn)頻率高的前一天你都做了些什么，多做這樣的總結(jié)，你就能得出規(guī)律了。

7、 你不僅可以分析每一天的蜘蛛訪問(wèn)頻率，也可以分析蜘蛛抓取了你網(wǎng)站的哪些頁(yè)面，方法很簡(jiǎn)單，將“數(shù)據(jù)透視表”中“行字段”的“date”換成“cs-uri-stem”，重新刷新數(shù)據(jù)透視表即可。

上面我講到也只是一些基礎(chǔ)的方法，還是那句話，工具是死的，人是活的，數(shù)據(jù)分析的維度在于你想知道什么樣的結(jié)論。