從做SEO開(kāi)始老大就一直給我灌輸：“要做科學(xué)的SEO，不管流量是漲還是降都要知道其中來(lái)源，而要了解這些同時(shí)判斷網(wǎng)站流量的走向就必須要靠日志分析，而不是憑感覺(jué)的猜測(cè)是哪些因素使用流量發(fā)生變化”。因此從一開(kāi)始就從數(shù)據(jù)入手，對(duì)于網(wǎng)站的數(shù)據(jù)時(shí)實(shí)監(jiān)控，從數(shù)據(jù)中判斷網(wǎng)站的問(wèn)題所在，然后做出相應(yīng)的改變。這也是我們網(wǎng)站能一直穩(wěn)定發(fā)展從流量的直線下降到回升直到大漲的一個(gè)原因所在。

最近網(wǎng)站的流量一直漲得非常的快，但是網(wǎng)站某一部份的抓取量卻直線下降，不過(guò)索引量還在不斷的提升流量也在不斷的上漲。也就因?yàn)檫@樣在8月底就發(fā)現(xiàn)抓取量的下降，但一直被前眼的流量所迷惑沒(méi)有對(duì)抓取下降做個(gè)數(shù)據(jù)分析，同時(shí)也是由于在做一些優(yōu)化而忽略了抓取量這一塊，一直到今天才對(duì)這一塊的數(shù)據(jù)做了個(gè)初步的分析，下面就把一個(gè)簡(jiǎn)單的分析思路和結(jié)果分享給大家：

首先為了明確的知道具體哪一天抓取量出現(xiàn)了大的變化，同時(shí)和每個(gè)月有一個(gè)較明顯的對(duì)比，因此首先統(tǒng)計(jì)了下日志里從6月份到9月17號(hào)的每天抓取量如下圖：

根據(jù)這個(gè)統(tǒng)計(jì)圖可以看出，在6月抓取量還是正常的波動(dòng)，同時(shí)七月底抓取上有明顯的上升，但是8月10號(hào)開(kāi)始往下波動(dòng)后就再也沒(méi)有回到原來(lái)的至高點(diǎn)。同時(shí)9月8號(hào)左右開(kāi)始呈直線下降趨勢(shì)，從這個(gè)圖就可以初步的看出，網(wǎng)站在7月26號(hào)開(kāi)始做過(guò)對(duì)抓取方面的優(yōu)化，同時(shí)10如果屬正常波動(dòng)的話那么11號(hào)12號(hào)左右網(wǎng)站應(yīng)該做過(guò)調(diào)整，而這個(gè)調(diào)整是影響蜘蛛對(duì)網(wǎng)站的抓取的。網(wǎng)站從9月4號(hào)開(kāi)始抓取量上升，同時(shí)8號(hào)開(kāi)始下降，這兩個(gè)時(shí)間點(diǎn)也是有待去分析的。

接下來(lái)按照以前分析網(wǎng)站的慣例首先分析了下網(wǎng)站的響應(yīng)時(shí)間走勢(shì)，如下圖所示：

從上面兩個(gè)圖對(duì)比分析：

首先，9月份的響應(yīng)時(shí)間曲線波動(dòng)非常的大，而抓取量波動(dòng)也很大，而且曲線的波時(shí)恰恰相反。 4號(hào)開(kāi)始響應(yīng)時(shí)間在下降，同時(shí)網(wǎng)站的抓取量在往上升，一直到8號(hào)響應(yīng)時(shí)間降到了最低點(diǎn)在這個(gè)上抓取量也上升到最高點(diǎn)從9號(hào)開(kāi)始響應(yīng)時(shí)間上升，抓取量也開(kāi)始下降，而且一直降，再也淌有回漲過(guò)，雖然13號(hào)開(kāi)始網(wǎng)站的響應(yīng)時(shí)間又下降，但是抓取量還是一直下降。

從上面對(duì)9月份的分析可以看出，9月份影響蜘蛛對(duì)網(wǎng)站抓取的最明顯問(wèn)題是網(wǎng)站的響應(yīng)時(shí)間，這一段時(shí)間服隨著流量的上漲，服務(wù)器的壓力也在上升，導(dǎo)致網(wǎng)站的響應(yīng)速度下降了很多而影響了蜘蛛對(duì)網(wǎng)站的抓取。但是13號(hào)開(kāi)始抓取量還在降則可能除網(wǎng)站響應(yīng)速度外還有其它的原因所在。因此接下來(lái)分析了下8月份的數(shù)據(jù)曲線圖：

對(duì)于8月份，10號(hào)抓取量達(dá)到最高點(diǎn)以后抓就開(kāi)始下降，且一直再也沒(méi)有回到那個(gè)至高點(diǎn)，按道理來(lái)講每天網(wǎng)站定期更新大批量的數(shù)據(jù)，抓取量應(yīng)該是上升的，但是它在降。而對(duì)比下圖發(fā)現(xiàn)，8月份的26號(hào)以前響應(yīng)時(shí)間非常平穩(wěn)，而且都比較快。從這一對(duì)比可以說(shuō)明8月份抓取量的波動(dòng)和網(wǎng)站的響應(yīng)速度沒(méi)有任何關(guān)系。

因此接下來(lái)就分析了下蜘蛛在8月份對(duì)網(wǎng)站抓取所返回的狀態(tài)碼：如下圖：

從上圖可以看出，蜘在8月份對(duì)網(wǎng)站的抓取過(guò)程中出現(xiàn)了2%的500狀態(tài)碼。而據(jù)數(shù)據(jù)統(tǒng)計(jì)，這時(shí)2%的數(shù)據(jù)全部來(lái)自于8月11號(hào)到13號(hào)。也就是說(shuō)這三天網(wǎng)站出現(xiàn)過(guò)嚴(yán)重的網(wǎng)站內(nèi)部錯(cuò)誤，服務(wù)器不能完成請(qǐng)求。

因此分析了下在8月10號(hào)前后對(duì)網(wǎng)站的改動(dòng)：通過(guò)對(duì)網(wǎng)站代碼的分析（因?yàn)樽黾夹g(shù)的，網(wǎng)站代碼的改動(dòng)時(shí)間很容易找出），發(fā)現(xiàn)在8月11號(hào)的時(shí)候網(wǎng)站添加了一個(gè)功能，而這個(gè)功能取數(shù)涉及三張表，而在取數(shù)時(shí)忽略了一個(gè)環(huán)節(jié)，因此在網(wǎng)站功能更新后的三天內(nèi)產(chǎn)生了很多錯(cuò)誤頁(yè)面直到三天后發(fā)現(xiàn)才改掉。

綜合上面的兩個(gè)分析可以看出近期的抓取量下降主要是兩個(gè)原因：

1、網(wǎng)站訪問(wèn)量大導(dǎo)致響應(yīng)速度下降。

2、網(wǎng)站內(nèi)部的錯(cuò)誤導(dǎo)致蜘蛛對(duì)網(wǎng)站產(chǎn)生一個(gè)新的不利的判斷。

當(dāng)然這只是初步分析后得出的兩個(gè)結(jié)論，日志還得繼續(xù)分析因?yàn)樵诤罄m(xù)的分析中還發(fā)現(xiàn)最近網(wǎng)站產(chǎn)生了很多垃圾鏈接，而這些鏈接的來(lái)源可能也是程序方面出現(xiàn)問(wèn)題。所有的問(wèn)題都從IIS日志的分析中慢慢的浮出水面。 原因找到了，解決方案已經(jīng)非常簡(jiǎn)單，征對(duì)相應(yīng)的問(wèn)題做處理就是了。

作者：邱勝標(biāo)

原文地址：天涯獨(dú)行的博客

標(biāo)簽： 網(wǎng)站日志分析 網(wǎng)站SEO IIS日志分析 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。