從做SEO開始老大就一直給我灌輸：“要做科學(xué)的SEO，不管流量是漲還是降都要知道其中來源，而要了解這些同時判斷網(wǎng)站流量的走向就必須要靠日志分析，而不是憑感覺的猜測是哪些因素使用流量發(fā)生變化”。因此從一開始就從數(shù)據(jù)入手，對于網(wǎng)站的數(shù)據(jù)時實(shí)監(jiān)控，從數(shù)據(jù)中判斷網(wǎng)站的問題所在，然后做出相應(yīng)的改變。這也是我們網(wǎng)站能一直穩(wěn)定發(fā)展從流量的直線下降到回升直到大漲的一個原因所在。

最近網(wǎng)站的流量一直漲得非常的快，但是網(wǎng)站某一部份的抓取量卻直線下降，不過索引量還在不斷的提升流量也在不斷的上漲。也就因?yàn)檫@樣在8月底就發(fā)現(xiàn)抓取量的下降，但一直被前眼的流量所迷惑沒有對抓取下降做個數(shù)據(jù)分析，同時也是由于在做一些優(yōu)化而忽略了抓取量這一塊，一直到今天才對這一塊的數(shù)據(jù)做了個初步的分析，下面就把一個簡單的分析思路和結(jié)果分享給大家：

首先為了明確的知道具體哪一天抓取量出現(xiàn)了大的變化，同時和每個月有一個較明顯的對比，因此首先統(tǒng)計了下日志里從6月份到9月17號的每天抓取量如下圖：

根據(jù)這個統(tǒng)計圖可以看出，在6月抓取量還是正常的波動，同時七月底抓取上有明顯的上升，但是8月10號開始往下波動后就再也沒有回到原來的至高點(diǎn)。同時9月8號左右開始呈直線下降趨勢，從這個圖就可以初步的看出，網(wǎng)站在7月26號開始做過對抓取方面的優(yōu)化，同時10如果屬正常波動的話那么11號12號左右網(wǎng)站應(yīng)該做過調(diào)整，而這個調(diào)整是影響蜘蛛對網(wǎng)站的抓取的。網(wǎng)站從9月4號開始抓取量上升，同時8號開始下降，這兩個時間點(diǎn)也是有待去分析的。

接下來按照以前分析網(wǎng)站的慣例首先分析了下網(wǎng)站的響應(yīng)時間走勢，如下圖所示：

從上面兩個圖對比分析：

首先，9月份的響應(yīng)時間曲線波動非常的大，而抓取量波動也很大，而且曲線的波時恰恰相反。 4號開始響應(yīng)時間在下降，同時網(wǎng)站的抓取量在往上升，一直到8號響應(yīng)時間降到了最低點(diǎn)在這個上抓取量也上升到最高點(diǎn)從9號開始響應(yīng)時間上升，抓取量也開始下降，而且一直降，再也淌有回漲過，雖然13號開始網(wǎng)站的響應(yīng)時間又下降，但是抓取量還是一直下降。

從上面對9月份的分析可以看出，9月份影響蜘蛛對網(wǎng)站抓取的最明顯問題是網(wǎng)站的響應(yīng)時間，這一段時間服隨著流量的上漲，服務(wù)器的壓力也在上升，導(dǎo)致網(wǎng)站的響應(yīng)速度下降了很多而影響了蜘蛛對網(wǎng)站的抓取。但是13號開始抓取量還在降則可能除網(wǎng)站響應(yīng)速度外還有其它的原因所在。因此接下來分析了下8月份的數(shù)據(jù)曲線圖：

對于8月份，10號抓取量達(dá)到最高點(diǎn)以后抓就開始下降，且一直再也沒有回到那個至高點(diǎn)，按道理來講每天網(wǎng)站定期更新大批量的數(shù)據(jù)，抓取量應(yīng)該是上升的，但是它在降。而對比下圖發(fā)現(xiàn)，8月份的26號以前響應(yīng)時間非常平穩(wěn)，而且都比較快。從這一對比可以說明8月份抓取量的波動和網(wǎng)站的響應(yīng)速度沒有任何關(guān)系。

因此接下來就分析了下蜘蛛在8月份對網(wǎng)站抓取所返回的狀態(tài)碼：如下圖：

從上圖可以看出，蜘在8月份對網(wǎng)站的抓取過程中出現(xiàn)了2%的500狀態(tài)碼。而據(jù)數(shù)據(jù)統(tǒng)計，這時2%的數(shù)據(jù)全部來自于8月11號到13號。也就是說這三天網(wǎng)站出現(xiàn)過嚴(yán)重的網(wǎng)站內(nèi)部錯誤，服務(wù)器不能完成請求。

因此分析了下在8月10號前后對網(wǎng)站的改動：通過對網(wǎng)站代碼的分析（因?yàn)樽黾夹g(shù)的，網(wǎng)站代碼的改動時間很容易找出），發(fā)現(xiàn)在8月11號的時候網(wǎng)站添加了一個功能，而這個功能取數(shù)涉及三張表，而在取數(shù)時忽略了一個環(huán)節(jié)，因此在網(wǎng)站功能更新后的三天內(nèi)產(chǎn)生了很多錯誤頁面直到三天后發(fā)現(xiàn)才改掉。

綜合上面的兩個分析可以看出近期的抓取量下降主要是兩個原因：

1、網(wǎng)站訪問量大導(dǎo)致響應(yīng)速度下降。

2、網(wǎng)站內(nèi)部的錯誤導(dǎo)致蜘蛛對網(wǎng)站產(chǎn)生一個新的不利的判斷。

當(dāng)然這只是初步分析后得出的兩個結(jié)論，日志還得繼續(xù)分析因?yàn)樵诤罄m(xù)的分析中還發(fā)現(xiàn)最近網(wǎng)站產(chǎn)生了很多垃圾鏈接，而這些鏈接的來源可能也是程序方面出現(xiàn)問題。所有的問題都從IIS日志的分析中慢慢的浮出水面。 原因找到了，解決方案已經(jīng)非常簡單，征對相應(yīng)的問題做處理就是了。

作者：邱勝標(biāo)

原文地址：天涯獨(dú)行的博客

標(biāo)簽： 網(wǎng)站日志分析 網(wǎng)站SEO IIS日志分析 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。