作為一名seoer，對(duì)網(wǎng)站日志分析是必需要掌握的一項(xiàng)基本的技能，通過(guò)日志分析可以分析爬蟲(chóng)抓取頁(yè)面有效性,通過(guò)日志分析蜘蛛返回的狀態(tài)碼能及時(shí)發(fā)現(xiàn)網(wǎng)站里面是否存在錯(cuò)誤或者蜘蛛無(wú)法爬取的頁(yè)面，排查網(wǎng)站頁(yè)面中存在的404錯(cuò)誤頁(yè)面，500服務(wù)器錯(cuò)誤等這些噪音內(nèi)容上噪音頁(yè)面上（重復(fù)頁(yè)面，低質(zhì)量頁(yè)面，空內(nèi)容頁(yè)面，404頁(yè)面，不排名頁(yè)面等）

一、網(wǎng)站日志可以為我們做什么？

1、 可以分析爬蟲(chóng)抓取頁(yè)面有效性（減少搜索引擎在一些噪音頁(yè)面上：重復(fù)頁(yè)面，低質(zhì)量頁(yè)面，空內(nèi)容頁(yè)面，404頁(yè)面，不排名頁(yè)面 的抓取頻率）；

2、排查網(wǎng)站頁(yè)面中存在的404錯(cuò)誤頁(yè)面，500服務(wù)器錯(cuò)誤等

3、頁(yè)面重要內(nèi)容是否被爬蟲(chóng)完整爬到并且快速遍歷；

4、正確分辨蜘蛛爬蟲(chóng)

二、常見(jiàn)HTTP狀態(tài)碼解讀

1、200代碼，表示蜘蛛爬取正常

2、404代碼，訪問(wèn)的這個(gè)鏈接是錯(cuò)誤鏈接

3、301代碼，永久重定向

4、302代碼，表示臨時(shí)重定向

5、304代碼，客戶(hù)端已經(jīng)執(zhí)行了GET，但文件未變化。

6、500代碼，表示網(wǎng)站內(nèi)部程序或服務(wù)器有錯(cuò)

接著，我列舉一個(gè)網(wǎng)站日志的案例：

日志里的含義，可以大家看下網(wǎng)站日志中各個(gè)數(shù)據(jù)都代表什么意思，總之這個(gè)文件是記錄的一天發(fā)生在網(wǎng)站上的一些行為。當(dāng)我們拿到這么一個(gè)網(wǎng)站日志，我們就可以審視我們的日志，并且通過(guò)對(duì)日志文件分析解決網(wǎng)站存在的問(wèn)題；

三、日志代碼解讀

從日志文件當(dāng)中可以解讀出兩個(gè)部分內(nèi)容：

1、搜索引擎抓取情況

從日志文件中，可以大家看到搜索引擎抓取了一些404頁(yè)面及低質(zhì)量重負(fù)頁(yè)面（噪音行為）

備注：可以通過(guò)nslookup  ip 識(shí)別蜘蛛的真假

/date-2016-01.html（低質(zhì)量重負(fù)頁(yè)面）

/author-1.html（低質(zhì)量重負(fù)頁(yè)面）

/downloads/（低質(zhì)量頁(yè)面）

/contact.html（死鏈接接），但這里有個(gè)問(wèn)題，這個(gè)頁(yè)面返回的狀態(tài)碼為200而不是404，但頁(yè)面卻跳轉(zhuǎn)到404頁(yè)面，從中可以發(fā)現(xiàn)服務(wù)器設(shè)置一定有問(wèn)題；

所以，當(dāng)我們有一些頁(yè)面不希望他們抓取的時(shí)候，我們需要在robots中進(jìn)行規(guī)范。規(guī)范robots一個(gè)重要的手段，就是robots.txt。爬蟲(chóng)糾偏，讓爬蟲(chóng)花更多的精力放在我的詳情頁(yè)面上。

2、用戶(hù)訪問(wèn)網(wǎng)站情況

關(guān)于用戶(hù)網(wǎng)站訪問(wèn)情況, 主要分析用戶(hù)訪問(wèn)網(wǎng)站行為軌跡及用戶(hù)屬性，在這就不進(jìn)行講述

版權(quán)說(shuō)明：如非注明，本站文章均為裕騰智工作室原創(chuàng)，轉(zhuǎn)載請(qǐng)注明出處和附帶本文鏈接

http://www.ying88.net/seoyouhua/42.html

標(biāo)簽： SEO 網(wǎng)站日志 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。