像很多開始學SEO的新手一樣，SEO地愛歪也對這個問題有過迷惑，認為百度、Google等的蜘蛛都是晚上爬行這也是很多SEO高手或大師們的說法。所以造成了大多數SEO們的認識。

可是就在前幾天，SEO地愛歪也想真正尋求這個問題的答案。而方法就是分析WEB服務器的訪問日志。今天我就下載網站的日志，并帶領大家一起尋找百度SPIDER的蹤跡。我用的萬網的UNIX服務器，可能有的朋友跟我的不同，不過大同小異。

1、我們FTP到網站目錄

2、打開wwwlogs目錄，如果根目錄下沒用該目錄，請詢問服務商的技術支持，反正這一步找到日志文件的存放路徑

3、查看日志文件，一般來講，訪問日志會按照日期進行存儲，比如SEO地愛歪的就是access.log.2.gz

4、我們拖放該文件到本地

5、解壓，然后用寫字板打開，一般用記事本打開會顯示得很亂

6、查詢baiduspider

7、在結果中查看百度蜘蛛的爬行痕跡，如圖所示：

8/我們繼續(xù)尋找百度蜘蛛的蹤跡，下面是百度蜘蛛晚上3點

61.135.168.39 - - ［23/Jun/2008：03：06：59 +0800］ “GET / HTTP/1.1” 200 6248 “-” “Baiduspider+（+

9、下圖是我們本文的重點，

61.135.168.35 - - ［23/Jun/2008：10：39：52 +0800］ ”GET / HTTP/1.1“ 200 6248 ”-“ ”Baiduspider+（+

我們可以很明白的看到百度蜘蛛上午10點仍然在爬行我的站點。

10、我們繼續(xù)尋找，可以看到11點12點13點、14點的爬行蹤跡。

總之，百度蜘蛛爬行不一定只有晚上，可能白天也很多，換點石的一位會員的說法是：

蜘蛛一般很早就來吃早餐如果你的網站很美味，中午和下午都會再回來。 原文：www.zph5.com

標簽： 百度 蜘蛛 

版權申明：本站文章部分自網絡，如有侵權，請聯系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯系。