查看網(wǎng)站log日志來分析蜘蛛的抓取情況是我們SEO工作者必須要掌握的，但是特別要注意一些百度蜘蛛，這些蜘蛛在我們看來是沒有哪些不尋常的，但是它們的有些卻是一些偽蜘蛛，那么該要如何去識(shí)別這些偽蜘蛛呢？

何為“偽蜘蛛”，顧名思義就是假蜘蛛，所以我們稱非正常抓取網(wǎng)頁的百度蜘蛛都是一些偽蜘蛛。

大家都知道的是站長工具在查看網(wǎng)站信息后，就會(huì)出現(xiàn)“偽蜘蛛”的IP�，F(xiàn)在的站長工具IP地址為“117.28.255.42”，通常我們看到以"117"開頭的IP地址的百度蜘蛛都是偽蜘蛛，所以大家可以直接忽視了。想要識(shí)別時(shí)，直接使用命令行工具輸入指令“tracert IP地址”，出現(xiàn)的結(jié)果如下圖示：

而今天還要介紹一種“偽蜘蛛”，這種蜘蛛同樣也是百度官方的，但是卻是以不建立網(wǎng)頁索引為目的的蜘蛛。這類蜘蛛只是為了匹配網(wǎng)頁內(nèi)容才來抓取我們的網(wǎng)頁的，是不建立任何的索引的。所以這些百度蜘蛛我們也說它們是偽蜘蛛。

這些蜘蛛在cmd命令行工具tracert IP地址時(shí)，是看不出任何奇怪的現(xiàn)象的，和普通的百度蜘蛛沒有什么兩樣。如下圖：

其實(shí)我們?cè)倩仡^看一下這個(gè)百度蜘蛛的IP地址，會(huì)發(fā)現(xiàn)這些IP和正常的IP是一樣的，同樣都是以“123”開頭的，筆者的網(wǎng)站就曾出現(xiàn)過很多類似蜘蛛，所以就是說通過tracert命令也是不能完全的說明這個(gè)IP就是真的百度蜘蛛的。

這樣一來，除了聯(lián)盟蜘蛛大家要注意以外，也要注意百度廣告蜘蛛等偽蜘蛛的IP。

綜上所述，通過tracert命令查詢出來的蜘蛛只能查看非百度官方的蜘蛛，而對(duì)于百度內(nèi)部的一些蜘蛛（譬如百度聯(lián)盟）還得我們手工去認(rèn)識(shí)它并識(shí)別它到底是不是真正的能夠建立索引的百度蜘蛛。 

本文原創(chuàng)自http://www.45fan.com，轉(zhuǎn)載需注明出處。

標(biāo)簽： 網(wǎng)站log日志 偽蜘蛛 百度蜘蛛 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。