在經(jīng)常分析網(wǎng)站日志文件的時(shí)候，總會(huì)發(fā)現(xiàn)百度蜘蛛（BaiDu Spider）IP中出現(xiàn)222.77.187.33，經(jīng)查詢，該IP是位于福建省福州市電信IP，而百度蜘蛛IP是位于北京的聯(lián)通IP。在網(wǎng)站日志中分析該IP的抓取行為時(shí)候發(fā)現(xiàn)，該IP只抓取網(wǎng)頁首頁，經(jīng)查詢，該IP為站長工具的一個(gè)友情鏈接檢測程序，該程序默認(rèn)模擬百度蜘蛛程序抓取頁面。

站長工具的友情鏈接檢測界面

該工具域名“link.chinaz.com”對(duì)應(yīng)的IP為“222.77.187.33”，位于福建省福州市。

百度蜘蛛IP（根據(jù)網(wǎng)站日志文件統(tǒng)計(jì)）

123.125.71.* Baiduspider/2.0（百度網(wǎng)頁爬蟲），也包括 Baiduspider-image（百度圖片爬蟲）

61.135.186.* Baiduspider-cpro（百度聯(lián)盟爬蟲）

百度蜘蛛IP出現(xiàn)偽裝IP的影響

分析網(wǎng)站日志文件是必不可少的工作，因?yàn)榫W(wǎng)站日志中記錄著詳細(xì)的數(shù)據(jù)，這些數(shù)據(jù)包括搜索引擎爬蟲數(shù)據(jù)、服務(wù)器運(yùn)行、用戶瀏覽行為數(shù)據(jù)等等，對(duì)這些數(shù)據(jù)的分析，可以比較全面的掌握網(wǎng)站的情況。

對(duì)與SEO工作，針對(duì)性分析搜索引擎的爬蟲數(shù)據(jù)，有助于了解這些蜘蛛的爬行習(xí)慣，進(jìn)一步改進(jìn)網(wǎng)站。

面對(duì)互聯(lián)網(wǎng)數(shù)以億計(jì)的網(wǎng)頁數(shù)據(jù)，搜索引擎為了增加提高自身爬蟲的工作效率果，往往會(huì)使用多個(gè)IP或同一IP下的多個(gè)蜘蛛程序進(jìn)行抓取工作，但如果這些IP段或者蜘蛛程序存在偽裝，必然會(huì)影響SEO人員對(duì)搜索引擎蜘蛛程序行為分析的判斷結(jié)果，從而可能會(huì)影響SEO決策。

何況這次偽裝的是百度蜘蛛的IP地址，抓取數(shù)量也比較多，造成的影響會(huì)更加嚴(yán)重，經(jīng)過查詢，很多SEO人員在網(wǎng)絡(luò)上詢問：

為什么百度蜘蛛總是抓取的網(wǎng)站首頁？

為什么百度蜘蛛總是抓取而不是收錄我的網(wǎng)站？

類似以上的問題在網(wǎng)絡(luò)上很多，這些對(duì)于結(jié)果，對(duì)SEO人員的判斷和工作都會(huì)造成很大的影響。

來源：何清勇SEO博客

標(biāo)簽： 百度蜘蛛 網(wǎng)站日志文件分析 搜索引擎蜘蛛 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。