我們都知道robots.txt文件是搜索引擎遵守的一個(gè)抓取協(xié)議，但是是不是真的有效果呢？

搜索引擎真的會遵循這個(gè)協(xié)議嗎？

讓我們首先來看看

下面這段 [這是我南昌SEO站點(diǎn)的robots.txt設(shè)置：允許GG 百度、ALEXA 抓取，屏蔽了其他一切引擎禁止！]

User-agent:Googlebot
Disallow:
User-agent:baiduspider
Disallow:
User-agent:ia_archiver
Disallow:
User-agent:*
Disallow:/

從理論上來說 這樣的設(shè)置就屏蔽了其他一切引擎，但實(shí)際上這種方法并不能完全屏蔽SOSO YAHOO MSN之類的爬蟲，在YAHOO上輸入site：www.seo-jx.cn還是可以看到內(nèi)容以及索引的！

遵守robots協(xié)議與否當(dāng)然是由他們自己說了算的！所以要想完全屏蔽搜索引擎的爬蟲，需要在.htaccess中加入限制語句才行，這里我們介紹2種最簡單的方法：

1：

RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC] 
RewriteRule .* - [F]
 
2：
SetEnvIfNoCase User-Agent "^MSNBOT" bad_bot
<Limit GET POST> 
Order Allow,Deny 
Allow from all 
Deny from env=bad_bot 
</Limit>

注：MSNBOT 為MSN蜘蛛機(jī)器人代碼 ，如果想要真正屏蔽某個(gè)搜索引擎 把其中的紅色部分[MSNBOT]

換成你想要屏蔽的蜘蛛機(jī)器人代碼即可！

請不要隨意添寫 否則造成損失與本人無關(guān)！

SEO小林發(fā)布，轉(zhuǎn)載請注明出處：江西南昌SEO http://www.seo-jx.cn/

標(biāo)簽： SEO心得 搜索引擎協(xié)議 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。