記得很早以前，那個時間新浪屏蔽百度蜘蛛的事件傳得很大，其實你主要是學(xué)會了ROBOTS.TXT的寫法，那就簡單的了，兩下就認(rèn)出了這事的真假。所以說學(xué)好技術(shù)，可以更好的知道真相。

首先，我們先來認(rèn)識我們親愛的蜘蛛們吧：

國內(nèi)的搜索引擎蜘蛛

百度蜘蛛：baiduspider

搜狗蜘蛛：sogou spider

有道蜘蛛：YodaoBot和OutfoxBot

搜搜蜘蛛： Sosospider

國外的搜索引擎蜘蛛

google蜘蛛： googlebot

yahoo蜘蛛：Yahoo！ Slurp

alexa蜘蛛：ia_archiver

bing蜘蛛（MSN）：msnbot

Robots.txt的幾個常用英文意思

• User-Agent： 適用下列規(guī)則的漫游器

• Allow： 充許被抓取的網(wǎng)頁

• Disallow： 要攔截的網(wǎng)頁

Robots.txt的兩個常用符號

“*”： 匹配0或多個任意字符（也有所有的意思）

“$”：匹配行結(jié)束符。

介紹得差不多了，下面來進(jìn)入正題，Robots.txt：

一、充許所有的蜘蛛抓�。�

User-agent： *

Disallow：

或者

User-agent： *

Allow： /

（*號可以理解為所以的意思）

二、禁止所有的robot抓取

User-agent： *

Disallow： /

三、禁止某一蜘蛛抓�。�

User-agent： 蜘蛛名（上面介紹得有）

Disallow： /

四、只充許某一蜘蛛抓�。�

User-agent： 蜘蛛名（上面介紹得有）

Disallow：

User-agent： *

Disallow： /

上半部分是禁止該蜘蛛抓取，下半部分是充許所有，總體意思就是禁止此蜘蛛，充許其它蜘蛛。

五、禁止蜘蛛抓取某些目錄

如禁止抓取admin和manage目錄

User-agent： *

Disallow： /admin/

Disallow： /manage/

六、禁止蜘蛛特定后綴文件，這個用“*”號

如禁止抓取.htm的文件

User-agent： *

Disallow： *.htm（*號后面然后是點文件名，如.asp，.php）

七、僅充許抓取特定后綴文件，這個用“$”號

如僅充許.htm的文件

User-agent： *

Allow： .htm$

Disallow： /

（圖片也可以參考第六條和第七條這個樣子）

八、禁止抓取動態(tài)網(wǎng)頁

User-agent： *

Disallow： /*？*

這個在論壇很有用，一般偽靜態(tài)后，就不需要搜索引擎再收錄其動態(tài)地址了。做論壇的朋友們注意了。

九、聲明網(wǎng)站地圖sitemap

這個告訴搜索引擎你的sitemap在哪

Sitemap： http://你的域名/sitemap.xml

做完這些我們?nèi)绾螜z查我們的robots.txt這個文件的有效性呢？推薦使用 Google管理員工具，登錄后訪問“工具 ->分析 robots.txt”，檢查文件有效性。

原創(chuàng)文章請注明轉(zhuǎn)載自：武漢seo-sem說

本文地址：http://www.semsay.com/seo/37.html

標(biāo)簽： 蜘蛛抓取 搜索引擎蜘蛛 搜索SEO 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。