關(guān)于這個robots.txt正確的寫法，蛋疼博客-老林參考了很多作者的寫法、還有百度的文獻，發(fā)現(xiàn)有的作者解釋或者寫法太過簡單，造成新手不易理解，當(dāng)然蛋疼博客-老林也不敢保證百分百解釋得讓你很明白。

robots.txt是以什么形式存在？robots.txt就是一份網(wǎng)站和搜索引擎雙方簽訂的規(guī)則協(xié)議書。每一個搜索引擎的蜘蛛訪問一個站點時，它首先爬行來檢查該站點根目錄下是否存在robots.txt。如果存在，蜘蛛就會按照該協(xié)議書上的規(guī)則來確定自己的訪問范圍；如果沒有robots.txt，那么蜘蛛就會沿著鏈接抓取。

請牢牢記�。簉obots.txt必須放置在站點的根目錄下，而且文件名必須全部小寫。Disallow后面的冒號必須為英文狀態(tài)的。

我們先來理解User-agent和Disallow的定義。

● User-agent：該項用于描述搜索引擎蜘蛛的名字。（1）規(guī)定所有蜘蛛：User-agent:*；（2）規(guī)定某一個蜘蛛：User-agent:BaiduSpider。

● Disallow：該項用于描述不希望被抓取和索引的一個URL，這個URL可以是一條完整的路徑。這有幾種不同定義和寫法：（1）Disallow:/AAA.net，任何以域名+Disallow描述的內(nèi)容開頭的URL均不會被蜘蛛訪問，也就是說以AAA.net目錄內(nèi)的文件均不會被蜘蛛訪問；（2）Disallow：/AAA.net/則允許robots抓取和索引AAA.net/index.html，而不能抓取和索引AAA.net/admin.html；（3）如果Disallow記錄為空，說明該網(wǎng)站的所有部分都允許被訪問。在robots.txt文件中，至少應(yīng)有Disallow記錄，如果robots.txt為空文件，則對所有的搜索引擎robot來說，該網(wǎng)站都是開放的。

1、國內(nèi)建站需要用到的常見搜索引擎robot的名稱。

有時候我們覺得網(wǎng)站訪問量（IP）不多，但是網(wǎng)站流量為什么耗的快？有很多的原因是垃圾（沒有）蜘蛛爬行和抓取消耗的。而網(wǎng)站要屏蔽哪個搜索引擎或只讓哪個搜索引擎收錄的話，首先要知道每個搜索引擎robot的名稱。

2、robots.txt文件基本常用寫法：

首先，你先建一個空白文本文檔（記事本），然后命名為：robots.txt。

（1）禁止所有搜索引擎訪問網(wǎng)站的任何部分。

User-agent: *

Disallow: /

（2）允許所有的robots訪問，無任何限制。

User-agent: *

Disallow:

或者

User-agent: *

Allow: /

還可以建立一個空文件robots.txt或者不建立robots.txt。

（3）僅禁止某個搜索引擎的訪問（例如：百度baiduspider）

User-agent: BaiduSpider

Disallow:/

（4）允許某個搜索引擎的訪問（還是百度）

User-agent: BaiduSpider

Disallow:

User-agent: *

Disallow: /

這里需要注意，如果你還需要允許谷歌bot，那么也是在“User-agent: *”前面加上，而不是在“User-agent: *”后面。

（5）禁止Spider訪問特定目錄和特定文件（圖片、壓縮文件）。

User-agent: *

Disallow: /AAA.net/

Disallow: /admin/

Disallow: .jpg$

Disallow: .rar$

這樣寫之后，所有搜索引擎都不會訪問這2個目錄。需要注意的是對每一個目錄必須分開說明，而不要寫出“Disallow:/AAA.net/ /admin/”。

標(biāo)簽： 網(wǎng)站結(jié)構(gòu)優(yōu)化 SEO學(xué)習(xí) robots文件 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。