很多新手網(wǎng)站優(yōu)化專員每天迷茫寫文章、做外鏈這些繁瑣工作，卻對(duì)Robots.txt不了解它的重要性，本文就給大家普及robots.txt文件編寫知識(shí)。

Robots協(xié)議的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”，網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。搜索蜘蛛發(fā)現(xiàn)不存在robots.txt文件時(shí)，會(huì)產(chǎn)生一個(gè)404錯(cuò)誤日志在服務(wù)器上，從而增加服務(wù)器的負(fù)擔(dān)，因此為站點(diǎn)添加一個(gè)robots.txt文件還是網(wǎng)站優(yōu)化很重要的。

查詢Robots協(xié)議，在瀏覽器輸入：http://域名/robots.txt/ 默認(rèn)情況下會(huì)直接顯示

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

這是由系統(tǒng)自動(dòng)生成的，意思是告訴搜索引擎不要抓取后臺(tái)程序文件。

下面說(shuō)一下站點(diǎn)如何編寫robots.txt文件，完整的站點(diǎn)robots.txt文件內(nèi)容如下：

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /*/comment-page-*

Disallow: /*?replytocom=*

Disallow: /category/*/page/

Disallow: /tag/*/page/

Disallow: /*/trackback

Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

Disallow: /?s=*

Disallow: /*/?s=*\

Disallow: /*?*

Disallow: /attachment/

使用方法：新建一個(gè)名稱為robots.txt文本文件，將上面的內(nèi)容放進(jìn)去，然后上傳到網(wǎng)站根目錄即可。

下面分別解釋一下各項(xiàng)的作用：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺(tái)程序文件頁(yè)面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取評(píng)論分頁(yè)等相關(guān)鏈接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收錄分類和標(biāo)簽的分頁(yè)。

4、Disallow: /*/trackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收錄feed鏈接。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站內(nèi)搜索結(jié)果

7、Disallow: /*?*

禁止搜索抓取動(dòng)態(tài)頁(yè)面

8、Disallow: /attachment/

禁止搜索引擎抓取附件頁(yè)面，比如毫無(wú)意義的圖片附件頁(yè)面。

以上就是用Robots.txt實(shí)現(xiàn)網(wǎng)站優(yōu)化的具體操作流程，希望能夠幫助到你的網(wǎng)站優(yōu)化（eqiseo.com）。