很多新手網(wǎng)站優(yōu)化專員每天迷茫寫文章、做外鏈這些繁瑣工作，卻對Robots.txt不了解它的重要性，本文就給大家普及robots.txt文件編寫知識。

Robots協(xié)議的全稱是“網(wǎng)絡爬蟲排除標準”，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。搜索蜘蛛發(fā)現(xiàn)不存在robots.txt文件時，會產(chǎn)生一個404錯誤日志在服務器上，從而增加服務器的負擔，因此為站點添加一個robots.txt文件還是網(wǎng)站優(yōu)化很重要的。

查詢Robots協(xié)議，在瀏覽器輸入：http://域名/robots.txt/ 默認情況下會直接顯示

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

這是由系統(tǒng)自動生成的，意思是告訴搜索引擎不要抓取后臺程序文件。

下面說一下站點如何編寫robots.txt文件，完整的站點robots.txt文件內容如下：

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /*/comment-page-*

Disallow: /*?replytocom=*

Disallow: /category/*/page/

Disallow: /tag/*/page/

Disallow: /*/trackback

Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

Disallow: /?s=*

Disallow: /*/?s=*\

Disallow: /*?*

Disallow: /attachment/

使用方法：新建一個名稱為robots.txt文本文件，將上面的內容放進去，然后上傳到網(wǎng)站根目錄即可。

下面分別解釋一下各項的作用：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺程序文件頁面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取評論分頁等相關鏈接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收錄分類和標簽的分頁。

4、Disallow: /*/trackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收錄feed鏈接。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站內搜索結果

7、Disallow: /*?*

禁止搜索抓取動態(tài)頁面

8、Disallow: /attachment/

禁止搜索引擎抓取附件頁面，比如毫無意義的圖片附件頁面。

以上就是用Robots.txt實現(xiàn)網(wǎng)站優(yōu)化的具體操作流程，希望能夠幫助到你的網(wǎng)站優(yōu)化（eqiseo.com）。