用織夢DEDECMS建站的站長會發(fā)現(xiàn)，DEDECMS自帶的robots.txt文件設(shè)置很簡單（開發(fā)者基于每個網(wǎng)站的目錄結(jié)構(gòu)和優(yōu)化目的不同的考慮），并不能完全滿足網(wǎng)站的優(yōu)化要求，那怎樣才能結(jié)合自己網(wǎng)站的情況，做好robots.txt優(yōu)化呢？以下介紹一點自己的想法，僅供參考。

適用于未偽靜態(tài)的DEDECMS網(wǎng)站。

User-agent: *

Disallow: /dede 管理后臺目錄，需要改名，具體設(shè)置后面具體講

Disallow: /include 程序核心文件目錄

Disallow: /member 會員管理目錄，有些文件可以開放

Disallow: /plus 插件及輔助功能目錄 ，有些文件可以開放，如search.php

Disallow: /templets 默認(rèn)模板存放目錄

Disallow: /data 系統(tǒng)緩存或其它可寫入數(shù)據(jù)存放目錄

Disallow: /uploads 上傳下載文件保存目錄,不想搜索引擎引用圖片的話，禁止

Disallow: /images 系統(tǒng)默認(rèn)模板圖片存放目錄

Disallow: /index.php 網(wǎng)站默認(rèn)首頁，靜態(tài)化的話，最好禁止

Disallow: /404.html

Allow: /plus/search.php 開放禁止目錄里的具體文件

...

基本設(shè)置就是這樣，下面著重講下后臺管理目錄和欄目頁的設(shè)置：

1.dede目錄，為了網(wǎng)站安全考慮需要改名。然而改名之后，大家不免疑惑：改了名，在robots.txt文件里怎么設(shè)置呢？直接禁止抓取，還是泄露了后臺目錄，等于改名無效。那么該如何解決這個問題呢?我們可以通過下面的設(shè)置解決這個問題，如后臺目錄為dedecms：

Disallow: /d*ms

這樣我們就能即禁止了搜索引擎的抓取，又不會泄露了后臺目錄名稱。

2.欄目頁。有些人會注意到，如果網(wǎng)站不做偽靜態(tài)優(yōu)化的話，欄目分頁后會有兩個鏈接指向欄目首頁，如*/web/和*/web/list_1_1.html，為了網(wǎng)站優(yōu)化，建議先將欄目分頁優(yōu)化以下（具體做法大家可以在網(wǎng)上找），把首頁和第一頁的鏈接改為*/web/的形式，然后在robots.txt文件里做以下設(shè)置:

Disallow: /*1.html$

以上就是DEDECMS robots.txt文件的設(shè)置，大家可以根據(jù)自己網(wǎng)站的情況具體設(shè)置。

注意事項：

1.按官方說明設(shè)置好目錄權(quán)限；

2.后臺目錄改后的名稱開頭字母和結(jié)尾字母不要和其他目錄一樣；

3.用百度站長工具測試一下robots.txt文件設(shè)置是否有效。

本文由http://www.1886sj.com編輯。

標(biāo)簽： dedecms robots 網(wǎng)站

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。