由于鏈接的的指向，而導(dǎo)致網(wǎng)站內(nèi)容重復(fù)，一直是網(wǎng)站SEO的大忌。不同的鏈接指向同一個(gè)網(wǎng)頁(yè)，就會(huì)被搜索引擎判定為作弊。昨天提到的WordPress重定向插件，在一定意義上也是為了阻止重復(fù)內(nèi)容。然而，由于WordPress的結(jié)構(gòu)原因，往往就會(huì)發(fā)生網(wǎng)頁(yè)內(nèi)容重復(fù)的狀況。例如：http://www.domain.com/archive/1 和 http://www.domain.com/archive/1/feed兩個(gè)網(wǎng)址下的內(nèi)容就是一樣的，所以，我們就必須想辦法阻止這樣的情況發(fā)生。

通常，解決重復(fù)內(nèi)容的方法有：使用noindex標(biāo)簽，利用excerpt實(shí)現(xiàn)內(nèi)容摘要，以及配置robots.txt。今天就主要說(shuō)說(shuō)在WordPress下使用robots.txt文件。

robots.txt文件就像一個(gè)網(wǎng)站的大門，它會(huì)告訴搜索引擎的蜘蛛，可以抓取哪里的網(wǎng)頁(yè)內(nèi)容，哪里的不能抓取。因此，配置好robots.txt文件，完全可以理想的組織blog內(nèi)容重復(fù)的問(wèn)題。robots.txt的具體文法和使用方法，可以參考robotstxt.org。在國(guó)內(nèi)，此類的WordPress robots.txt比較流行：


User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback/
Disallow: /?s=

剛才看到 filination.com上面提到的一個(gè)robots文件，并且提供了簡(jiǎn)短的解釋。剛剛接觸robots.txt文件的朋友，可以參考一下：

User-agent: Googlebot

# Disallow all directories and files within
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/

# Disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

# Disallow parsing individual post feeds, categories and trackbacks..
Disallow: */trackback/
Disallow: */feed/
Disallow: /category/*

Robots.txt因人而異，不同的人對(duì)robots有不同的理解，在加上SEO一直是一個(gè)熱門話題，所以WordPress的robots文件不會(huì)是唯一的，也不會(huì)有一個(gè)最好的。大家要是有覺(jué)得更好的，不妨分享一下。

標(biāo)簽： SEO WordPress robots.txt 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。