昨天在查詢網(wǎng)站收錄數(shù)據(jù)，看到最近一周收錄的文章有三次重復(fù)。同個網(wǎng)站內(nèi)兩篇文章重復(fù)收錄無論是對于讀者還是對于搜索引擎都是不好的，一篇同樣文章被收錄三次，另外兩篇就成了"垃圾"了嘛，據(jù)說大量重復(fù)收錄會被搜索引擎懲罰(沒驗證過)。

點擊進(jìn)入鏈接，除了原網(wǎng)頁，分別出現(xiàn)

http://www.stcash.com/5273/comment-page-1

http://www.stcash.com/5273?replytocom=1989

前面一篇文章居然出現(xiàn)一個三級目錄，后面一篇文章又類似于動態(tài)網(wǎng)頁網(wǎng)址。我文章中是沒有這兩個鏈接地址的，查看網(wǎng)頁源碼，看出了一點端倪。

我發(fā)現(xiàn)了這兩個?replytocom=1989網(wǎng)址的來源：文章評論鏈接

四個評論剛好對應(yīng)四個replytocom，百度蜘蛛可能有一定的智能，四個replytocom網(wǎng)址中只收錄了一個，但是又不夠智能，沒有區(qū)分出來評論鏈接和原文鏈接對應(yīng)的文章內(nèi)容是相同的。

comment-page-1網(wǎng)址同樣是來源于評論鏈接，comment-page-1代表著評論頁面的第一頁。如果我的評論比較多，比如說有1000條評論，那么一頁肯定是顯示不下去的，就會出現(xiàn)comment-page-2，comment-page-3......這就是評論分頁功能，這個功能本質(zhì)上是防止評論過多時，網(wǎng)頁會被拉的很長，導(dǎo)致網(wǎng)頁加載速度慢和用戶體驗差。但是不巧的是，百度蜘蛛依然不能識別出來這和原文

解決方案

1，對于comment-page-1重復(fù)收錄，有兩種方式解決

1)，在wordpress后臺關(guān)閉評論分頁

2)，修改robots.txt，加上一句項目的代碼

Disallow: /comment-page-

robots.txt在網(wǎng)站根目錄，使用 網(wǎng)址/robots.tx就可以看到設(shè)置的結(jié)果了。如果根目錄下沒有這個文件

wp-includes/funtion中有這么一段代碼：

1. $output = "User-agent: *\n";
2. $public = get_option( 'blog_public' );
3. if ( '0' == $public ) {
4.     $output .= "Disallow: /\n";
5. } else {
6.     $site_url = parse_url( site_url() );
7.     $path = ( !emptyempty( $site_url['path'] ) ) ? $site_url['path'] : '';
8.     $output .= "Disallow: $path/wp-admin/\n";
9. }

在 $output .= "Disallow: $path/wp-admin/\n";  后面增加一句$output .= "Disallow: $path/comment-page-\n";

2，對于replytocom重復(fù)收錄,設(shè)置robots.txt文件

Disallow:/*?replytocom=

或者是加上對于包含replytocom的所有鏈接都加上nofollow鏈接

1. add_filter('comment_reply_link', 'add_nofollow', 420, 4);
2. function add_nofollow($link, $args, $comment, $post){
3.   return str_replace("href=", "rel='nofollow' href=", $link);
4. }

來源：校賺網(wǎng)朱海濤，原創(chuàng)文章如轉(zhuǎn)載，請注明本文鏈接: http://www.stcash.com/5433

標(biāo)簽： 文章收錄 網(wǎng)站優(yōu)化 百度收錄 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。