我們知道，搜索引擎都有自己的“搜索機(jī)器人”（ROBOTS），并通過這些ROBOTS在網(wǎng)絡(luò)上沿著網(wǎng)頁上的鏈接（一般是http和src鏈接）不斷抓取資料建立自己的數(shù)據(jù)庫。作為站長為了避免部分網(wǎng)頁被索引導(dǎo)致的權(quán)重流失，我們提供了robots來很好的解決這個困擾，做到了“舊瓶裝新酒”，讓你的站在搜索引擎中有良好的表現(xiàn)。

我們來看宜昌SEO的robots.txt ：www.seo86.net/robots.txt，這樣做的目的是讓搜索引擎覺得我們的網(wǎng)站更規(guī)范權(quán)威。接下來我們說一下robots權(quán)重方面的“舊瓶裝新酒”

舊瓶裝新酒一：用robots屏蔽內(nèi)容相似或沒有內(nèi)容的頁面

我們知道搜索搜索引擎收錄后有一個判斷審核的過程，當(dāng)出現(xiàn)相似度高的頁面會刪除其中的一個，那么robots會幫到這個忙。比如我http://www.***.net/wangluo/?p=321和http://www.***.net/123內(nèi)容差不多，那么我們可以把第一個屏蔽掉。屏蔽代碼：Disallow:/wangluo/?p=

這樣子就可以很好的減少重復(fù)頁面，對搜索引擎留下良好的影響。

舊瓶裝新酒二：用robots.txt屏蔽掉多余的鏈接，當(dāng)我們出現(xiàn)動態(tài)、靜態(tài)同是都可以訪問的情況，我們可以去掉動態(tài)的。

我們，發(fā)現(xiàn)很多網(wǎng)站會有多個鏈接指向同一個頁面，這中現(xiàn)象的普片存在，會讓搜索引擎對網(wǎng)站的權(quán)威性產(chǎn)生疑問，可以通過robots把不重要的鏈接去掉

比如：www.***.net/?P=123和www.***.net/123，那么我們可以用Disallow:/?p=屏蔽掉

舊瓶裝新酒三：鏟除死鏈接

死鏈接就是原來存在，后來因為改版或者更新的原因刪除了鏈接和網(wǎng)頁

比如原來某個目錄（假設(shè)是/tempweb/）下面的所有鏈接，因為改版的原因這個目錄下面的變成了死鏈接，那么可以這樣子來屏蔽他。代碼為：Disallow:/tempweb/

舊瓶裝新酒四：被k的鏈接處理

我們做網(wǎng)站優(yōu)化的知道，很多關(guān)鍵字排名下降的問題，很可能是被k的外部鏈接導(dǎo)致的，所以我們可以把所有的外部鏈接統(tǒng)一放在一個鏈接目錄下面，然后用robots統(tǒng)一屏蔽，比如http://www.***.net/sns/web-link這個上面的所有鏈接都http://www.***.net/sns/link.php?下面我們采取的屏蔽代碼Disallow:/link.php?

如果您對robots的具體操作不是很清楚，可以在百度官方提供的robots.txt指南學(xué)習(xí)http://www.baidu.com/search/robots.html同時希望大家靈活運用，將robots的功能發(fā)揮到極致，相信你的排名也會穩(wěn)如泰山。若您在robots方面還有其他的疑問可以加QQ1256271624大家一起探討。

文章作者：宜昌SEO

本文地址：http://www.seo86.net/258/

版權(quán)所有 © 轉(zhuǎn)載時必須以鏈接形式注明作者和原始出處！

標(biāo)簽： 搜索機(jī)器人 robots.txt寫法 robots.txt怎么寫 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。