robots.txt文件的功能非常有限，它并不能誘使蜘蛛在你的網(wǎng)站上花費更多的時間或者訪問更多的頁面。但你可以發(fā)揮robots.txt文件的作用來對自己的網(wǎng)站進行一定的優(yōu)化處理。

1. 每當(dāng)一個用戶試圖訪問一個已經(jīng)不存在的URL時，服務(wù)器就會在日志中記錄一個404錯誤（無法找到文件）。每當(dāng)蜘蛛來尋找并不存在的robots.txt文件時，服務(wù)器也將在日志中記錄一條404錯誤，所以你應(yīng)該在網(wǎng)站根目錄下添加一個robots.txt文件，哪怕是一個空白的robots文件也好。

2. 使蜘蛛程序遠(yuǎn)離某些服務(wù)器上的目錄——保證服務(wù)器性能。避免將所有程序文件被蜘蛛索引，可以節(jié)省服務(wù)器資源。

3.robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣：

Sitemap： http：//www.lhxuji.com/sitemap.xml //這個通告對百度有一定的作用

Google網(wǎng)站管理員里有一個分析robots.txt工具，可以幫助我們分析robots.txt是否成功設(shè)置了阻止Google蜘蛛對特定網(wǎng)頁的訪問，以及robots.txt是否有語法錯誤等等。

1. https：//www.google.com/webmasters/tools/

進入后，選擇你要分析的網(wǎng)站，然后選擇工具》》分析robots.txt

2. 進入后你可以看到有關(guān)你網(wǎng)站的robots.txt的基本信息

3.也可以對自己寫的robots.txt文件進行相關(guān)的測試，填入你寫的robots.txt文件和要測試的網(wǎng)站（包括被你阻止的地址）保障不出差錯。

我使用的robots.txt

Sitemap： http：//www.lhxuji.com/sitemap.xml

User-Agent： *

Disallow： /wp-content/

robots.txt語法：http：//www.baidu.com/search/robots.html

標(biāo)簽： Google com Baidu 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。