robots.txt文件的功能非常有限，它并不能誘使蜘蛛在你的網(wǎng)站上花費(fèi)更多的時(shí)間或者訪問(wèn)更多的頁(yè)面。但你可以發(fā)揮robots.txt文件的作用來(lái)對(duì)自己的網(wǎng)站進(jìn)行一定的優(yōu)化處理。

1. 每當(dāng)一個(gè)用戶試圖訪問(wèn)一個(gè)已經(jīng)不存在的URL時(shí)，服務(wù)器就會(huì)在日志中記錄一個(gè)404錯(cuò)誤（無(wú)法找到文件）。每當(dāng)蜘蛛來(lái)尋找并不存在的robots.txt文件時(shí)，服務(wù)器也將在日志中記錄一條404錯(cuò)誤，所以你應(yīng)該在網(wǎng)站根目錄下添加一個(gè)robots.txt文件，哪怕是一個(gè)空白的robots文件也好。

2. 使蜘蛛程序遠(yuǎn)離某些服務(wù)器上的目錄——保證服務(wù)器性能。避免將所有程序文件被蜘蛛索引，可以節(jié)省服務(wù)器資源。

3.robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣：

Sitemap： http：//www.lhxuji.com/sitemap.xml //這個(gè)通告對(duì)百度有一定的作用

Google網(wǎng)站管理員里有一個(gè)分析robots.txt工具，可以幫助我們分析robots.txt是否成功設(shè)置了阻止Google蜘蛛對(duì)特定網(wǎng)頁(yè)的訪問(wèn)，以及robots.txt是否有語(yǔ)法錯(cuò)誤等等。

1. https：//www.google.com/webmasters/tools/

進(jìn)入后，選擇你要分析的網(wǎng)站，然后選擇工具》》分析robots.txt

2. 進(jìn)入后你可以看到有關(guān)你網(wǎng)站的robots.txt的基本信息

3.也可以對(duì)自己寫的robots.txt文件進(jìn)行相關(guān)的測(cè)試，填入你寫的robots.txt文件和要測(cè)試的網(wǎng)站（包括被你阻止的地址）保障不出差錯(cuò)。

我使用的robots.txt

Sitemap： http：//www.lhxuji.com/sitemap.xml

User-Agent： *

Disallow： /wp-content/

robots.txt語(yǔ)法：http：//www.baidu.com/search/robots.html

標(biāo)簽： Google com Baidu 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。