對(duì)于robots.txt文件對(duì)于網(wǎng)站的作用大家都知道，但是通過(guò)觀察發(fā)現(xiàn)，有些朋友對(duì)于robots.txt文件的規(guī)則還是有一定的誤區(qū)。

比如有很多人這樣寫：

User-agent: *

Allow: /

Disallow: /mulu/

不知道大家有沒(méi)有看出來(lái)，這個(gè)規(guī)則其實(shí)是不起作用的，第一句Allow: / 指的是允許蜘蛛爬行所有內(nèi)容，第二句Disallow: /mulu/指的是禁止/mulu/下面的所有內(nèi)容。

表面上看這個(gè)規(guī)則想達(dá)到的目的是：允許蜘蛛爬行除了/mulu/之外的網(wǎng)站所有頁(yè)面。

但是搜索引擎蜘蛛執(zhí)行的規(guī)則是從上到下，這樣會(huì)造成第二句命令失效。

正確的規(guī)則應(yīng)該是：

User-agent: *

Disallow: /mulu/

Allow: /

也就是先執(zhí)行禁止命令，再執(zhí)行允許命令，這樣就不會(huì)失效了。

另外對(duì)于百度蜘蛛來(lái)說(shuō)，還有一個(gè)容易犯的錯(cuò)誤，那就是Disallow命令和Allow命令之后要以斜杠/開頭，所以有些人這樣寫：Disallow: *.html 這樣對(duì)百度蜘蛛來(lái)說(shuō)是錯(cuò)誤的，應(yīng)該寫成：Disallow: /*.html 。

有時(shí)候我們寫這些規(guī)則可能會(huì)有一些沒(méi)有注意到的問(wèn)題，現(xiàn)在可以通過(guò)百度站長(zhǎng)工具（zhanzhang.baidu.com）和Google站長(zhǎng)工具來(lái)測(cè)試。

相對(duì)來(lái)說(shuō)百度站長(zhǎng)工具robots工具相對(duì)簡(jiǎn)陋一些：

百度Robots工具只能檢測(cè)每一行命令是否符合語(yǔ)法規(guī)則，但是不檢測(cè)實(shí)際效果和抓取邏輯規(guī)則。

相對(duì)來(lái)說(shuō)Google的Robots工具好用很多，如圖：

在谷歌站長(zhǎng)工具里的名稱是抓取工具的權(quán)限，并報(bào)告Google抓取網(wǎng)站頁(yè)面的時(shí)候被攔截了多少個(gè)網(wǎng)址。

還可以在線測(cè)試Robots修改后的效果，當(dāng)然這里的修改只是測(cè)試用，如果沒(méi)有問(wèn)題了，可以生成robots.txt文件，或者把命令代碼復(fù)制到robots.txt文本文檔中，上傳到網(wǎng)站根目錄。

Google的測(cè)試跟百度有很大的區(qū)別，它可以讓你輸入某一個(gè)或者某些網(wǎng)址，測(cè)試Google蜘蛛是否抓取這些網(wǎng)址。

測(cè)試結(jié)果是這些網(wǎng)址被Google蜘蛛抓取的情況，這個(gè)測(cè)試對(duì)于Robots文件對(duì)某些特定url的規(guī)則是否有效。

而兩個(gè)工具結(jié)合起來(lái)當(dāng)然更好了，這下應(yīng)該徹底明白robots應(yīng)該怎么寫了吧。

轉(zhuǎn)載請(qǐng)注明來(lái)自逍遙博客，本文地址：http://liboseo.com/1170.html，轉(zhuǎn)載請(qǐng)注明出處和鏈接！

標(biāo)簽： robots.txt 百度站長(zhǎng)工具 robots設(shè)置 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。