robots.txt是一種存放于網(wǎng)站根目錄下的文本文件，用于告訴搜索引擎的爬蟲(chóng)（spider），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的索引，哪些是可以被索引。通常認(rèn)為，robots.txt文件用來(lái)搜索引擎對(duì)目標(biāo)網(wǎng)頁(yè)的抓取。

robots.txt協(xié)議并不是一個(gè)規(guī)范，而只是約定俗成的，通常搜索引擎會(huì)識(shí)別這個(gè)文件，但也有一些特殊情況。

對(duì)于Google來(lái)說(shuō)，使用robots也未必能阻止Google將網(wǎng)址編入索引，如果有其他網(wǎng)站鏈接到該網(wǎng)頁(yè)的話，Google依然有可能會(huì)對(duì)其進(jìn)行索引。按照Google的說(shuō)法，要想徹底阻止網(wǎng)頁(yè)的內(nèi)容在Google網(wǎng)頁(yè)索引中（即使有其他網(wǎng)站鏈接到該網(wǎng)頁(yè)）出現(xiàn)，需要使用noindex元標(biāo)記或x-robots-tag。例如將下面的一行加入到網(wǎng)頁(yè)的header部分。

<meta name="googlebot" content="noindex">

如果Google看到某一頁(yè)上有noindex的元標(biāo)記，就會(huì)將此頁(yè)從Google的搜索結(jié)果中完全丟棄，而不管是否還有其他頁(yè)鏈接到此頁(yè)。

對(duì)于百度來(lái)說(shuō)，情況和Google類(lèi)似，如果有其他網(wǎng)站鏈接目標(biāo)網(wǎng)頁(yè)，也有可能會(huì)被百度收錄，從百度的說(shuō)明頁(yè)面上看，百度并不支持像Google那樣通過(guò)noindex完全將網(wǎng)頁(yè)從索引上刪除，只支持使用noarchive元標(biāo)記來(lái)禁止百度顯示網(wǎng)頁(yè)快照。具體的語(yǔ)句如下。

<meta name="Baiduspider" content="noarchive">

上面這個(gè)標(biāo)記只是禁止百度顯示該網(wǎng)頁(yè)的快照，百度會(huì)繼續(xù)為網(wǎng)頁(yè)建索引，并在搜索結(jié)果中顯示網(wǎng)頁(yè)摘要。

例如，淘寶網(wǎng)目前就通過(guò)robots.txt來(lái)屏蔽百度爬蟲(chóng)，但百度依舊收錄了淘寶網(wǎng)的內(nèi)容，百度搜索“淘寶網(wǎng)”，第一個(gè)結(jié)果也是淘寶網(wǎng)首頁(yè)地址，只是該頁(yè)面沒(méi)有網(wǎng)頁(yè)快照，因此看來(lái)，網(wǎng)站只能禁止百度的快照，而無(wú)法禁止百度為網(wǎng)頁(yè)建索引。

注：本文由站長(zhǎng)之家專(zhuān)欄作者月光博客供稿，如需轉(zhuǎn)載，請(qǐng)注明出處。

標(biāo)簽： 搜索引擎 Robots規(guī)則 百度爬蟲(chóng) 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。