有些人可能疑問(wèn)，我的站點(diǎn)禁止所有蜘蛛訪問(wèn)抓取網(wǎng)頁(yè)，為什么在搜索引擎結(jié)果中依然可以找到，并且關(guān)鍵詞就是站點(diǎn)標(biāo)題，今天艾瑞就來(lái)帶大家分析下。

首先，所有的搜索引擎都支持robots.txt，甚至是我們偉大的百度，低估他了。也就是蜘蛛是不會(huì)違背抓取原則的，那為什么依然可以在搜索結(jié)果中找到禁止抓取的網(wǎng)頁(yè)呢？

有些時(shí)候，我們可能看到禁止抓取的網(wǎng)頁(yè)在搜索結(jié)果中的描述是空的，或者根本就不是網(wǎng)頁(yè)中實(shí)際的描述，而是其他網(wǎng)站對(duì)其描述、評(píng)價(jià)的。其實(shí)這就是問(wèn)題的答案。

因?yàn)楹芏鄷r(shí)候禁止搜索引擎抓取的網(wǎng)站都是比較權(quán)威的網(wǎng)站，之前在搜索引擎中的權(quán)重極其之高，當(dāng)然禁止蜘蛛抓取后，外部鏈接依然不受到影響。如此權(quán)威的網(wǎng)站不出現(xiàn)在搜索結(jié)果中，實(shí)為憾事，這些搜索引擎的初衷何以呈現(xiàn)，何以給用戶最佳搜索體驗(yàn)。

然而，做事不能沒(méi)有規(guī)則，你不讓我抓取，我就不抓取，但我可以收錄你，描述可取其他權(quán)威站點(diǎn)對(duì)其之描述，比如DOMZ、維基百科等。

在Google中的出現(xiàn)的案例目前還是沒(méi)有找到，不過(guò)淘寶禁止百度的那點(diǎn)事，我還是記憶猶新。現(xiàn)在我們以淘寶禁止百度抓取為例來(lái)分析問(wèn)題。

1.首先看看robots.txt內(nèi)容，不過(guò)多說(shuō)什么。

http://www.taobao.com/robots.txt

http://my.taobao.com/robots.txt

User-agent： Baiduspider

Disallow：/

User-agent： baiduspider

Disallow：/

2.可以看到www.taobao.com收錄并且有描述的，但沒(méi)有快照。

值得注意的是，此描述非www.taobao.com本站之描述，而是其他權(quán)威站點(diǎn)對(duì)其之描述。

<meta name=“description” content=“淘寶網(wǎng) – 亞洲最大、最安全的網(wǎng)上交易平臺(tái)，提供各類服飾、美容、家居、數(shù)碼、話費(fèi)/點(diǎn)卡充值… 2億優(yōu)質(zhì)特價(jià)商品，同時(shí)提供擔(dān)保交易（先收貨后付款）、先行賠付、假一賠三、七天無(wú)理由退換貨、數(shù)碼免費(fèi)維修等安全交易保障服務(wù)，讓你全面安心享受網(wǎng)上購(gòu)物樂(lè)趣！” />

3.大家看到my.taobao.com有收錄，但是無(wú)描述

從Google搜索 my.taobao.com 獲得大約 510，000 條查詢結(jié)果，并且從搜索結(jié)果頁(yè)面顯示有很多url指向my.taobao.com，值得注意的是由于訪問(wèn)my.taobao.com需要登錄的權(quán)限，所以一般未登錄用戶值得返回到登陸頁(yè)面。

無(wú)描述的原因是這個(gè)二級(jí)域名沒(méi)有其他權(quán)威網(wǎng)站對(duì)其簡(jiǎn)要描述。

.

4.如果有Google方面的案例，歡迎提供分析

標(biāo)簽： 收錄 蜘蛛 robots 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。