關于robots的寫法網(wǎng)上有很多的介紹，Robots可以用來防止搜索引擎抓取那些我們不想被搜索引擎索引的內(nèi)容，很多網(wǎng)站都在里面加入網(wǎng)站的地圖sitemap.xml，這樣可以讓蜘蛛快速的爬行網(wǎng)站。

格式：

User-agent: *

Disallow:

Sitemap:sitemap.xml

我們來看看一些大型網(wǎng)站的robots.txt是怎么樣寫的！

淘寶的robots.txt，屏蔽了百度蜘蛛

QQ在robots中加入了sitemap

打開qq的sitemap之后發(fā)現(xiàn)，存在這樣的壓縮包，下載回來打開里面放的是sitemap，難道蜘蛛可以分析壓縮包了？像我還是頭一次見到這樣的寫法。

CCTV也同樣是這樣的寫法

在robots.txt中加入sitemap這樣做到底能不能增加收錄，站長朋友們不妨試試！最后感謝瓜視云點播www.tvgua.com站長提供配圖！

標簽： robots.txt寫法 robots.txt屏蔽百度robots.txt設置 

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。