核心提示： 在一個網(wǎng)站里，robots.txt是一個重要的文件，每個網(wǎng)站都應當有一個設(shè)置正確的robots.txt。

當搜索引擎來抓取你的網(wǎng)站文件之前，它們會先來看看你網(wǎng)站的robots.txt文件的設(shè)置，以了解你所允許它抓取的范圍，包括哪些文件，哪些目錄。那么如何配置您的robots.txt文件呢?

讓我們看一個例子：

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *

Disallow: /admin_login/

Disallow: /admin/

Disallow: /admin.htm

Disallow:/admin.aspx

# End robots.txt file

有#號的都是注釋，方便閱讀。

User-agent就是搜索引擎的蜘蛛，后面用了*號，表示對所有的蜘蛛有效。

Disallow就是表示不允許抓取，后面的目錄或者文件，表示禁止抓取的范圍。

編輯好這個文件，然后保存在你的網(wǎng)站的根目錄下(一定是根目錄下，當然你也可以調(diào)整)，那么搜索引擎就會來看的。

如果你沒有robots.txt文件，在你的網(wǎng)站訪問日志文件里，你會看到蜘蛛訪問robots.txt文件不成功的紀錄。

好了，現(xiàn)在就去設(shè)置你的robots.txt文件吧。

標簽： 網(wǎng)站內(nèi)容 robots.txt robots 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。