Robots文件是搜索引擎訪問網(wǎng)站時第一個要讀取的文件，它告訴搜索程序服務(wù)器上哪些內(nèi)容可以抓取，哪些不用抓取。

目前網(wǎng)站的robots文件里面的抓取規(guī)則已經(jīng)日趨完善，比如禁止了網(wǎng)頁中圖片的抓取，禁止蜘蛛抓取一些會員隱私（個人簡歷）頁面、一些無用頁面（之前的推廣頁面）、樣式表文件等，但是仍然有部分頁面并不需要蜘蛛程序的抓取，這部分頁面只是面向用戶的，搜索引擎抓取了并沒有什么意義，瓜分了頁面的權(quán)重。

一、網(wǎng)站的404頁面

每個網(wǎng)站都存在一些錯誤頁面，404頁面的存在就是為了當(dāng)用戶訪問了錯誤頁面的時候能夠?qū)⒂脩粢龑?dǎo)到正確的頁面上，防止網(wǎng)站流量的流失。而一個頁面較多的網(wǎng)站肯定存在很多的錯誤頁面，這就導(dǎo)致存在很多相似的404頁面，如下圖所示：

所以，一旦404頁面太多，而還讓搜索引擎去收錄，就會導(dǎo)致網(wǎng)站把權(quán)重分給這些404頁面，所以應(yīng)該屏蔽404頁面。

添加規(guī)則：Disallow：/404.html

二、網(wǎng)站部分導(dǎo)航頁面

網(wǎng)站底部的一些導(dǎo)航頁面，如“市場合作”“網(wǎng)站聲明”“付費(fèi)方式”等都是針對客戶的頁面，幾乎沒有用戶通過搜索引擎上搜索這些頁面并到達(dá)網(wǎng)站，而且這些導(dǎo)航頁面是全站顯示的，所有的內(nèi)容頁面都存在，同樣的也要分散這些頁面的權(quán)重。

這部分頁面都是位于同一目錄/main下，該目錄下除保留部分頁面需蜘蛛進(jìn)行抓取外，其他頁面可以都禁止，保留頁面為：“關(guān)于我們”（main/aboutus.asp），友情鏈接（main/friendlink.asp）。此外“資費(fèi)標(biāo)準(zhǔn)”“付費(fèi)方式”頁面位于企業(yè)會員中心頁面，這些頁面也沒有必要對搜索引擎開放。

添加規(guī)則：

Allow：/main/aboutus*

Allow：/main/friendlink*

Allow：/main/recruitmeeting*

Allow：/main/investigation*

Disallow：/main/

Disallow：/company/companyapplymember*

將現(xiàn)有規(guī)則中最后一條刪除：disallow： /main/refuse*

將新添加的兩條“Allow”規(guī)則放到disallow命令的前面。

通過一些對搜索引擎抓取意義不大的頁面，將首頁和一些內(nèi)容頁面的權(quán)重更加集中。

版權(quán)所有：伍億人才招聘網(wǎng)http://www.51rc.com，轉(zhuǎn)載請注明出處。

標(biāo)簽： 網(wǎng)站優(yōu)化 404頁面優(yōu)化 Robots文件 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。