張栩藩：簡(jiǎn)單robots.txt規(guī)則編寫及應(yīng)用
2019-03-19 來源：永州新唯美
在網(wǎng)站優(yōu)化系列中，一個(gè)網(wǎng)站的robots.txt文件是必不可少的。很多seo會(huì)忽略了robots.txt的重要性，網(wǎng)站上出現(xiàn)了一些404頁(yè)面或者不想讓搜索引擎了解的內(nèi)容的時(shí)候，就會(huì)運(yùn)用到它了。我們下面就談?wù)剅obots.txt一些最實(shí)用、最簡(jiǎn)單的應(yīng)用。
常見搜索引擎名稱：
Baiduspider 百度;
Scooter Vista;
ia_archiver Alexa;
Googlebot 谷歌;
FAST-WebCrawler Fast;
MSNBOT Msn
我們常見的語(yǔ)法中：Disallow該項(xiàng)定義域用來描述希望不被索引的URL路徑;allow該項(xiàng)定義域用來描述可以被索引的URL路徑，但是由于缺省值是允許索引所以該項(xiàng)定義域會(huì)很少使用到。例如我們?nèi)绻拱俣戎笖?shù)抓取，那么我們?cè)撛趺磳懩�？如下�?/p>
User-agent:Baiduspider
Disallow:/
講解：這里user-agent是針對(duì)百度蜘蛛的，而谷歌是沒有蜘蛛的，谷歌的搜索引擎叫機(jī)器人，而disallow禁止了所有“/”目錄下的文件，這里的斜杠是根目錄（一般是wwwroot下的文件）。
我們?nèi)绻顾兴阉饕�，唯�?dú)百度可以抓取改怎么寫呢？如下：
User-agent:Baiduspider
Disallow:
User-agent: *
Disallow: /
講解：這里網(wǎng)站主要針對(duì)百度說，我對(duì)你是開放的，而對(duì)其他所有的除百度意外的搜索引擎都對(duì)他們不開放我的目錄。這里的“*”是指所有，接下來的disallow禁止了所有根目錄的索引。
我們?nèi)绻顾阉饕孀x取某個(gè)文件夾，如何寫呢？如下：
User-agent:*
Disallow:/a/
Disallow:/abc/
Disallow:/data/
講解：這里網(wǎng)站說明了針對(duì)所有的搜索引擎禁止訪問我的a文件里面的任何文件，以及abc文件和data文件。這是如果你想禁止包含該文件名以及以該文件名為路徑的話，將后面的斜杠去掉，如下：
User-agent:*
Disallow:/a
Disallow:/abc
Disallow:/data
講解：這里不光禁止了該文件，同時(shí)也禁止以該文件命名的url路徑對(duì)搜索引擎的索引。一般情況下很少運(yùn)用到。
現(xiàn)在我們有很多網(wǎng)站不能實(shí)現(xiàn)靜態(tài)，很多網(wǎng)站都做了偽靜態(tài)，但是有部分的動(dòng)態(tài)路徑仍被搜索引擎索引了怎么辦呢？我們可以添加如下規(guī)則：
User-agent:*
Disallow:/*?*
講解：這里的“*”代表所有帶有“？”的路徑將會(huì)被禁止索引，有的可能變量不是“?”而是“$”，同樣道理將“?”替換成“$”就能實(shí)現(xiàn)了。
以上我說的這幾種都是我們最常見以及最容易忽略的問題。一個(gè)好robots.txt規(guī)則就能為網(wǎng)站加分，如果沒有寫好很可能會(huì)搜索引擎不抓取。只要我們做好每個(gè)小細(xì)節(jié)的優(yōu)化，網(wǎng)站的用戶體驗(yàn)將會(huì)越來越好。
本文由 永州新唯美www.zriq.cn，獨(dú)家供稿，轉(zhuǎn)載請(qǐng)保留，謝謝合作！
標(biāo)簽： robots.txt文件設(shè)置 404頁(yè)面制作 搜索引擎優(yōu)化
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。
