網(wǎng)站的優(yōu)化是一個(gè)系統(tǒng)工程，有很多東西都必須實(shí)驗(yàn)研究和總結(jié)。對(duì)于一些稍大規(guī)模的網(wǎng)站，一些簡(jiǎn)單的SEO細(xì)節(jié)就能對(duì)整體產(chǎn)生影響，有時(shí)也會(huì)直接影響網(wǎng)站的收錄、轉(zhuǎn)化甚至盈利。所以對(duì)于上規(guī)模的網(wǎng)站而言，一些SEO細(xì)節(jié)是不得不提，不得不重視的。今天和大家總結(jié)關(guān)于robots的幾點(diǎn)知識(shí)，希望能讓大家受益。

robots文件的使用很多站長(zhǎng)都熟悉，但在細(xì)節(jié)上未必在意，也未必精通。它包含的許多知識(shí)點(diǎn)搜索引擎并沒有給出詳盡的說明或者使用方法。在經(jīng)過大量總結(jié)和參看資料的基礎(chǔ)上，本文和大家總結(jié)操作robots文件時(shí)應(yīng)該注意的細(xì)節(jié)。

第一、user-agent的數(shù)量

一般網(wǎng)站的robots.txt文件中不要出現(xiàn)多個(gè)user-agent記錄，一般都是一個(gè)為宜，但是如果一個(gè)都不出現(xiàn)，也是被允許的。

第二、spider蜘蛛大小寫

搜索引擎蜘蛛在查看robots的時(shí)候會(huì)忽略大小寫，但是為了保險(xiǎn)，也有網(wǎng)站分別寫了兩個(gè)不同的百度蜘蛛，比如淘寶。

第三、allow與disallow順序

順序的問題會(huì)導(dǎo)致抓取的錯(cuò)誤，如果把a(bǔ)llow放置后邊，有時(shí)候就會(huì)出現(xiàn)想要收錄的內(nèi)容不被收錄，舉例說明：

想要搜索引擎唯一收錄a文件夾下的b.html，那么則要這么寫：

Allow:/a/b.html

Disallow:/a/

如果順序?qū)懛矗�第一個(gè)匹配成功之后，b.html就不會(huì)被收錄。

第四、記得反斜杠

反斜杠代表的意思是根目錄，所以Disallow:/代筆的意思就是禁止收錄一切頁(yè)面和文件夾的內(nèi)容。這個(gè)反斜杠很重要，少了反斜杠就代表允許搜索引擎收錄全部頁(yè)面。

第五、#表示注釋

在robots.txt中，#開頭均被視為注釋，這和unix中的慣例是一樣的。不要一不小心把通配符寫錯(cuò)了。

第六、不要出現(xiàn)空格

有些robots文件中前邊會(huì)不注意加一個(gè)空格，這樣的問題應(yīng)該盡量避免，否則一些機(jī)器人就不理解意思。

好了，篇幅有限，本文就先寫這六個(gè)方面吧，下文還有目錄大小寫、meta累加取值、采納限制性最強(qiáng)的參數(shù)等方面的介紹，都是十分有用處的細(xì)節(jié)，robots.txt雖然優(yōu)化的主要方向，但是它確實(shí)必需重視的一個(gè)方向，如果寫的有問題，對(duì)整個(gè)網(wǎng)站的收錄都會(huì)造成影響。我們不應(yīng)該隨波逐流，別人怎么寫我們就怎么寫。而是理解其中的含義，寫出符合自己網(wǎng)站的robots文件。

本文來(lái)自左旋360減肥咖啡（http://www.kfzxrj.com），轉(zhuǎn)載請(qǐng)保留鏈接，謝謝！

標(biāo)簽： robots文件優(yōu)化 搜索引擎優(yōu)化 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。