深入認識robots

搜索引擎使用spider程序自動范文互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。Spider在訪問一個網(wǎng)站時，會首頁檢查該網(wǎng)站的根域名下是否有一個叫robots.txt的純文本，這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站上創(chuàng)建一個robots.txt，在文件中聲明改網(wǎng)站中哪些目錄不讓搜索引擎收錄。（robots.txt文件應該放置在網(wǎng)站根目錄下。）

1、 Robots的用法

User-agent：定義進制搜索引擎名字，比如說：百度（Baiduspider）、谷歌（Googlebot）、360（360Spider）等。*號代表全部搜索引擎

Disallow：不允許收錄

Allow：允許收錄

案例：

User-agent: * （聲明禁止所有的搜索引擎抓取以下內(nèi)容）

Disallow：/blog/（禁止網(wǎng)站blog欄目下所有的頁面。比如說：/blog/123.html）

Disallow：/api（比如說：/apifsdfds/123.html也會被屏蔽。）

Allow：/blog/12/（一般情況下不需要寫Allow的，而我們在禁止的目錄下面，我們需要讓搜索引擎收錄，那么我們就可以使用Allow，比如說我們前面禁止了blog欄目下所有的頁面，同時我們想/12/欄目下被收錄，這個時候我們就需要通過Allow來允許搜索引擎的收錄。）

Disallow：*?*（只要你的路徑里面帶有問號的路徑，那么這條路徑將會被屏蔽。）

Disallow：/*.php$（意思是以.php結(jié)尾的路徑全部屏蔽掉。）

如何使用Robots提升排名

一、屏蔽死鏈接

許多時候，我們網(wǎng)站會產(chǎn)生死鏈接，比如說：網(wǎng)站改版、文章刪除等，都很有可能會導致網(wǎng)站出現(xiàn)404頁面，那么這個時候我們就需要通過robots來屏蔽這些死鏈接。查看死鏈的方法有以下兩種：

1、）通過網(wǎng)站日志查詢。

我們可以通過下載網(wǎng)站日志來查看我們的404頁面（網(wǎng)站日志可以向空間商要，空間商會提供下載通道），我們用txt打開網(wǎng)站日志，通過搜索“404”，如果你網(wǎng)站有404頁面，并且被訪問到了，那么這個時候就會被網(wǎng)站日志給記錄。

2、）百度站長平臺查詢

我們首先需要驗證百度站長平臺（如何驗證就不說了，最基本的。）驗證以后，我們通過百度站長工具的死鏈工具，可以清楚的看到，我們網(wǎng)站有哪些死鏈接。

二、屏蔽無價值的頁面

許多網(wǎng)站都有一些沒有價值的頁面，比如說SEO指導中心的用戶個人中心頁面，這個個人中心頁面不會對網(wǎng)站產(chǎn)生價值，在百度上面的展現(xiàn)也不會給網(wǎng)站帶來權(quán)重。因此我們需要利用robots來屏蔽這樣的頁面。又比如說：一個企業(yè)網(wǎng)站的聯(lián)系我們頁面，這種頁面不會給網(wǎng)站帶來權(quán)重，用戶也不會去搜索“聯(lián)系我們”來找他想要的產(chǎn)品。因此我們需要把這種頁面同時屏蔽。

三、屏蔽重復路徑

當你網(wǎng)站出現(xiàn)重復路徑的時候，百度將會對我們的網(wǎng)站進行直接降分，比如說：一個網(wǎng)站做了偽靜態(tài)，同時他的動態(tài)頁面也可以訪問，這個時候就會出現(xiàn)重復路徑。因此我們需要通過robots屏蔽這些重復路徑。

總結(jié)：也許很多人都不知道，許多細節(jié)都很有可能是你網(wǎng)站排名不上的原因，而這些小小的細節(jié)往往被大家給忽略了。同時希望站長在做網(wǎng)站優(yōu)化的時候多多關(guān)注一些網(wǎng)站細節(jié)的問題。

《轉(zhuǎn)載請注明出處：http://www.btxkj.com/ncseo/153.html》

標簽： Robots 百度站長平臺 重復路徑 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。