正如你所知道的，你不能總是依賴蜘蛛引擎在訪問或者索引你的網(wǎng)站時能夠十分有效的運作。完全依靠他們自己的端口，蜘蛛會產(chǎn)生許多重復內容，把一些重要頁面當成垃圾，索引本不應該展示給用戶的鏈接入口，還會有其他的問題。有一些工具可以讓我們能夠充分控制蜘蛛在網(wǎng)站內部的活動，如meta robots標簽，robots.txt、canonical標簽等。

今天，我講一下機器人控制技術使用的局限。為了讓蜘蛛不抓取某一個頁面，站長們有時會使用多個機器人控制技術， 來禁止搜索引擎訪問某個網(wǎng)頁。不幸的是，這些技術能有時互相抵觸：從另一方面說這樣的限制會把某些死鏈給隱藏掉了。

那么，當一個頁面的robots文件中被禁止訪問，或者被使用noindex tag 和 canonical tag時會發(fā)生什么？

快速復習

在我們進入主題之前，讓我們看一下那些主流的robots的一些限制技巧吧：

元機器人標簽

元機器人標簽（Meta Robots Tag）為搜索引擎機器人建立頁面等級說明。元機器人標簽應放在HTML文件的頭部。

規(guī)范標簽（canonical tag）

規(guī)范標簽（canonical tag）是一個位于網(wǎng)頁HTML頭部的頁面等級的元標簽。它告訴搜索引擎哪一個URL的顯示是規(guī)范的。它的目的是不讓搜索引擎抓取重復內容，同時將重復頁面的權重集中在規(guī)范的那一個頁面上。

X機器人標簽

自2007年以來，谷歌和其他搜索引擎已經(jīng)支持把X-Robots-Tag作為一種方法來告訴蜘蛛爬行和索引的優(yōu)先順序，X-Robots-Tag位于HTTP頭部，曾用于通知蜘蛛爬行和索引文件而用。該標簽對控制那些非HTML文件的索引是很有用的，如PDF文件。

機器人標簽

robots.txt允許一些搜索引擎進入網(wǎng)站內部，但是它并不能保證具體某個頁面會不會被抓取和索引。除非出于SEO的原因，否則只有當確實有必要或者在站點上有需要屏蔽的robots時robots.txt才確實值得使用。我總是推薦使用元數(shù)據(jù)標簽“noindex”來代替它。

避免沖突

同時利用兩種方法來限制robot入口是不明智的：

· Meta Robots ‘noindex‘ （元機器人標簽“noindex”）

· Canonical Tag （when pointing to a different URL） （標準標簽）

· Robots.txt Disallow

· X-Robots-Tag（x機器人標簽）

盡管你很想去保持頁面的搜索結果，但是一個辦法總是比兩個好。讓我們來看看當在一個單一的URL中有很多robots路徑控制技術時會發(fā)生什么。

Meta Robots ’noindex‘ 和 Canonical標簽

如果你的目標是一個URL的權重傳遞給另一個URL，而你卻沒有其他的更好辦法的時候，那就只能用Canonical標簽。不要用元機器人標簽的“noindex”來給自己添麻煩。如果你使用兩個robot的方法，搜索引擎可能根本看不到你的Canonical標簽。權重傳遞的效用將會被忽略，因為機器人的noindex標簽會使它看不到Canonical標簽！

Meta Robots ’noindex‘ & X-Robots-Tag ’noindex‘

這些標簽是多余的。這兩個標簽放置在同一個頁面我只能看到的是給SEO造成的不良影響。如果你能在元機器人‘noindex’中改變頭文件，你就不應該使用x機器人標簽吧。

Robots.txt Disallow &Meta Robots ’noindex‘

這是我看過的最常見的沖突：

我之所以青睞Meta Robots“noindex”的原因是因為它可以有效的阻止一個頁面被索引，同時它還還是可以傳遞權重到連接這個頁面的更深層次的頁面。這是一個雙贏的方法。

robots.txt文件不允許完全限制搜索引擎查看頁面上的信息（以及其中有價值的內部鏈接），特別是不能限制url被索引。有什么好處？我曾經(jīng)單獨寫過一篇關于這個主題的文章。

如果兩個標簽都使用，robots.txt保證會使Meta Robots ‘noindex’ 不被蜘蛛看到。你會受到robots.txt中disallow的影響并且錯過了所有的Meta Robots‘noindex’帶來的所有好處。

文章出處為 www.leadseo.cn 上海麗姿鷗，網(wǎng)站優(yōu)化專家，轉載請保留出處！不勝感激！

標簽： 搜索引擎蜘蛛 robots.txt canonical 

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。