在百度搜索引擎又發(fā)生了有趣的事情，搜索“私服”“傳奇私服”“新開傳奇私服”等關(guān)鍵詞，淘寶網(wǎng)女人頻道均排在顯赫的位置（見下述圖片|PS：周一早上起來看，發(fā)現(xiàn)此現(xiàn)象已經(jīng)消失！暫不知是為算法改變，還是人工干預(yù)）。這個(gè)消息在站長圈子里炸開了鍋，大量的站長朋友對此現(xiàn)象提出了自己的疑問，下面墨明棋妙在此對這個(gè)現(xiàn)象做出自己的解釋，也針對性的解答一下比較典型的一些疑問。

許多同學(xué)看到這個(gè)現(xiàn)象后的第一反應(yīng)是：淘寶解除了對百度的robots屏蔽，被百度收錄了。在這里墨明棋妙首先糾正這個(gè)錯(cuò)誤的說法。淘寶并沒有解除對百度的屏蔽，我們打開淘寶網(wǎng)的robots頁面http://taobao.com/robots.txt，我們看到淘寶網(wǎng)的robots設(shè)置如下：

User-agent： Baiduspider

Disallow： /

User-agent： baiduspider

Disallow： /

可以明顯的看出，淘寶網(wǎng)屏蔽百度蜘蛛抓取全站信息，那么，在百度搜索為什么還能看到淘寶的頁面呢？

在這里，首先要解釋兩個(gè)名詞，抓取和索引。百度蜘蛛抓取是指蜘蛛爬蟲在互聯(lián)網(wǎng)上爬行、訪問頁面并獲取頁面內(nèi)容返回?cái)?shù)據(jù)庫。而索引則是將數(shù)據(jù)庫中的內(nèi)容展示在搜索引擎中供用戶訪問。許多SEO朋友經(jīng)常有疑問，百度蜘蛛天天來我的站抓取數(shù)據(jù)，為什么收錄數(shù)還是那么少？這實(shí)質(zhì)上是因?yàn)橹┲胱ト『蟛�沒有為數(shù)據(jù)建立索引的原因。蜘蛛抓取數(shù)據(jù)后不一定索引，而搜索引擎索引數(shù)據(jù)同樣不一定需要抓取。這實(shí)質(zhì)上是百度搜索引擎為優(yōu)化用戶體驗(yàn)而采用的一種策略。對于不允許被百度抓取的網(wǎng)站，如果其他站點(diǎn)對其進(jìn)行描述和指向，那么百度會利用其他站點(diǎn)所獲知的信息通過自身的策略對該站點(diǎn)進(jìn)行索引，并參與到搜索引擎關(guān)鍵詞排序中。而淘寶網(wǎng)女性頻道，這是由于這種原因，出現(xiàn)在了百度的索引中，同樣，淘寶網(wǎng)許多其他的頁面被百度索引，也是出于這個(gè)原因。

那么，為什么在搜索傳奇私服等關(guān)鍵詞時(shí)，淘寶網(wǎng)為什么會以私服類的標(biāo)題出現(xiàn)呢？這還得歸結(jié)到百度自身的策略上。不少SEOer都知道，在幾年前，就有百度等搜索引擎將DMOZ對網(wǎng)站的標(biāo)題描述內(nèi)容植入索引中供用戶搜索的例子。這種現(xiàn)象通常表現(xiàn)在網(wǎng)站屏蔽抓取、網(wǎng)站無法訪問、網(wǎng)站性質(zhì)，標(biāo)題，內(nèi)容出現(xiàn)大規(guī)模的改動 等幾種情況下。搜索引擎會通過其外鏈指向自動為其選擇一個(gè)與當(dāng)前搜索請求最相關(guān)的標(biāo)題展示。淘寶網(wǎng)的標(biāo)題現(xiàn)象，正是出于此種原因。

其實(shí)大家最關(guān)注的，還是淘寶網(wǎng)為什么在這些關(guān)鍵詞上取得了如此優(yōu)秀的排名。我認(rèn)為，會有朋友給出如下解答：有大量的外部鏈接指向淘寶網(wǎng)女人頻道，導(dǎo)致這個(gè)頁面權(quán)重極高，所以在標(biāo)題表現(xiàn)為傳奇私服的時(shí)候能取得非常好的排名。我認(rèn)為這種說法只是對了一半，并沒有抓到最本質(zhì)的原因。

實(shí)質(zhì)上，這種基于鏈接關(guān)系的搜索引擎排序主要依靠幾大算法：超鏈接導(dǎo)向搜索（HITS）算法、TF-IDF算法（相關(guān)性算法）和PR算法。因?yàn)镻R算法得出的數(shù)據(jù)在一段時(shí)間內(nèi)是比較穩(wěn)定的，所以分析這個(gè)現(xiàn)象，我們并不需要將PR算法做過多的考慮。下面介紹一下HITS算法：HITS算法基本思想是利用頁面之間的引用鏈來挖掘隱含在其中的有用信息（如權(quán)威性），具有計(jì)算簡單且效率高的特點(diǎn)。HITS算法通過兩個(gè)評價(jià)權(quán)值——內(nèi)容權(quán)威度（Authority）和鏈接權(quán)威度（Hub）來對網(wǎng)頁質(zhì)量進(jìn)行評估。內(nèi)容權(quán)威度與網(wǎng)頁自身直接提供內(nèi)容信息的質(zhì)量相關(guān)，被越多網(wǎng)頁所引用的網(wǎng)頁，其內(nèi)容權(quán)威度越高；鏈接權(quán)威度與網(wǎng)頁提供的超鏈接頁面的質(zhì)量相關(guān)，引用越多高質(zhì)量頁面的網(wǎng)頁，其鏈接權(quán)威度越高。HITS算法認(rèn)為對每一個(gè)網(wǎng)頁應(yīng)該將其內(nèi)容權(quán)威度和鏈接權(quán)威度分開來考慮，在對網(wǎng)頁內(nèi)容權(quán)威度做出評價(jià)的基礎(chǔ)上再對頁面的鏈接權(quán)威度進(jìn)行評價(jià)，然后給出該頁面的綜合評價(jià)。通過這段解釋，我們可以看到的是，淘寶網(wǎng)女人頻道是有著極高的內(nèi)容權(quán)威度的。

而這，還并不足以讓淘寶網(wǎng)女性頻道達(dá)到如此優(yōu)秀的排名，國內(nèi)比淘寶網(wǎng)女性頻道外鏈數(shù)量多的還是有很多，而其他站點(diǎn)卻并沒有在此關(guān)鍵詞上取得排名。這是為什么呢？

說到這里，覺得不得不提一下“主題漂移”現(xiàn)象，主題漂移現(xiàn)象是指對于一些大站，其自身權(quán)重極高之后，導(dǎo)致只要其網(wǎng)頁出現(xiàn)的關(guān)鍵詞，都能取得很好的排名的一種現(xiàn)象，這種現(xiàn)象在早期的搜索引擎中經(jīng)常出現(xiàn)，而現(xiàn)在，絕大多數(shù)搜索引擎都采用了各自的算法對此現(xiàn)象進(jìn)行了很好的遏制，主要思路即為：判斷網(wǎng)站的主題，給予主題越相關(guān)的關(guān)鍵詞越高的權(quán)重，與主題相關(guān)度越低該關(guān)鍵詞權(quán)重越低，再將這個(gè)值與HITS算法結(jié)果進(jìn)行加權(quán)，從而降低低相關(guān)度的關(guān)鍵詞排名。即所說的TF-IDF算法（相關(guān)性算法）。譬如我的博客http://www.seo-mmqm.com，主題為深圳SEO，在這個(gè)詞上，也有不錯(cuò)的權(quán)重，而搜索深圳趕集網(wǎng)，卻沒有任何排名，我的首頁也出現(xiàn)了趕集網(wǎng)，實(shí)質(zhì)上這是和我的博客相關(guān)度極低的詞，所以在這個(gè)詞上權(quán)重得分極低，所以也就不會有排名。話說回來，對于淘寶網(wǎng)女人頻道呢？這個(gè)頻道自身是屏蔽百度搜索引擎的，那么百度是無法通過獲取其內(nèi)容來判斷指向它的站與它的相關(guān)性的，那么，百度是如何判斷的呢？

墨明棋妙認(rèn)為，百度在無法獲知網(wǎng)頁內(nèi)容的情況下，將綜合網(wǎng)站所有外鏈指向的文本信息，以此作為網(wǎng)頁內(nèi)容來和任一外鏈對比從而判斷相關(guān)性，那么顯而易見的是，越多相同錨文本相同的詞指向淘寶網(wǎng)女人頻道，該關(guān)鍵詞將獲得越高排名，那么得出的結(jié)論是：有朋友開了個(gè)小小的玩笑，利用私服類關(guān)鍵詞給淘寶網(wǎng)女人頻道做了較多的外鏈，導(dǎo)致此頻道在私服類關(guān)鍵詞排名極度飆升。

一個(gè)小小的BUG，卻也暴露出百度一些技術(shù)方面的不足，回望Google，似乎并沒出現(xiàn)這個(gè)現(xiàn)象。搜索的路子，還有很長。

標(biāo)簽： 搜索引擎優(yōu)化 網(wǎng)站SEO 百度算法 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。