搜索引擎蜘蛛，對(duì)于我們來(lái)說(shuō)非常神秘，本文的配圖使用蜘蛛俠的原因就在于此。當(dāng)然我們也不是百度的也不是Google的，所以只能說(shuō)探秘，而不是揭秘。本文內(nèi)容比較簡(jiǎn)單，只是給不知道的朋友一個(gè)分享的途徑，高手和牛人請(qǐng)繞行吧。

傳統(tǒng)意義上，我們感覺(jué)搜索引擎蜘蛛（spider）爬行，應(yīng)該類(lèi)似于真正的蜘蛛在蜘蛛網(wǎng)上爬行。也就是比如百度蜘蛛找到一個(gè)鏈接，順著這個(gè)鏈接爬行到一個(gè)頁(yè)面，然后再順著這個(gè)頁(yè)面里面的鏈接繼續(xù)爬……這個(gè)類(lèi)似于蜘蛛網(wǎng)，也類(lèi)似于一棵大樹(shù)。這個(gè)理論雖然正確，但是不準(zhǔn)確。

搜索引擎內(nèi)部是有一個(gè)網(wǎng)址索引庫(kù)的，所以搜索引擎蜘蛛是從搜索引擎的服務(wù)器出發(fā)，順著搜索引擎已有的網(wǎng)址爬行一個(gè)網(wǎng)頁(yè)，并將網(wǎng)頁(yè)內(nèi)容抓取回來(lái)。頁(yè)面采集回來(lái)之后，搜索引擎會(huì)對(duì)其進(jìn)行分析，將內(nèi)容和鏈接分開(kāi)，內(nèi)容暫時(shí)先不說(shuō)。分析出來(lái)鏈接之后，搜索引擎并不會(huì)馬上去派蜘蛛進(jìn)行抓取，而是把鏈接和錨文本記錄下來(lái)交給網(wǎng)址索引庫(kù)進(jìn)行分析、對(duì)比和計(jì)算，最后放入網(wǎng)址索引庫(kù)。進(jìn)入了網(wǎng)址索引庫(kù)之后，才會(huì)有蜘蛛去抓取。

也就是如果出現(xiàn)了某個(gè)網(wǎng)頁(yè)的外鏈，并不一定會(huì)立刻有蜘蛛去抓取這個(gè)頁(yè)面，而是會(huì)有一個(gè)分析計(jì)算的過(guò)程。即便是這個(gè)外鏈在蜘蛛抓取之后被刪除了，這個(gè)鏈接也有可能已經(jīng)被搜索引擎記錄，以后還有抓取的可能。而且下次如果蜘蛛再去抓取這個(gè)外鏈所在頁(yè)面，發(fā)現(xiàn)鏈接不存在了，或者外鏈所在頁(yè)面出現(xiàn)了404，那么只是減少了這個(gè)外鏈的權(quán)重，應(yīng)該不會(huì)去網(wǎng)址索引庫(kù)刪除這個(gè)鏈接。

所以說(shuō)已經(jīng)不存在的頁(yè)面上的鏈接，也有作用。今天就分享這些，以后繼續(xù)跟大家分享我自己分析的內(nèi)容，如果有不準(zhǔn)確的地方，請(qǐng)大家批評(píng)指正。

轉(zhuǎn)載請(qǐng)注明來(lái)自逍遙博客@LiboSEO，本文地址：http://liboseo.com/1060.html

除非注明，逍遙博客文章均為原創(chuàng)，轉(zhuǎn)載請(qǐng)注明出處和鏈接！

標(biāo)簽： 搜索引擎蜘蛛 網(wǎng)頁(yè)外鏈建設(shè) 搜索優(yōu)化 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。