搜索引擎蜘蛛爬行規(guī)律探秘之二外鏈?zhǔn)欠裼袝r效性
2019-11-12 來源：liboseo.com
《搜索引擎蜘蛛爬行規(guī)律探秘之一蜘蛛如何抓取鏈接》寫完距今天已經(jīng)20多天了，本來想一直寫下去呢，但是寫完第一篇之后，忽然沒有了思路。今天跟朋友們說起來了外鏈的時效性，也就是說外鏈會不會失效。
本文不再討論理論相關(guān)的內(nèi)容了，而是會舉一些例子來證明第一篇文章，同時也說一下鏈接的時效性吧。
首先，外鏈所在頁面被刪除了，外鏈?zhǔn)欠裼行В?/strong>
答案外鏈所在頁面刪除了依然是有效。證據(jù)如下：
我在博客中國的博客（可能是因為流量超標(biāo)在2006年被刪除了）早就已經(jīng)被刪了，但是百度依然有快照。今天看了下首頁的快照已經(jīng)沒有了，但是文章頁面還存在。看快照日期可以看到是2006年，甚至更久的。
也就是雖然頁面被刪除了有5年之久，但是百度的快照沒有刪除，那么你說這里面的鏈接蜘蛛會不會爬呢？
我感覺應(yīng)該是會爬的，而且我在博客網(wǎng)的這個博客是有一個域名A的鏈接的，當(dāng)時只是做了個跳轉(zhuǎn)到博客首頁。后來在我啟用域名A做博客的時候，立馬就獲得了一個很好的權(quán)重，而且文章很容易被秒收。相信這個5年前的鏈接起到了不少的作用。
第二，如果外鏈所在頁面搜索引擎沒有了快照，外鏈?zhǔn)欠裼行兀?/strong>
答案可能會出乎很多人的意料，外鏈所在頁面沒有了快照依然還可以有效。原因可以查看我在蜘蛛如何抓取鏈接這篇文章里寫的，蜘蛛抓取頁面之后，會把內(nèi)容和鏈接分開，鏈接也就是URL會加入一個網(wǎng)址索引庫，而蜘蛛爬行是從這個網(wǎng)址索引庫出發(fā)的。
先看證據(jù)，這個證據(jù)來自于谷歌站長工具：
這個截屏來自于Google站長工具故障診斷的404報告，以前我在原網(wǎng)站下面架設(shè)了個bbs，當(dāng)然早在N年前已經(jīng)刪除了。可是這個不存在的頁面，被Google蜘蛛抓取的來源地址竟然也是不存在的頁面。而用Google搜索，是沒有這些頁面的快照的（如下圖）。那是不是意味著已經(jīng)404了很久的頁面上的導(dǎo)出鏈接依然有效？
第三，那么外鏈對于搜索引擎是否有時效性呢？
很明顯應(yīng)該是有時效性的。那么我就猜測一下外鏈?zhǔn)У脑虬桑瑧?yīng)該會有兩個原因：那就是外鏈所在頁面被刪或者鏈接被刪。
1.針對頁面被刪的情況，搜索引擎應(yīng)該會繼續(xù)爬行這個頁面上的外鏈，直到這個頁面404一定時間后，會給搜索引擎網(wǎng)址索引庫一個命令刪除這個外鏈。
2.而對于頁面更改的情況，搜索引擎應(yīng)該也會爬行這個外鏈，直到這個含有這個外鏈快照在搜索引擎內(nèi)部徹底刪除，會給網(wǎng)址索引庫一個命令刪除這個外鏈。因為含有外鏈的頁面根據(jù)情況會保存N個時期的快照，這就是為什么有時候搜不同的詞，網(wǎng)頁的快照不同。
總之，外鏈?zhǔn)怯袝r效性，但是鏈接修改或者頁面被刪除并不代表無效了。當(dāng)然搜索引擎內(nèi)部會有一個復(fù)雜的計算，過程不會像我說的這么簡單。如果有什么不同意見請直接在本文下面留言，大家互相討論。
轉(zhuǎn)載請注明來自逍遙博客，本文地址：http://liboseo.com/1111.html
尊重版權(quán)，轉(zhuǎn)載請注明出處和鏈接！
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。
