這篇文章主要講解搜索引擎的蜘蛛爬蟲的工作原理，包括它的四種抓取策略。

首先呢，搜索引擎的蜘蛛抓取網(wǎng)頁是有著一定的規(guī)律，不會去隨便抓取網(wǎng)頁，并且呢，蜘蛛是通過超連接來抓取網(wǎng)頁的，我們剛剛說了，搜索引擎有四種抓取網(wǎng)頁的策略，下邊我們一一講解。

深度優(yōu)先

所謂深度優(yōu)先，就是蜘蛛在一個頁面中發(fā)現(xiàn)第一個超鏈接，然后爬取這個頁面，當(dāng)爬到第二個頁面后，在第二個頁面發(fā)現(xiàn)的第一個超鏈接，然后再順著往下爬，如下圖：

深度優(yōu)先，導(dǎo)致蜘蛛抓取的網(wǎng)頁的質(zhì)量，越來越低，并且在傳遞網(wǎng)站權(quán)重上，也有著根本的問題。

寬度優(yōu)先

在深度優(yōu)先上，搜索引擎有著根本的問題，那么在之后，搜索引擎又推出了蜘蛛抓取的第二個策略，也就是寬度優(yōu)先，寬度優(yōu)先指的是，蜘蛛會先把這個頁面所有的鏈接都爬一次，然后在順著這些鏈接往下爬，如下圖：

但是寬度優(yōu)先也存在著問題，那就是蜘蛛抓取的效率和質(zhì)量問題。

先寬后深 – 權(quán)重優(yōu)先

現(xiàn)在搜索引擎是寬度和深度優(yōu)先的結(jié)合，蜘蛛在抓取一個網(wǎng)頁的時候，會先把這個頁面所有的鏈接都抓取一次，然后再根據(jù)這些ULR的權(quán)重來判定，那個URL的權(quán)重高，那么就采用深度優(yōu)先，那個URL權(quán)重低，就采用寬度優(yōu)先或者不抓取。

重訪抓取策略

重訪抓取策略，是最后的一個，搜索引擎蜘蛛在抓取完這個網(wǎng)頁之后，然后根據(jù)這個頁面的權(quán)重、包括它的更新頻率、更新質(zhì)量、外鏈的數(shù)量等等來判定，那么對于權(quán)重高的頁面，蜘蛛會在相隔較短的時間段在回來重新抓取，比如新浪網(wǎng)，權(quán)重很高，搜索引擎蜘蛛都是按照秒來重新抓取的。而對于一些權(quán)重較低的頁面，比如長期不更新的頁面，那么蜘蛛會隔好長時間在來抓取一次，比如我們常常搜索的百度大更新，蜘蛛就是對于一些網(wǎng)頁權(quán)重較低的頁面進(jìn)行一次全部的抓取，一般情況，百度大更新，一個月一次。

本文來源 http://www.shizhanqiang.com/ 轉(zhuǎn)載留下版權(quán)

標(biāo)簽： seo 搜索引擎蜘蛛 搜索引擎算法 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。