一、了解爬行器或爬行蜘蛛

我們知道，之所以我們能夠在百度、谷歌中很快地找到我們需要的信息，就是因為在百度和谷歌這樣的搜索引擎中，已經(jīng)預(yù)先為我們收錄了大量的信息。不管是哪方面的信息，不管是很早以前的，還是最近更新的，都能夠在搜索引擎中找到。

那么，既然搜索引擎需要預(yù)先收錄這些大量的信息，那么它就必須到這個浩瀚的互聯(lián)網(wǎng)世界是抓取這些信息。據(jù)報道，全球網(wǎng)民已經(jīng)達到十幾億的規(guī)模了，那么這十幾億網(wǎng)民中，可想而知，每天能夠產(chǎn)生多少信息？搜索引擎又有何能耐把這么多的信息收錄在自己的信息庫中？它又如何做到以最快的速度取得這些信息的呢？

首先，了解什么是爬行器（crawler），或叫爬行蜘蛛（spider）。稱謂很多，但指的都是同一種東西，都是描述搜索引擎派出的蜘蛛機器人在互聯(lián)網(wǎng)上探測新信息。而各個搜索引擎對自己的爬行器都有不同的稱謂：百度的叫Baiduspider；Google的叫Googlebot，MSN的叫MSNbot，Yahoo則稱為Slurp。這些爬行器其實是用計算機語言編制的程序，用以在互聯(lián)網(wǎng)中不分晝夜的訪問各個網(wǎng)站，將訪問的每個網(wǎng)頁信息以最快的速度帶回自己的大本營。

二、搜索引擎每次能帶回多少信息

要想這些爬行蜘蛛每次能夠最大最多的帶回信息，僅僅依靠一個爬行蜘蛛在互聯(lián)網(wǎng)上不停的抓取網(wǎng)頁肯定是不夠的。所以，搜索引擎通過都會派出很多個爬行蜘蛛，讓它們通過瀏覽器上安裝的搜索工具欄，或網(wǎng)站主從搜索引擎提交頁面提交而來的網(wǎng)站為入口開始爬行，爬行到各個網(wǎng)頁，然后通過每個網(wǎng)頁的超級鏈接進入下一個頁面，這樣不斷的繼續(xù)下去……

搜索引擎并不會將整個網(wǎng)頁的信息全部都取回來，有些網(wǎng)頁信息量很大，搜索引擎都只會取得每個網(wǎng)頁最有價值的信息，一般如：標題、描述、關(guān)鍵詞等。所以，通過只會取得一個頁面的頭部信息，而且也只會跟著少量的鏈接走。百度大概一次最多能抓走120KB的信息，谷歌大約能帶走100KB左右的信息，因此，如果想你的網(wǎng)站大部分網(wǎng)頁信息都被搜索引擎帶走的話，那么就不要把網(wǎng)頁設(shè)計得太長，內(nèi)容太多。這樣，對于搜索引擎來說，既能夠快速閱讀，又能夠帶走所有信息。

三、蜘蛛們是如何爬行的？

所有的蜘蛛的工作原理都是首先從網(wǎng)絡(luò)中抓取各種信息回來，放置于數(shù)據(jù)倉庫里。為什么稱為數(shù)據(jù)倉庫？因為此時的數(shù)據(jù)是雜亂無章的，還是胡亂的堆放在一起的。因此，此時的信息也是不會出現(xiàn)在搜索結(jié)果中的，這就是為什么有些網(wǎng)頁明明有蜘蛛來訪問過，但是在網(wǎng)頁中還不能找到結(jié)果的原因。

搜索引擎將從網(wǎng)絡(luò)中抓取回來的所有資料，然后通過關(guān)鍵字描述等相關(guān)信息進行分門別類整理，壓縮后，再編類到索引里，還有一部分抓取回來經(jīng)過分析發(fā)現(xiàn)無效的信息則會被丟棄。只有經(jīng)過編輯在索引下的信息，才能夠在搜索結(jié)果中出現(xiàn)。最后，搜索引擎則經(jīng)過用戶敲擊進的關(guān)鍵字進行分析，為用戶找出最為接近的結(jié)果，再通過關(guān)聯(lián)度由近及遠排列下來，呈現(xiàn)在最終用戶眼前。

其大致過程如下圖：

四、重點介紹Google搜索引擎

Google搜索引擎使用兩個爬行器來抓取網(wǎng)頁內(nèi)容，分別是：Freshbot和Deepbot。深度爬行器（Deepbot）每月執(zhí)行一次，其受訪的內(nèi)容在Google的主要索引中，而刷新爬行器（Freshbot）則是晝夜不停的在網(wǎng)絡(luò)上發(fā)現(xiàn)新的信息和資源，之后再頻繁地進行訪問和更新。因為，一般Google第一次發(fā)現(xiàn)的或比較新的網(wǎng)站就在Freshbot的名單中進行訪問了。

Freshbot的結(jié)果是保存在另一個單獨的數(shù)據(jù)庫中的，由于Freshbot是不停的工作，不停的刷新訪問內(nèi)容，因些，被它發(fā)現(xiàn)或更新的網(wǎng)頁在其執(zhí)行的時候都會被重寫。而且這些內(nèi)容是和Google主要索引器一同提供搜索結(jié)果的。而之前某些網(wǎng)站在一開始被Google收入，但是沒幾天，這些信息就在Google的搜索結(jié)果中消失了，直到一兩個月過去了，結(jié)果又重新出現(xiàn)在Google的主索引中。這就是由于Freshbot在不停的更新和刷新內(nèi)容，而Deepbot要每月才出擊一次，所以這些在Freshbot里的結(jié)果還沒有來得及更新到主索引中，又被新的內(nèi)容代替掉。直到Deepbot重新來訪問這一頁，收錄才真正進入Google的主索引數(shù)據(jù)庫中！

【相關(guān)鏈接】

搜索引擎優(yōu)化教程(一)：認識搜索引擎優(yōu)化

本文章始發(fā)于“獨語斜欄”個人博客：http://www.nannannan.com/post/28.html轉(zhuǎn)載請注明出處。

標簽： 搜索引擎優(yōu)化 百度谷歌 工作原理 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。