如何避免重復(fù)性收錄

在互聯(lián)網(wǎng)中，信息的重復(fù)是在所難免的。然而，搜索引擎怎么樣才能識(shí)別重復(fù)的信息呢?怎樣判斷哪些網(wǎng)頁(yè)的信息是原創(chuàng)，哪些是“復(fù)制”的?哪些重復(fù)的信 息室有價(jià)值的，哪些又是可以舍棄的?下面大敏給各位分享下自學(xué)后得出的答案。

一個(gè)網(wǎng)站里，重復(fù)信息主要包括轉(zhuǎn)載內(nèi)容及鏡像內(nèi)容這兩種，搜索引擎在對(duì)頁(yè)面進(jìn)行分析時(shí)，必須具備識(shí)別重復(fù)信息的能力。因?yàn)�，存�?chǔ)大量的重復(fù)的信息， 不僅給服務(wù)器增加負(fù)擔(dān)，而且還會(huì)給用戶體驗(yàn)造成影響。但這不意味著所有重復(fù)信息都是沒價(jià)值的，搜索引擎認(rèn)為轉(zhuǎn)載內(nèi)容不如原創(chuàng)內(nèi)容重要，賦予原創(chuàng)性的內(nèi)容頁(yè) 面有著更高的權(quán)重，而鏡像內(nèi)容則幾乎被忽略

轉(zhuǎn)載頁(yè)面

轉(zhuǎn)載頁(yè)面是指那些與原創(chuàng)頁(yè)面的正文內(nèi)容(搜索引擎通過算法，清楚文章頁(yè)面多余的信息，例如：廣告，圖片，側(cè)邊欄，然后，就得到正文內(nèi)容)相近或相同 的頁(yè)面。然后，搜索引擎如何識(shí)別轉(zhuǎn)載頁(yè)面呢?首先，把正文內(nèi)容分為N個(gè)區(qū)域，如果有M個(gè)區(qū)域(M是搜索引擎指定的一個(gè)閾值)是相同或者相似的，則搜索引擎 認(rèn)為這些頁(yè)面互為轉(zhuǎn)載內(nèi)容，

如下圖，頁(yè)面一與頁(yè)面二是不同網(wǎng)站上的兩個(gè)頁(yè)面，其中頁(yè)面1中的A和頁(yè)面2上的B分別是這兩個(gè)頁(yè)面上的正文內(nèi)容。為了識(shí)別這兩個(gè)頁(yè)面是否互為轉(zhuǎn)載頁(yè) 面，搜索引擎先把這兩個(gè)頁(yè)面的正文內(nèi)容分成四個(gè)區(qū)域進(jìn)行比較。假設(shè)這四個(gè)區(qū)域中有3個(gè)是完全相同或者相似的，則認(rèn)為這兩個(gè)頁(yè)面時(shí)互為轉(zhuǎn)載的。

在確定頁(yè)面是否為轉(zhuǎn)載頁(yè)面后，接下來(lái)，搜索引擎再結(jié)合頁(yè)面的最后修改時(shí)間(搜索引擎在抓取頁(yè)面時(shí)已經(jīng)存儲(chǔ)的附加信息，下在一節(jié)《搜索引擎工作原理- 搜索引擎對(duì)頁(yè)面的收錄(三)》)、頁(yè)面權(quán)重等因素判斷是原創(chuàng)頁(yè)面還是轉(zhuǎn)載頁(yè)面。

鏡像頁(yè)面

內(nèi)容完全相同的頁(yè)面互為鏡像頁(yè)面。要想判斷頁(yè)面是否互為鏡像頁(yè)面，搜索引擎首先把這些頁(yè)面分成N個(gè)區(qū)域進(jìn)行比較，如果這N個(gè)區(qū)域的內(nèi)容完全一樣，則 認(rèn)為這些也頁(yè)面互為鏡像頁(yè)面。然后再綜合頁(yè)面權(quán)重值，頁(yè)面最后修改時(shí)間，判斷哪個(gè)才是源頁(yè)面，哪個(gè)是鏡像頁(yè)面。

如下圖，頁(yè)面一及頁(yè)面二，是不同的網(wǎng)站上的兩個(gè)頁(yè)面。把這兩個(gè)頁(yè)面分成三個(gè)區(qū)域進(jìn)行比較(即A-1、A-2、A-3和B-1、B-2、B-3)，如 果這三個(gè)區(qū)域的頁(yè)面內(nèi)容完全一致，則認(rèn)為這兩個(gè)也米娜互為鏡像頁(yè)面

鏡像網(wǎng)站

鏡像網(wǎng)站是指內(nèi)容完全相同的網(wǎng)站，形成鏡像網(wǎng)站主要有兩種情況：第一種是多個(gè)域名或IP指向同一服務(wù)器的同一目錄：另外一種是整個(gè)網(wǎng)站內(nèi)容被復(fù)制到 時(shí)用不同域名或者IP的服務(wù)器上。

為了識(shí)別站點(diǎn)是否互為鏡像網(wǎng)站，搜索引擎首先判斷這些網(wǎng)站的首頁(yè)以及與首頁(yè)直接連接的頁(yè)面是否互為鏡像也米娜。如果是，則互為鏡像網(wǎng)站。然后綜合網(wǎng) 站權(quán)重值、建立時(shí)間等)識(shí)別哪個(gè)是源網(wǎng)站，哪個(gè)是鏡像網(wǎng)站。這樣，以后抓取頁(yè)面就集中在源網(wǎng)站進(jìn)行，這就是為什么一些鏡像網(wǎng)站被搜索引擎舍棄，或者收錄少 的原因。

原創(chuàng)文章如轉(zhuǎn)載，請(qǐng)注明：轉(zhuǎn)載自大敏博客 [ http://songel.com ]

本文鏈接地址: http://songel.com/archives/73.html

標(biāo)簽： 搜索引擎 網(wǎng)站收錄 頁(yè)面收錄 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。