網(wǎng)站假如采用的是虛擬空間，那么都會(huì)有一定的流量限制，如果大部分的流量都被蜘蛛所占據(jù)，那么我們就需要額外花費(fèi)一些錢(qián)去購(gòu)買(mǎi)流量了。那么假如一個(gè)網(wǎng)站很多流量都是蜘蛛抓取所浪費(fèi)的，有哪些技巧和方法可以限制而不影響seo效果呢？焦大認(rèn)為，我們可以采用以下幾種方式：

1，找出虛假蜘蛛進(jìn)行IP屏蔽。通過(guò)網(wǎng)站日志分析，我們可以知道其實(shí)很多所謂的百度spider或谷歌spider其實(shí)都是假的，我們可以通過(guò)解析出這些虛假蜘蛛的IP進(jìn)行屏蔽，這樣不僅可以節(jié)省流量也可以減少網(wǎng)站被采集的風(fēng)險(xiǎn)。具體操作中需要反查出IP是不是真蜘蛛，操作方法為：點(diǎn)擊左下角的開(kāi)始-運(yùn)行-CMD-輸入命令nslookup ip 回車(chē)就可以看到結(jié)果了。如果是真的搜索蜘蛛都有一個(gè)蜘蛛標(biāo)記，而假的蜘蛛?yún)s沒(méi)有標(biāo)記。

2，屏蔽無(wú)效的蜘蛛或?qū)�seo效果小的搜索蜘蛛。比如我們知道谷歌蜘蛛是抓取量非常大，但是對(duì)于很多行業(yè)來(lái)說(shuō)谷歌的流量很低，seo效果并不好，因此可以進(jìn)行屏蔽谷歌蜘蛛的抓取而節(jié)省大量的流量，例如美麗說(shuō)網(wǎng)站就屏蔽了谷歌蜘蛛的抓取。除了谷歌之外，還有一些蜘蛛比如的盤(pán)古搜索、bing蜘蛛等，這些流量都非常低的，或者幾乎沒(méi)有太大作用的蜘蛛其實(shí)都可以屏蔽掉。

3，用robots限制無(wú)效頁(yè)面或重復(fù)頁(yè)面的抓取。有一些頁(yè)面可能以前存在但是現(xiàn)在沒(méi)有了，或者是存在動(dòng)態(tài)與靜態(tài)的URL一起存在，由于存在反向鏈接或數(shù)據(jù)庫(kù)內(nèi)有這樣的鏈接，蜘蛛仍舊會(huì)不時(shí)進(jìn)行抓取，我們可以找出返回404頁(yè)面的URL，把這些URL都給屏蔽掉，這樣既提高了抓取屏蔽也減少了流量浪費(fèi)。

4，限制頁(yè)面的抓取內(nèi)容來(lái)提高抓取效率與抓取速度，減少抓取流量。對(duì)于任何一個(gè)頁(yè)面來(lái)說(shuō)，都有很多無(wú)效的噪音區(qū)，比如一個(gè)網(wǎng)站的登錄、注冊(cè)部分、最下面的版權(quán)信息和一些幫助性的鏈接導(dǎo)航等，或一些模板上存在一些無(wú)法被蜘蛛識(shí)別的展示模塊等，這些我們都可以采用加Noffollow標(biāo)簽或ajax、JS等方法進(jìn)行限制或屏蔽抓取，減少抓取量。

5，外部調(diào)用或cdn加速來(lái)提高蜘蛛的抓取，減少服務(wù)器的響應(yīng)和流量浪費(fèi)。目前的網(wǎng)站大多采用大量的圖片、視頻等多媒體來(lái)展示，而這些圖片缺需要較多的下載流量，如果我們把圖片采用外部調(diào)用的方式，那么就可以節(jié)省大量的蜘蛛抓取流量。目前比較好的方法有把圖片放在其他的服務(wù)器或上傳到一些網(wǎng)盤(pán)上都可以。

6，利用站長(zhǎng)工具限制或提高蜘蛛的抓取，或者限制蜘蛛抓取的時(shí)間。目前百度站長(zhǎng)平臺(tái)和谷歌站長(zhǎng)平臺(tái)都有站長(zhǎng)抓取的工具，可以用來(lái)限制蜘蛛抓取的時(shí)間和抓取量，我們可以根據(jù)需要進(jìn)行合理調(diào)配，達(dá)到最佳的效果。

以上就是焦大總結(jié)的如何提高蜘蛛抓取效率、降低抓取量的一些方法，當(dāng)然在實(shí)際中我們也可以根據(jù)自身實(shí)際需求來(lái)解決，比如可以對(duì)一些抓取量過(guò)大的欄目在sitemap設(shè)置較低的抓取頻率、對(duì)一些重要的內(nèi)容如果收錄不好的話也可以增加外鏈或內(nèi)鏈來(lái)提高抓取等，方法是死的，我們可以根據(jù)具體的續(xù)期去進(jìn)行合理化的設(shè)置，來(lái)達(dá)到更少的抓取而更高的抓取效率。

本文由起源seo論壇http://www.wocaoseo.com/焦大原創(chuàng)，首發(fā)于chinaz。

標(biāo)簽： 蜘蛛抓取

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。