大家應(yīng)該都知道百度已經(jīng)全站https并取消referer關(guān)鍵詞顯示了（詳情可查看站長之家文章：百度站點(diǎn)屬性功能升級 全面取消referer關(guān)鍵詞顯示），那么“百度蜘蛛referer”又是什么？有什么妙用嗎？藝龍SEO負(fù)責(zé)人劉明發(fā)現(xiàn)通過百度蜘蛛referer可以快速定位部分站內(nèi)url的報錯（4xx或者5xx）原因。

注：由社區(qū)版主飛鷹正義也對文章做了補(bǔ)充修正。

什么是百度蜘蛛的referer

百度蜘蛛的referer，是指當(dāng)百度蜘蛛抓取某一個URL的時候，在HTTP頭中帶的Referer字段。請注意，這個定義和百度最近聲明去除Referer中關(guān)鍵詞數(shù)據(jù)沒有任何關(guān)系。這次講的是spider發(fā)起的HTTP請求，百度而去除的是用戶發(fā)起的。如果百度蜘蛛抓取百度首頁的logo，會發(fā)起這樣的請求：

上面Referer字段很明確的表示了他是從www.baidu.com這個頁面上發(fā)現(xiàn)并抓取了www.baidu.com/img/bd_logo1.png。而大家在服務(wù)器訪問日志中也應(yīng)該能看到相應(yīng)的記錄。目前發(fā)現(xiàn)只有當(dāng)百度抓取一個網(wǎng)頁的同時，又抓取了網(wǎng)頁中的：img、js和css才會帶上referer字段。這部分額外的抓取量，應(yīng)該不會占用百度分配的抓取配額，屬于“買1送1”。

對于站長的意義

如果你發(fā)現(xiàn)有一批URL（僅限于img,js,css）報錯（4xx或者5xx），但是一直找不到入口在哪，也就是說你不明白百度蜘蛛是從哪里發(fā)現(xiàn)這些錯誤URL的。這個字段可以幫助你迅速定位。

舉個例子

比如我們的SEO日志分析系統(tǒng)中可以看到，符合下面這種URL Pattern的路徑每天有6萬到10萬的抓取而且全部報404。

從發(fā)現(xiàn)問題至今過了1個月，查遍整個網(wǎng)站我也沒找到入口。今天偶然仔細(xì)查了一下日志，想起了百度蜘蛛的referer，馬上就能定位問題了。這些404的URL來自于一套沒人維護(hù)也沒人關(guān)注的頁面（往往是這樣）。收錄流量都不錯。由于最近公司圖片系統(tǒng)更新，圖片的URL全部更改了，但這套頁面并沒有跟著更新。

如果站點(diǎn)沒有記錄referer怎么辦？

iis請在這里勾選“cs(Referer)”：

apache請參考:

apache log配置“Combined Log Format”章節(jié)

apache log配置的官方鏈接

Nginx請參考：

nginx log配置

nginx log配置的官方鏈接

結(jié)束語

· 很多SEO問題并不是立即致命的，所以沒有及時解決。流量就像螞蟻啃大象一樣一點(diǎn)一點(diǎn)啃掉了。

· 系統(tǒng)性的知識積累還是會在關(guān)鍵時刻發(fā)揮作用的。

延伸閱讀：

• 百度取消referer關(guān)鍵詞顯示會對誰產(chǎn)生影響？
• 百度https化、取消referer關(guān)鍵詞顯示有何影響？
• 怎么看待“百度取消referer關(guān)鍵詞”一舉？
• PHP偽造referer實例代碼

標(biāo)簽： 百度取消referer關(guān)鍵詞 百度蜘蛛referer 網(wǎng)站優(yōu)化 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。