10月20日，我對(duì)博客進(jìn)行了大規(guī)模調(diào)整，就如同對(duì)待亟待成長(zhǎng)的樹(shù)一般修枝剪葉，以期能有較好的成長(zhǎng)趨勢(shì)。其中robots.txt被我充分的利用起來(lái)。

如今一個(gè)工作周即將過(guò)去，robots.txt文件規(guī)則是否正確，是否已經(jīng)生效？百度谷歌等搜素引擎是否響應(yīng)了robots.txt規(guī)則進(jìn)行索引調(diào)整？作為站長(zhǎng)我需要深入研究一番，以便動(dòng)態(tài)掌握博客收錄狀態(tài)。

經(jīng)調(diào)查發(fā)現(xiàn)，谷歌對(duì)robots.txt反應(yīng)比較迅速，第三天在網(wǎng)站管理工具里找到了跡象。百度表現(xiàn)不盡如人意，說(shuō)百度不認(rèn)robots.txt規(guī)則那是瞎扯，但反應(yīng)周期如此之長(zhǎng)，難免會(huì)留下反應(yīng)慢不作為的猜疑。

看谷歌對(duì)robots.txt規(guī)則之反應(yīng)

在20日做的調(diào)整中，有兩條規(guī)則我后來(lái)做了刪除。打開(kāi)我博客的robots.txt，和20日進(jìn)行調(diào)整寫下的對(duì)比，可知其中變化。

作此調(diào)整的原因在于，如按照20日的寫法，第二天我發(fā)現(xiàn)，網(wǎng)站管理員工具Sitemaps里三個(gè)被選中的地址前出現(xiàn)了叉號(hào)——被robots.txt文件規(guī)則給阻止了——這個(gè)沒(méi)必要嘛。當(dāng)時(shí)的截圖找不到了，下面三個(gè)選中的可以看一下：

提交的sitemap網(wǎng)站地圖

響應(yīng)robots.txt規(guī)則，谷歌停止了2000 多個(gè)連接地址的抓取。那500多個(gè)找不到地址，是因?yàn)榍岸螘r(shí)間刪除文章標(biāo)簽tags后遺癥。下面是截圖：

2000多個(gè)連接地址被robots.txt規(guī)則限制

翻遍每一頁(yè)，沒(méi)有發(fā)現(xiàn)問(wèn)題——除了一些/?p=的短連接讓人心疼外，一切完美無(wú)暇。嚴(yán)格來(lái)說(shuō)，應(yīng)該是robots.txt規(guī)則不存在問(wèn)題，谷歌不折不扣的執(zhí)行了robots.txt規(guī)則。

谷歌查詢“site:***.com inurl:?p” 僅找到殘缺的14條（無(wú)標(biāo)題或摘要）。不久的將來(lái)這些地址將被清除。

看百度對(duì)robots.txt規(guī)則之反應(yīng)

20日就有robots.txt文件規(guī)則了，這是什么情況？

規(guī)則20日制定，上面這圖不知是穿越了，還是我眼花了？我查過(guò)IIS日志記錄，百度20日后曾多次下載robot.txt文件，服務(wù)器返回的是200成功狀態(tài)碼。

難怪百度不招各位站長(zhǎng)待見(jiàn)。

百度“親愛(ài)的站長(zhǎng)，我是你爹”高高在上的態(tài)度，是否應(yīng)該轉(zhuǎn)變一下了？

原文地址：不得言博客

標(biāo)簽： 網(wǎng)站優(yōu)化 robots.txt規(guī)則 robots.txt寫法 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。