昨天和主管聊搜索引擎蜘蛛抓取網(wǎng)頁(yè)的特點(diǎn)，主管一句話“百度蜘蛛抓取網(wǎng)頁(yè)層次淺，如果用robots.txt文件靜止，則導(dǎo)致網(wǎng)站收錄停止”則讓我心里有個(gè)疑問(wèn)，難道真的是這樣的？我的博客是8.12建立了，建立后寫(xiě)了幾篇原創(chuàng)文章同時(shí)轉(zhuǎn)載了部分文章，有幾篇文章還在站長(zhǎng)之家、站長(zhǎng)網(wǎng)等網(wǎng)站投稿了，外部鏈接也做了點(diǎn)，可是百度只收錄首頁(yè)，死活不收錄其他頁(yè)面，而且首頁(yè)快照也不更新。聯(lián)系到這句話，因?yàn)椴┛偷膔obots.txt文件屏蔽了css文件（Disallow:/*.css$），所以昨晚決定發(fā)篇文章，修改下robot.txt文件，等待百度更新，今天觀察結(jié)果。

首先、通過(guò)站長(zhǎng)工具-seo綜合查詢結(jié)果如下圖：

百度收錄量：總收錄量：4；今日收錄：0；最近一周：1；最近一月：4。

百度反向鏈接：661個(gè)。

百度排名：信陽(yáng)seo：24；信陽(yáng)網(wǎng)站優(yōu)化：18；信陽(yáng)網(wǎng)站推廣：77

第二、看搜索引擎收錄歷史數(shù)據(jù)。

從2011-08-13到2011-08-31百度對(duì)博客收錄量從0增加到1后維持不變。相比情況下，google收錄量則從0增加82。其他搜索引擎大都停止收錄。

再看搜索引擎反向鏈接的歷史數(shù)據(jù)。

從2011-08-13到2011-08-31百度反向鏈接從1增加到131，google反向鏈接從0增加到1（google反向鏈接增加較慢），雅虎反向鏈接則從0增加到21，有道反向鏈接一直為0。

從百度反應(yīng)來(lái)看，robots.txt文件屏蔽css可能就是導(dǎo)致百度對(duì)網(wǎng)站停止收錄的原因了。晚上與朋友聊天，朋友說(shuō)了個(gè)觀點(diǎn)：因?yàn)椴┛偷腸ss文件（http://www.0376seo.net/wp-content/themes/prowerV3/prowerV3/style.css）里有隱藏代碼（“Display:none;”）一旦屏蔽搜索引擎蜘蛛抓取就會(huì)被搜索引擎判定為作弊。本來(lái)css文件隱藏代碼是出于頁(yè)面布局或其他需要而不得以為之的策略，一旦屏蔽蜘蛛抓取，當(dāng)蜘蛛抓取頁(yè)面時(shí)，發(fā)現(xiàn)隱藏文字，而此時(shí)又無(wú)法抓取css文件，所以就判定為作弊。

在博客的css文件中有二處隱藏代碼：

#nav li ul,.says{display:none;}

*html#go_top{display:none;}

對(duì)照頁(yè)面代碼找到具體的xhtml代碼：

<div id="go_top"><em></em><a href="#">返回頂部</a></div>

<span class="says">說(shuō)道：</span>

最后百度搜索“robotscssseo”找到seowhy的一個(gè)帖子“robots.txt屏蔽css文件的疑問(wèn)……作弊有關(guān)”。

今天就這個(gè)問(wèn)題我請(qǐng)教了seo界的一些達(dá)人，答案不一。但大多認(rèn)為這是作弊的打擊對(duì)象。

其中有個(gè)我個(gè)人認(rèn)為比較合理的答案寫(xiě)出來(lái)供大家參考：

“robots.txt文件能阻止搜索引擎收錄，但依然能讀取，結(jié)果還是會(huì)被判定為作弊”。

我的博客在建立之初，robots.txt文件是參考搜索引擎上一些博客的寫(xiě)法，不假思索地照抄進(jìn)來(lái)，導(dǎo)致被百度判定為作弊。

試驗(yàn)：

2個(gè)新站，采用同樣的系統(tǒng)（dedecms），空間相同配置，域名年齡相近，一個(gè)設(shè)置robots.txt文件禁止抓取css，另一個(gè)則不禁止。然后同時(shí)提交到百度，持續(xù)一段時(shí)間觀察百度反應(yīng)。

信陽(yáng)seo原創(chuàng)文章，原文地址：http://www.0376seo.net/54.html轉(zhuǎn)載請(qǐng)注明！

標(biāo)簽： robots.txt 屏蔽css 網(wǎng)站收錄 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。