前段時(shí)間seowhy開(kāi)啟未登陸用戶禁止訪問(wèn)論壇的權(quán)限，讓我想到的是，如果用戶未登陸不能查看帖子，那百度蜘蛛能否索引到內(nèi)容呢，我簡(jiǎn)單的理解為百度蜘蛛的爬行其實(shí)就是順著網(wǎng)站中的錨文本鏈接爬行，然后形成一張大網(wǎng)，但如果論壇禁止未登陸用戶訪問(wèn)，那么蜘蛛爬行的鏈接就是死鏈，就抓取不到內(nèi)容，發(fā)帖就沒(méi)有效果，其實(shí)我的想法是錯(cuò)誤的，百度蜘蛛其獨(dú)特的爬行機(jī)制不是我們想象的那么簡(jiǎn)單。

前日（10月22日），我修改公司網(wǎng)站的數(shù)據(jù)庫(kù)，而后測(cè)試發(fā)布了一篇以“啊啊”為標(biāo)題、內(nèi)容的信息，前臺(tái)并沒(méi)有生成頁(yè)面，也就是說(shuō)這篇文章只有數(shù)據(jù)庫(kù)中存在，前臺(tái)沒(méi)有它的一點(diǎn)信息（因?yàn)槲矣袛?shù)據(jù)庫(kù)潔癖，為了不讓文章ID錯(cuò)亂，想著不用刪除，等第二天更新文章修改掉就行，反正也沒(méi)生成頁(yè)面），第二天（10月23日），我把這條測(cè)試文章修改了，又發(fā)不了一篇新的文章，等待收錄查看快照是這樣的。

修改的那篇文章是22日的快照，新發(fā)布的正常，22日時(shí)是“啊啊”的內(nèi)容，但點(diǎn)擊百度快照進(jìn)去發(fā)現(xiàn)是新的內(nèi)容，讓我又想到，難道百度收錄文章的快照與文章更新的時(shí)間有關(guān)系？于是，今天（10月24日）我又更新了兩篇文章，然后進(jìn)數(shù)據(jù)庫(kù)把一片文章的發(fā)布時(shí)間改為昨天，等待收錄。

同一時(shí)間發(fā)布的兩篇文章變成了上面的收錄展示形式，可見(jiàn)22日發(fā)布的那篇文章其實(shí)當(dāng)天就收錄了，只是蜘蛛可能知道內(nèi)容不是用戶要發(fā)布的所以一直沒(méi)放出，23日修改內(nèi)容后，前臺(tái)更新，蜘蛛順著鏈接爬行到這個(gè)網(wǎng)站知道內(nèi)容是真正內(nèi)容了，就替換了22日的收錄并放不來(lái)，但快照沒(méi)有修改，至于今天發(fā)布的兩偏文章展示不一樣，都只是暫時(shí)的，你明天查看，都會(huì)變成24日快照，沒(méi)有什么不同，只不過(guò)今日查看一個(gè)顯示詳細(xì)收錄時(shí)間，一個(gè)顯示當(dāng)天。

從上面的分析可以看出，百度蜘蛛爬行有時(shí)是不按我們的常規(guī)思考進(jìn)行的，它會(huì)通過(guò)各種方法進(jìn)入你的數(shù)據(jù)庫(kù)，抓取內(nèi)容，而非與網(wǎng)站前臺(tái)的種種限制能阻擋，除非你用robots文件來(lái)限制，seowhy雖屏蔽未登陸用戶訪問(wèn)，但其實(shí)百度蜘蛛是可以抓取到內(nèi)容的，因?yàn)樗�與我們用戶的訪問(wèn)方法不一樣。至于文章的發(fā)布時(shí)間，一定程度上會(huì)影響文章收錄的快照，但不是絕對(duì)。

原文鏈接：鄭州seo http://www.zzzhu.net/news/?p=401

標(biāo)簽： 百度蜘蛛 搜索引擎蜘蛛 錨文本鏈接優(yōu)化 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。