據(jù)筆者觀察，很多的個人站都對404頁面和ROBOT文件不是很重視，因為大部分個人站長都覺得這兩個是可有可無的，但是筆者覺得這兩個文件對優(yōu)化也是有影響的，特別是404頁面，如果網(wǎng)站出現(xiàn)了無效鏈接，那么可以通過404頁面留住用戶，使之返回網(wǎng)站繼續(xù)瀏覽。而ROBOT文件則是讓蜘蛛更好的收錄網(wǎng)站的可收錄頁面，對于網(wǎng)站收錄量的高低有非常大的影響。好了，現(xiàn)在回歸正文，下面開始講解這兩個文件的設(shè)置。

404頁面的作用

大部分站長知道的404頁面可能是為了引導(dǎo)用戶在瀏覽到某個無效頁面時，可以通過404頁面提供的鏈接返回到網(wǎng)站，而且大部分站長認為404頁面就這么一個作用而已。其實不然，404頁面還有其他的作用。比如當用戶長時間瀏覽網(wǎng)站時，會出現(xiàn)麻木性的點擊，當點擊到無效鏈接時就會產(chǎn)生退出的心理，而這時候如果網(wǎng)站沒有404頁面引導(dǎo)的話，那么用戶自然就會關(guān)閉網(wǎng)站，很容易就造成用戶的流失了。但是通過設(shè)置比較新穎的404頁面可以讓用戶緩沖一下緊張的情緒，就像盧哥的404頁面設(shè)置一個FLASH小游戲一樣，當產(chǎn)生了無效鏈接時，用戶可以通過玩玩小游戲來緩沖一下情緒，這樣自然就會更容易的重新返回網(wǎng)站繼續(xù)瀏覽了。

所以說，404頁面不但是為了屏蔽無效的鏈接，還可以利用404頁面緩沖用戶的瀏覽麻木性，這對于激發(fā)用戶再次瀏覽網(wǎng)站具有非常大的幫助，如果你不信，可以設(shè)置一個比較新穎的404頁面，觀察一下其跳出率和PV值吧。

404頁面的設(shè)置方法

對于上文說的404頁面的作用，那么站長如何設(shè)置有效的404頁面呢？主要有幾個方法：

1、404界面風(fēng)格要新穎。界面和風(fēng)格都比較新穎的404頁面可以讓用戶瀏覽到無效鏈接時，也不會對網(wǎng)站失去了興趣，而且可以使用戶不會為網(wǎng)站出現(xiàn)無效鏈接而對網(wǎng)站產(chǎn)生懷疑。就像站長之家的404頁面，就比較獨特了。

2、404頁面要有停頓時間。這點對用戶和搜索引摯都非常重要，不要把404頁面停留的時間設(shè)置過短，比如1－3秒之間的就對用戶和蜘蛛都不友好。最低保持在5秒以上。

3、404頁面不要直接返回首頁。如果404頁面直接跳轉(zhuǎn)到首頁的話，那么就會讓蜘蛛爬行時，把它當成是一個獨立頁面收錄，這樣對后期的優(yōu)化并不友好。

4、404頁面要給用戶選擇跳轉(zhuǎn)。其實這點是筆者最近才發(fā)現(xiàn)的，許多的404頁面只留下一個跳轉(zhuǎn)到首頁的鏈接，這樣使得用戶無法選擇自己要返回的頁面，自然對用戶體驗就不是那么友好了，所以，在404頁面中，不但要有跳轉(zhuǎn)首頁的鏈接，還要設(shè)置返回其他頁面的鏈接，比如返回上一頁、返回之前的分類頁等，這些都會讓用戶感覺到網(wǎng)站的人性化。

5、404頁面需要屏蔽掉。在ROBOTS文件中，要把404頁面的地址屏蔽起來，這樣即使是出現(xiàn)以上的情況也不會讓搜索引摯爬行到，也不會出現(xiàn)無效鏈接也被收錄了。

ROBOTS文件的作用

百度百科中ROBOTS文件的解釋就是告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。就按筆者的理解，ROBOTS文件就是為了告訴蜘蛛哪些頁面可以抓取，哪些頁面不可以抓取�，F(xiàn)在很多站長說自己明明設(shè)置了禁止抓取的頁面，但是搜索引摯也一樣收錄這些頁面，開始懷疑ROBOTS文件是不是沒作用了。其實不是，設(shè)置了還被抓取那說明你的ROBOTS語法錯誤了，ROBOTS設(shè)置不當使得文件根本就不起作用。其實說白了ROBOT文件的作用就是把自己需要被收錄的頁面提供給蜘蛛爬行，而不想被收錄的，那么通過ROBOTS文件進行屏蔽，不讓蜘蛛爬行這些頁面，這樣就不會造成頁面被抓取了。所以說，ROBOTS在網(wǎng)站優(yōu)化中的作用就是讓不利于搜索引摯收錄的頁面實行屏蔽，通過ROBOTS文件引導(dǎo)蜘蛛可以爬行哪些頁面和不可爬行哪些頁面。

ROBOT文件的設(shè)置方法

那么新手在學(xué)習(xí)網(wǎng)站優(yōu)化中，怎么才能正確的設(shè)置ROBOTS文件呢，使之具有引導(dǎo)蜘蛛爬行自己允許的頁面呢？主要有幾個設(shè)置方法：

1. 整站屏蔽設(shè)置方法。如果你的網(wǎng)站不想被全部的搜索引摯收錄的話，那么可以這樣寫：

User-agent: *

Disallow: /

2. 屏蔽某個文件。比如我不讓搜索引摯抓取ADMIN這個文件夾，自然需要用ROBOTS文件屏蔽ADMIN這個文件了，寫法：

User-agent:*

Disallow:/ADMIN/

3. 禁止某個搜索引摯抓取網(wǎng)站頁面。比如禁止谷歌機器人收錄網(wǎng)站的任何頁面，寫法：

User-agent:Googlebot

Disallow:*

4. 允許一個文件中的某個文件夾被抓取，比如允許FLIMS文件夾中的INDEX2.html文件被抓取，那么就應(yīng)該這樣寫：

User-Agent:*

Disallow:/FLIMS/

Allow:/FLIMS/INDEX2.html

其他類似的方法也以此類推，新手在設(shè)置ROBOTS文件時，可以多點參考百度優(yōu)化指南中的相關(guān)介紹，這樣對于網(wǎng)站收錄量高低可以更容易掌握，而且也利于自己知道哪些頁面被收錄，哪些頁面自己禁止被收錄了。

在設(shè)置404頁面，站長應(yīng)該以用戶體驗為參考對象，如果自己是網(wǎng)站用戶的話，當點擊到無效鏈接時，什么樣的404對于自己更有吸引力。而ROBOTS文件主要是針對搜索引摯的，所以，只要設(shè)置正規(guī)，自然就不會影響到網(wǎng)站優(yōu)化的效果，但是如果設(shè)置不當?shù)脑挘�可能會出現(xiàn)網(wǎng)站不被收錄的哦，或者自己不想被收錄的頁面居然收錄了，自已想被收錄的頁面卻沒有被收錄。所以，今天筆者簡單分析了404頁面和ROBOTS文件的設(shè)置方法，希望新手在學(xué)習(xí)網(wǎng)站優(yōu)化的過程中，可以設(shè)置出適合自己網(wǎng)站的404和ROBOTS。本文就到這里，由豐胸產(chǎn)品（http://www.fengxiong77.com/）獨家供稿，轉(zhuǎn)載請注明，謝謝！

標簽： 網(wǎng)站結(jié)構(gòu)優(yōu)化 網(wǎng)站404頁面優(yōu)化 ROBOTS文件設(shè)置 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。