竹影清風：被忽略的SEO利器robots.txt
2019-03-05 來源：店主家園,dianzhu2.com
竹影清風做網(wǎng)站也有些年頭了，應各位站長朋友的要求今天跟各位分享一點我的點滴經(jīng)驗。今天的話題重點是robots.txt。各位站長朋友可能比較少關注robots.txt，但善用robots.txt絕對對你的網(wǎng)站是有百益而無一害的。
聲明：此文僅適合新手，老鳥請優(yōu)雅地飄過。
話題一：robots.txt是什么？
這里引用Baidu作出的回答，robots.txt是一個必須放在根目錄底下的純文本文件，文件名必須全部是小寫的字母即“robots.txt”，在這個文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。
話題二：robots.txt具體如何使用？
作用1：SEO中引導搜索蜘蛛抓取網(wǎng)站地圖，更好地收錄網(wǎng)站頁面。
現(xiàn)在Google\ Yahoo等國外搜索引擎都已支持在robots.txt文件里指明sitemap文件的鏈接，在蜘蛛訪問robots.txt時告知你網(wǎng)站地圖所在的位置，以利于蜘蛛更好地收錄你網(wǎng)站的頁面。使用語法是sitemap： http://www.##.com/sitemap.xml（Google）或者是sitemap： http://www.##.com/sitemap.txt（Yahoo）。其中地圖文件你可以使用網(wǎng)站地圖制作軟件生成，或者你自己編寫程序生成。
作用2：禁止所有搜索蜘蛛抓取你網(wǎng)站的所有內(nèi)容或者是指定目錄。在建站實戰(zhàn)中有這么幾種常見的具體情況：
第一種情況是禁止所有搜索蜘蛛抓取你網(wǎng)站的任何內(nèi)容。
假如我的網(wǎng)站剛傳到服務器上或者虛擬主機上調(diào)試，但是由于網(wǎng)站頁面標題或者是關鍵詞等還沒有優(yōu)化好，外面又有了網(wǎng)站的外鏈了，但是還不想讓搜索引擎收錄時，就可以禁止所有搜索引擎來收錄你的任何頁面。
在這里我舉一個反面的例子，06我建了某個網(wǎng)站，使用了織夢的內(nèi)容管理程序，第一次套用了一個模板，加了些內(nèi)容就興奮地向各搜索引擎提交了，第二天就被搜索引擎收錄了，再過了幾天也放出了幾百篇內(nèi)容，但是后來我又找了一套更漂亮清新的模板，改了下又重新生成了所有頁面，如此地改動了好幾次。由于各搜索的蜘蛛都是母的，網(wǎng)站頁面經(jīng)常改動，特別是title等重要屬性的改動讓她很沒有安全感，對網(wǎng)站產(chǎn)生了嚴重的不信任，結果我的網(wǎng)站頁面過了一兩個月才恢復過來。所以各位站長在網(wǎng)站上線對搜索開放之前一定要找準了網(wǎng)站定位，并且在優(yōu)化好了以后再向搜索引擎開放不遲。
又例如你的網(wǎng)站僅是你跟你戀人的戀愛家園，僅僅是你們自娛自樂的，而不想被抓取的，又例如你的網(wǎng)站是公司內(nèi)部用的網(wǎng)站，是全隱秘的內(nèi)容，不需要對任何蜘蛛抓取的，又或者任何其他的具體情況要禁止任何搜索引擎抓取的。
禁止所有搜索引擎收錄網(wǎng)站任何頁面的語法為：
User-agent: *
Disallow: /
第二種情況是需要禁止所有搜索引擎抓取網(wǎng)站特定的一些目錄。
（1）網(wǎng)站某些目錄是程序目錄，完全沒有被抓取的必要，為了提高服務器性能，避免搜索抓取時消耗服務器資源，可以禁止所有搜索引擎抓取這些目錄。（2）網(wǎng)站部分目錄是一些會員信息或者是其實敏感，私密性的內(nèi)容，禁止搜索引擎抓取的。（3）某些目錄下的內(nèi)容全是采集未作任何修改的內(nèi)容，這部分內(nèi)容僅是為了豐富內(nèi)容，但是并不想被搜索引擎收錄，這時就需要禁止搜索引擎抓取。（例如我以前做的一個網(wǎng)站，一部分是全原創(chuàng)的內(nèi)容，用以被搜索抓取的。一部分內(nèi)容是全采集而來僅為豐富網(wǎng)站內(nèi)容，提高用戶體驗的，但是又不想讓搜索引擎收錄認為是垃圾信息而給網(wǎng)站降權，那么這部分目錄我就要屏蔽搜索蜘蛛�。┑鹊绕渌闆r！
禁止所有搜索引擎抓取特定目錄或者特定頁面的語法例子為：
User-agent: *
Disallow: /plus/count.php
Disallow: /include
Disallow: /news/old
大家有興趣的話，可以到竹影清風新上線的dianzhu2.com去查看下我的robots.txt，里面有一些具體的例子說明。
作用3：禁止某蜘蛛抓取你網(wǎng)站的所有內(nèi)容。
這里有這么幾種情況，（1）你曾嚴重被baidu降權過、鄙視過、羞辱過，又或者你是反百度聯(lián)盟的成員，從而要跟它決裂的，要禁止它抓取你網(wǎng)站的任何內(nèi)容。（2）你的網(wǎng)站已經(jīng)NB得跟淘寶似的了，要全面禁止百度收錄你的頁面。大家可以查看下淘寶的robots.txt，淘寶因商業(yè)利益等因素已將baidu屏蔽掉，但是由于baiduspider是母的，見馬云帥得跟個ET似的，還是厚著臉皮收錄了淘寶1060篇左右的內(nèi)容。大家可以在百度搜索欄里輸入site：（taobao.com）驗證下。（3）其他任何想禁止某搜索引擎收錄你網(wǎng)站所有內(nèi)容的情況。
禁止某指定搜索引擎抓取你網(wǎng)站任何內(nèi)容的語法為：
User-agent: baiduspider
Disallow: /
作用4：僅允許指定的搜索蜘蛛抓取你網(wǎng)站的內(nèi)容。
由于我們網(wǎng)站的流量主要來自幾大主要的搜索引擎，你不想國外的或者是國內(nèi)的其他搜索蜘蛛、流氓蜘蛛 來服務器抓取你網(wǎng)站內(nèi)容，從而消耗服務器資源，那這個時候，這個語法就起作用了。
僅允許指定的搜索蜘蛛抓取你網(wǎng)站的內(nèi)容的語法為：
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
其中User-agent： baiduspider Disallow： 可以將你允許的幾大搜索蜘蛛都列出來。在此特別需要提醒的是，必須正確書寫robots.txt，以免給網(wǎng)站帶來不必要的傷害。百度的蜘蛛：baiduspiderGoogle的蜘蛛： Googlebot騰訊Soso:SosospiderYahoo的蜘蛛：Yahoo SlurpMsn的蜘蛛：Msnbot
作用5：禁止所有搜索引擎抓取你網(wǎng)站全部或者特定目錄下的特定類型文件。
禁止所有搜索引擎僅允許抓取網(wǎng)頁，禁止抓取任何圖片。其語法為：
User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
如果是僅禁止特定的搜索引擎，那么按照上面介紹的方法，將通配符*改為特定的蜘蛛名稱就可以了。
作用6：禁止搜索引擎在搜索結果中顯示網(wǎng)頁快照，而只對網(wǎng)頁建立索引。
其使用方法為：
百度支持通過設置網(wǎng)頁的meta，防止搜索引擎顯示網(wǎng)站的快照。方法如下：
要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標記置入網(wǎng)頁的 <HEAD> 部分：<meta name="robots" content="noarchive">要允許其他搜索引擎顯示快照，但僅防止百度顯示，請使用以下標記：<meta name="Baiduspider" content="noarchive">注：此標記只是禁止百度顯示該網(wǎng)頁的快照，百度會繼續(xù)為網(wǎng)頁建索引，并在搜索結果中顯示網(wǎng)頁摘要。如果是Google的話，就是＜META NAME="googlebot" CONTENT="index,follow,noarchive"＞
最后的說明：有些朋友可能啟用了站長日志功能，以分析蜘蛛爬取和用戶訪問情況，蜘蛛來尋找robots.txt文件時，如果尋找不到，服務器也將在日志中記錄一條404錯誤，為了減少log文件，去除無用信息，所以建議你在網(wǎng)站根目錄下添加robots.txt，即使是空的robots文件也好。
其他更多的用法，有待于各位結合實戰(zhàn)慢慢總結。本站于今日新上線，內(nèi)容將全原創(chuàng)，歡迎同類站長交流并提出意見建議。QQ：1030036466 店主家園：http://dianzhu2.com
本文投稿于中國站長站，歡迎轉(zhuǎn)載，但請保留鏈接。
標簽： 網(wǎng)站優(yōu)化 robots.txt 搜索蜘蛛
版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。
