有效使用robots.txt

一個robots.txt文件可以告訴搜索引擎你網(wǎng)站的哪些部分允許它去抓取。而這個文件不旦必須命名成”robots.txt”,還得放在你網(wǎng)站的根目錄上。 

一個網(wǎng)站robots.txt文件的路徑。 

所有的遵循這一規(guī)則的搜索引擎爬蟲(按照通配符*指示的那樣)不應(yīng)該進(jìn)入并抓取/images/或者任何以/search開頭的url里的內(nèi)容。

你也許并不希望你網(wǎng)站的一些頁面被抓取到，因為如果它們出現(xiàn)在搜索結(jié)果里對用戶可能是沒多大意義的。如果你想阻止搜索引擎爬取你的網(wǎng)頁，Google網(wǎng)站管理員工具有一個很好用的robots.txt生成器來幫助你創(chuàng)建這個文件。另外如果你希望子域名里的一些內(nèi)容不被爬取，你需要在子域名的目錄下再新建一個robots.txt文件。你也可以在我們的網(wǎng)站管理員幫助中心獲得更多關(guān)于robots.txt的信息。

這里也有其它更便捷的方式來阻止你的內(nèi)容出現(xiàn)在搜索結(jié)果里，比如說在robots meta標(biāo)簽里添加”NOINDEX”，使用htaccess來為一些目錄加密或者使用Google網(wǎng)站管理員工具來移除某些已經(jīng)被索引的內(nèi)容。Google工程師 Matt Cutts一個幫助視頻里粗略地介紹了各種URL排除原理的注意事項。

robots.txt實踐經(jīng)驗

為那些敏感的內(nèi)容使用更加安全的方案——通過robots.txt來阻止一些敏感或者機密的內(nèi)容。之所以這樣做的是因為如果那些你在robots.txt里阻止的鏈接出現(xiàn)互聯(lián)網(wǎng)上(比如說來源記錄)，搜索引擎就很可能引用這些URLs(不過僅難是URL，不會含有標(biāo)題或者內(nèi)容片段)。還有一些不遵守機器人排除標(biāo)準(zhǔn)的流氓搜索引擎則會違背robots.txt上的指令。最后一些好奇的用戶就會去查看你robots.txt是聲明阻止的目錄或者子目錄，并猜測那些你不想被看到的內(nèi)容。所以對內(nèi)容加密或者通過 .htaccess實現(xiàn)密碼保護(hù)會是更安全的選擇。當(dāng)然你需要避免：

1.允許看起來像搜索結(jié)果一樣的頁面被爬取。(用戶并不喜歡扔給自己一張搜索頁面，全是一些沒有多大意義的結(jié)果。)

2.允許大量的自動生成的頁面被抓取，而里面大多都是相同或者差異甚微的內(nèi)容。“像這些100000張幾乎像復(fù)制的頁面被搜索引擎索引了有多大意義呢?”

3.允許代理服務(wù)器創(chuàng)建的URLs被爬取。（來源：Google網(wǎng)站管理員博客  翻譯：個籬遐想錄）

知識補充：Robots.txt

robots.txt(統(tǒng)一小寫)是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器(又稱網(wǎng)絡(luò)蜘蛛)，此網(wǎng)站中的哪些內(nèi)容是不能被搜索引擎的漫游器獲取的，哪些是可以被(漫游器)獲取的。 因為一些系統(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設(shè)置合并到根目錄下的robots.txt，或者使用robots元數(shù)據(jù)。

Robots.txt協(xié)議并不是一個規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。注意Robots.txt是用字符串比較來確定是否獲取URL，所以目錄末尾有和沒有斜杠“/”這兩種表示是不同的URL，也不能用"Disallow: *.gif"這樣的通配符。

這個協(xié)議也不是一個規(guī)范，而只是約定俗成的，通常搜索引擎會識別這個元數(shù)據(jù)，不索引這個頁面，以及這個頁面的鏈出頁面。

標(biāo)簽： 谷歌 搜索引擎 優(yōu)化 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。