干貨！SEO優(yōu)化上線前的準(zhǔn)備，robots寫(xiě)法
2018-10-24 來(lái)源：SEO研究協(xié)會(huì)網(wǎng)
相信SEO的朋友，都知道上線前要對(duì)根目錄的文件robots，寫(xiě)好協(xié)議。
robots是什么呢?
百度蜘蛛在訪問(wèn)一個(gè)網(wǎng)站時(shí)，會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件（蜘蛛爬行網(wǎng)站的第一個(gè)要訪問(wèn)的文件），這個(gè)文件用于指蜘蛛在你網(wǎng)站上的抓取范圍。
如果你未對(duì)robots.txt文件進(jìn)行修改，那么蜘蛛在爬行網(wǎng)站時(shí)，也會(huì)爬行你的后臺(tái)。包括你的JS、CSS文件也就等于說(shuō)你的網(wǎng)站在蜘蛛面前就是一個(gè)透明的。
爬行了后臺(tái)，有什么后果呢？有不懂的小伙伴可能會(huì)問(wèn)到
如果蜘蛛爬行了你的網(wǎng)站后臺(tái)，那么就收錄了的網(wǎng)站后臺(tái)的地址了。
然后在百度搜索的時(shí)候，搜索引擎有可能把你的后臺(tái)搜索出來(lái)，后果可想而知。稍稍有點(diǎn)駭客技術(shù)的朋友，分分鐘攻入你的后臺(tái)，這還不可怕嗎？
robots一般格式
User-agent: * 定義禁止搜索引擎名字。百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)等。
*號(hào)代表全部搜索引擎
Disallow:不允許抓取收錄
例：后臺(tái)名稱為 dede，那么我不想蜘蛛訪問(wèn)就這樣寫(xiě)：/dede/
"/" "/ "精準(zhǔn)匹配
"/ " 廣泛匹配
"$" 匹配行結(jié)束符
"*" 匹配0或多個(gè)任意字符
Allow（準(zhǔn)許抓取，一般不會(huì)寫(xiě)，默認(rèn)就可以了，當(dāng)然有特殊要求可以去寫(xiě)）
#:注釋
升級(jí)知識(shí)
屏蔽目錄禁止抓取
屏蔽蜘蛛抓取根目錄下的inc文件夾及里面的所有內(nèi)容，根目錄下的wap目錄下的index.html文件。
robots.txt寫(xiě)法：
User-agent: *
Disallow:/inc/ （禁止抓取inc文件夾里面的內(nèi)容）
Disallow:/wap/index.html（禁止抓取wap目錄下的index.html文件）
屏蔽某個(gè)目錄，但要抓取目錄下的某個(gè)文件
1.屏蔽所有蜘蛛抓取根目錄下的wap文件夾，但抓取里面后綴名為html的文件
robots.txt寫(xiě)法：
User-agent: *
Disallow:/wap/ （禁止抓取wap文件夾里面的內(nèi)容）
Allow：:/wap/ *.html（準(zhǔn)許抓取wap下面的后綴為html文件）
2.禁止抓取根目錄下所有帶“wap”字符的文件夾及文件，這里我們就需要用到（/ 廣泛匹配）這個(gè)寫(xiě)法
User-agent: *
Disallow:/wap (一個(gè)“/”就可以了)
3.保護(hù)隱私文件夾或文件
在寫(xiě)禁止搜索引擎抓取某些私密文件夾的同時(shí)，也暴露了網(wǎng)站的目錄結(jié)構(gòu)，猜出網(wǎng)站后臺(tái)管理系統(tǒng)、后臺(tái)等。（這點(diǎn)基本上一般網(wǎng)站用不上），我們可以用廣發(fā)寫(xiě)法來(lái)，保護(hù)重要文件。
比如：禁止抓取/inli，就可以寫(xiě)成如下，當(dāng)然前提是你的根目錄里面沒(méi)有前面帶這些字符的文件夾或文件給蜘蛛抓取。
User-agent: *
Disallow:/inli
屏蔽動(dòng)態(tài)URL
有時(shí)候動(dòng)態(tài)頁(yè)面可能會(huì)和靜態(tài)頁(yè)面相同，造成重復(fù)收錄。（影響蜘蛛友好度）
屏蔽死鏈接
User-agent:*
Disallow:（網(wǎng)站域名）
屏蔽不參與排名的頁(yè)面鏈接
寫(xiě)法：
直接在不需要排名的頁(yè)面鏈接，添加nofollow便簽
<a rel="nofollow" href="網(wǎng)站地址">登陸</a>
sitemap索引在robots.txt的位置
sitamap(網(wǎng)站地圖)位置最好放在robots.txt的最下面，蜘蛛先遵循前面的原則爬去。
Sitemap:“網(wǎng)站地址”+“sitemap.xml”
Sitemap:“網(wǎng)站地址”+“sitemap.html”
本文僅代表作者個(gè)人觀點(diǎn)，不代表SEO研究協(xié)會(huì)網(wǎng)官方發(fā)聲，對(duì)觀點(diǎn)有疑義請(qǐng)先聯(lián)系作者本人進(jìn)行修改，若內(nèi)容非法請(qǐng)聯(lián)系平臺(tái)管理員，郵箱cxb5918@163.com。更多相關(guān)資訊，請(qǐng)到SEO研究協(xié)會(huì)網(wǎng)bingfeng168.cn學(xué)習(xí)互聯(lián)網(wǎng)營(yíng)銷技術(shù)請(qǐng)到巨推學(xué)院www.jutuiedu.com。
robots是什么呢?
百度蜘蛛在訪問(wèn)一個(gè)網(wǎng)站時(shí)，會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件（蜘蛛爬行網(wǎng)站的第一個(gè)要訪問(wèn)的文件），這個(gè)文件用于指蜘蛛在你網(wǎng)站上的抓取范圍。
如果你未對(duì)robots.txt文件進(jìn)行修改，那么蜘蛛在爬行網(wǎng)站時(shí)，也會(huì)爬行你的后臺(tái)。包括你的JS、CSS文件也就等于說(shuō)你的網(wǎng)站在蜘蛛面前就是一個(gè)透明的。
爬行了后臺(tái)，有什么后果呢？有不懂的小伙伴可能會(huì)問(wèn)到
如果蜘蛛爬行了你的網(wǎng)站后臺(tái)，那么就收錄了的網(wǎng)站后臺(tái)的地址了。
然后在百度搜索的時(shí)候，搜索引擎有可能把你的后臺(tái)搜索出來(lái)，后果可想而知。稍稍有點(diǎn)駭客技術(shù)的朋友，分分鐘攻入你的后臺(tái)，這還不可怕嗎？
robots一般格式
User-agent: * 定義禁止搜索引擎名字。百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)等。
*號(hào)代表全部搜索引擎
Disallow:不允許抓取收錄
例：后臺(tái)名稱為 dede，那么我不想蜘蛛訪問(wèn)就這樣寫(xiě)：/dede/
"/" "/ "精準(zhǔn)匹配
"/ " 廣泛匹配
"$" 匹配行結(jié)束符
"*" 匹配0或多個(gè)任意字符
Allow（準(zhǔn)許抓取，一般不會(huì)寫(xiě)，默認(rèn)就可以了，當(dāng)然有特殊要求可以去寫(xiě)）
#:注釋
升級(jí)知識(shí)
屏蔽目錄禁止抓取
屏蔽蜘蛛抓取根目錄下的inc文件夾及里面的所有內(nèi)容，根目錄下的wap目錄下的index.html文件。
robots.txt寫(xiě)法：
User-agent: *
Disallow:/inc/ （禁止抓取inc文件夾里面的內(nèi)容）
Disallow:/wap/index.html（禁止抓取wap目錄下的index.html文件）
屏蔽某個(gè)目錄，但要抓取目錄下的某個(gè)文件
1.屏蔽所有蜘蛛抓取根目錄下的wap文件夾，但抓取里面后綴名為html的文件
robots.txt寫(xiě)法：
User-agent: *
Disallow:/wap/ （禁止抓取wap文件夾里面的內(nèi)容）
Allow：:/wap/ *.html（準(zhǔn)許抓取wap下面的后綴為html文件）
2.禁止抓取根目錄下所有帶“wap”字符的文件夾及文件，這里我們就需要用到（/ 廣泛匹配）這個(gè)寫(xiě)法
User-agent: *
Disallow:/wap (一個(gè)“/”就可以了)
3.保護(hù)隱私文件夾或文件
在寫(xiě)禁止搜索引擎抓取某些私密文件夾的同時(shí)，也暴露了網(wǎng)站的目錄結(jié)構(gòu)，猜出網(wǎng)站后臺(tái)管理系統(tǒng)、后臺(tái)等。（這點(diǎn)基本上一般網(wǎng)站用不上），我們可以用廣發(fā)寫(xiě)法來(lái)，保護(hù)重要文件。
比如：禁止抓取/inli，就可以寫(xiě)成如下，當(dāng)然前提是你的根目錄里面沒(méi)有前面帶這些字符的文件夾或文件給蜘蛛抓取。
User-agent: *
Disallow:/inli
屏蔽動(dòng)態(tài)URL
有時(shí)候動(dòng)態(tài)頁(yè)面可能會(huì)和靜態(tài)頁(yè)面相同，造成重復(fù)收錄。（影響蜘蛛友好度）
- 屏蔽動(dòng)態(tài)URL
- User-agent:*
- Disallow:/*?*
- 僅允許訪問(wèn)“.html”為后綴的URL
- User-agent:*
- Allow:.html$
- Disallow:/
屏蔽死鏈接
- 向提交百度站長(zhǎng)平臺(tái)提交死鏈
- robots禁止蜘蛛抓取死鏈，寫(xiě)法同上，最好帶完整路徑
User-agent:*
Disallow:（網(wǎng)站域名）
屏蔽不參與排名的頁(yè)面鏈接
寫(xiě)法：
直接在不需要排名的頁(yè)面鏈接，添加nofollow便簽
<a rel="nofollow" href="網(wǎng)站地址">登陸</a>
sitemap索引在robots.txt的位置
sitamap(網(wǎng)站地圖)位置最好放在robots.txt的最下面，蜘蛛先遵循前面的原則爬去。
Sitemap:“網(wǎng)站地址”+“sitemap.xml”
Sitemap:“網(wǎng)站地址”+“sitemap.html”
本文僅代表作者個(gè)人觀點(diǎn)，不代表SEO研究協(xié)會(huì)網(wǎng)官方發(fā)聲，對(duì)觀點(diǎn)有疑義請(qǐng)先聯(lián)系作者本人進(jìn)行修改，若內(nèi)容非法請(qǐng)聯(lián)系平臺(tái)管理員，郵箱cxb5918@163.com。更多相關(guān)資訊，請(qǐng)到SEO研究協(xié)會(huì)網(wǎng)bingfeng168.cn學(xué)習(xí)互聯(lián)網(wǎng)營(yíng)銷技術(shù)請(qǐng)到巨推學(xué)院www.jutuiedu.com。
標(biāo)簽： Google seo 谷歌 互聯(lián)網(wǎng) 排名 搜索 搜索引擎 學(xué)習(xí)互聯(lián)網(wǎng) 域名
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。
最新資訊
熱門(mén)推薦