網(wǎng)站優(yōu)化robots.txt文件使用技巧
2018-10-31 來源：SEO研究協(xié)會(huì)網(wǎng)
大家都知道，網(wǎng)站采用robots.txt文件可以使搜索引擎的“蜘蛛”按照文件中確定的范圍來訪問，不會(huì)訪問到對(duì)網(wǎng)站排名不利的內(nèi)容。那么robots.txt文件是怎么工作的呢?我們又該如何使用robots.txt文件呢？
一、robots.txt文件工作原理
1.robots.txt 是一個(gè)純文本文件，通過在這個(gè)文件中聲明該網(wǎng)站中不想被 robots 訪問的部分，這樣，該網(wǎng)站的部分或全部?jī)?nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。
2.當(dāng)一個(gè)搜索引擎“蜘蛛”訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在 robots.txt，如果找到，搜索引擎“蜘蛛”就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍。如果該文件不存在，那么搜索引擎“蜘蛛”就沿著鏈接抓取。
3.robots.txt 必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫。
二、robots.txt文件的設(shè)置
1.User-agent的設(shè)置
在"robots.txt"文件中，如果有多條 User-agent 記錄說明有多個(gè) robot 會(huì)受到"robots.txt"的限制，對(duì)該文件來說，至少要有一條 User-agent 記錄。如果該項(xiàng)的值設(shè)為*，則對(duì)任何 robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。
2.Disallow的設(shè)置
這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以 Disallow 項(xiàng)的值開頭的URL不會(huì)被 robot 訪問。
3.Allow的設(shè)置
與 Disallow 項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以 Allow項(xiàng)的值開頭的 URL是允許robot訪問的。
三、robots.txt文件使用技巧
1. 每當(dāng)用戶試圖訪問某個(gè)不存在的 URL 時(shí)，服務(wù)器都會(huì)在日志中記錄 404 錯(cuò)誤（無法找到文件）。每當(dāng)搜索引擎“蜘蛛”來尋找并不存在的 robots.txt 文件時(shí)，服務(wù)器也將在日志中記錄一條 404 錯(cuò)誤，所以你應(yīng)該在網(wǎng)站中添加一個(gè) robots.txt。
2. 網(wǎng)站管理員必須使蜘蛛程序遠(yuǎn)離某些服務(wù)器上的目錄——保證服務(wù)器性能。
3. 如果網(wǎng)站是動(dòng)態(tài)網(wǎng)頁，動(dòng)態(tài)網(wǎng)頁創(chuàng)建了靜態(tài)副本，以供搜索蜘蛛更容易抓取。那么需要在 robots.txt 文件里設(shè)置避免動(dòng)態(tài)網(wǎng)頁被蜘蛛索引，以保證這些網(wǎng)頁不會(huì)被視為含重復(fù)內(nèi)容。
4. robots.txt 文件里還可以直接包括在 sitemap 文件的鏈接。
5. 合理使用 robots.txt 文件還能避免訪問時(shí)出錯(cuò)。比如，不能讓搜索者直接進(jìn)入購物車頁面。因?yàn)闆]有理由使購物車被收錄，所以你可以在 robots.txt文件里設(shè)置來阻止搜索者直接進(jìn)入購物車頁面。
本文僅代表作者個(gè)人觀點(diǎn)，不代表SEO研究協(xié)會(huì)網(wǎng)官方發(fā)聲，對(duì)觀點(diǎn)有疑義請(qǐng)先聯(lián)系作者本人進(jìn)行修改，若內(nèi)容非法請(qǐng)聯(lián)系平臺(tái)管理員，郵箱cxb5918@163.com。更多相關(guān)資訊，請(qǐng)到SEO研究協(xié)會(huì)網(wǎng)bingfeng168.cn學(xué)習(xí)互聯(lián)網(wǎng)營(yíng)銷技術(shù)請(qǐng)到巨推學(xué)院www.jutuiedu.com。
robots.txt文件
一、robots.txt文件工作原理
1.robots.txt 是一個(gè)純文本文件，通過在這個(gè)文件中聲明該網(wǎng)站中不想被 robots 訪問的部分，這樣，該網(wǎng)站的部分或全部?jī)?nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。
2.當(dāng)一個(gè)搜索引擎“蜘蛛”訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在 robots.txt，如果找到，搜索引擎“蜘蛛”就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍。如果該文件不存在，那么搜索引擎“蜘蛛”就沿著鏈接抓取。
3.robots.txt 必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫。
二、robots.txt文件的設(shè)置
1.User-agent的設(shè)置
在"robots.txt"文件中，如果有多條 User-agent 記錄說明有多個(gè) robot 會(huì)受到"robots.txt"的限制，對(duì)該文件來說，至少要有一條 User-agent 記錄。如果該項(xiàng)的值設(shè)為*，則對(duì)任何 robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。
2.Disallow的設(shè)置
這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以 Disallow 項(xiàng)的值開頭的URL不會(huì)被 robot 訪問。
3.Allow的設(shè)置
與 Disallow 項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以 Allow項(xiàng)的值開頭的 URL是允許robot訪問的。
三、robots.txt文件使用技巧
1. 每當(dāng)用戶試圖訪問某個(gè)不存在的 URL 時(shí)，服務(wù)器都會(huì)在日志中記錄 404 錯(cuò)誤（無法找到文件）。每當(dāng)搜索引擎“蜘蛛”來尋找并不存在的 robots.txt 文件時(shí)，服務(wù)器也將在日志中記錄一條 404 錯(cuò)誤，所以你應(yīng)該在網(wǎng)站中添加一個(gè) robots.txt。
2. 網(wǎng)站管理員必須使蜘蛛程序遠(yuǎn)離某些服務(wù)器上的目錄——保證服務(wù)器性能。
3. 如果網(wǎng)站是動(dòng)態(tài)網(wǎng)頁，動(dòng)態(tài)網(wǎng)頁創(chuàng)建了靜態(tài)副本，以供搜索蜘蛛更容易抓取。那么需要在 robots.txt 文件里設(shè)置避免動(dòng)態(tài)網(wǎng)頁被蜘蛛索引，以保證這些網(wǎng)頁不會(huì)被視為含重復(fù)內(nèi)容。
4. robots.txt 文件里還可以直接包括在 sitemap 文件的鏈接。
5. 合理使用 robots.txt 文件還能避免訪問時(shí)出錯(cuò)。比如，不能讓搜索者直接進(jìn)入購物車頁面。因?yàn)闆]有理由使購物車被收錄，所以你可以在 robots.txt文件里設(shè)置來阻止搜索者直接進(jìn)入購物車頁面。
本文僅代表作者個(gè)人觀點(diǎn)，不代表SEO研究協(xié)會(huì)網(wǎng)官方發(fā)聲，對(duì)觀點(diǎn)有疑義請(qǐng)先聯(lián)系作者本人進(jìn)行修改，若內(nèi)容非法請(qǐng)聯(lián)系平臺(tái)管理員，郵箱cxb5918@163.com。更多相關(guān)資訊，請(qǐng)到SEO研究協(xié)會(huì)網(wǎng)bingfeng168.cn學(xué)習(xí)互聯(lián)網(wǎng)營(yíng)銷技術(shù)請(qǐng)到巨推學(xué)院www.jutuiedu.com。
標(biāo)簽： seo 服務(wù)器 服務(wù)器性能 互聯(lián)網(wǎng) 排名 搜索 搜索引擎 搜索引擎收錄 網(wǎng)站優(yōu)化 學(xué)習(xí)互聯(lián)網(wǎng)
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。
最新資訊
熱門推薦