在對 robots.txt 文件設(shè)置記錄時，要特別注意 Disallow 與 Allow 行的順序是有意義的，spider 會根據(jù)第一個匹配成功的 Allow 或 Disallow 行確定是否訪問某個URL。

舉例說明：

允許 spider 訪問 /cgi-bin/ 目錄下的包含 see 的文件夾或URL

User-agent： *

Allow： /cgi-bin/see

Disallow： /cgi-bin/

如果Allow 和 Disallow 的順序調(diào)換一下：

User-agent： *

Disallow： /cgi-bin/

Allow： /cgi-bin/see

spider 就無法訪問到 /cgi-bin/ 目錄下的包含 see 的文件夾或URL，因?yàn)榈谝粋� Disallow： /cgi-bin/ 已經(jīng)匹配成功。

關(guān)于 Disallow 和 Allow 記錄寫法

Disallow 和 Allow 記錄后面可以是一條完整的路徑，也可以是路徑的非空前綴。例如 “Disallow： /help” 禁止 spider 訪問/help.html、/helpabc.html、/help/index.html；而 “Disallow:/help/” 則允許 spider 訪問 /help.html、/helpabc.html，不能訪問 /help/index.html。

文章來源：Bruce 只言片語

標(biāo)簽： robots.txt文件 Disallow Allow 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。