前些日子遇到一個(gè)朋友他問(wèn)了我一個(gè)問(wèn)題：“我們的網(wǎng)站只收錄abc.XXX.com,的二級(jí)目錄類(lèi)域名，不收錄www.xxx.com的怎么辦？”我看到這個(gè)問(wèn)題時(shí)候我當(dāng)時(shí)下意識(shí)的說(shuō)了句robots屏蔽就好了，然后我更具他們各個(gè)二級(jí)站點(diǎn)例如合肥站上海站寫(xiě)了一個(gè)robots文件發(fā)給她如下：

User-agent: *

Disallow: /abc/

但是緊接著方法都被一一放棄了，因?yàn)榻y(tǒng)統(tǒng)行不通。因?yàn)樗麄兊木W(wǎng)站所有二級(jí)目錄和主目錄在ftp中都是在同一文件夾下，然后我又總結(jié)了他們網(wǎng)站出現(xiàn)的問(wèn)題。

1.網(wǎng)站不帶www的二級(jí)域名已經(jīng)收錄過(guò)萬(wàn)，且每日都有蜘蛛爬取，但帶www的主域名至今只收錄二三十個(gè)，且還有下降的趨勢(shì)，所以想讓網(wǎng)站收錄帶www的主域名頁(yè)面。

2.網(wǎng)站所有頁(yè)面在同一個(gè)文件夾下無(wú)法利用robots屏蔽路徑方式屏蔽頁(yè)面。

雖然我在百度查詢了很久但是卻并未查到過(guò)多有用信息，大多都是和我第一次給出的答案一樣，但最后我們還是想出了辦法解決了這個(gè)問(wèn)題，那關(guān)于屏蔽二級(jí)目錄收錄問(wèn)題，總結(jié)了以下幾點(diǎn)可供選擇。

1.如果需要屏蔽的頁(yè)面和主頁(yè)面是在不同的文件夾下我們可以直接采取我上面提到的直接robots文件屏蔽，寫(xiě)法例如Disallow: /abc/之類(lèi)的直接robots屏蔽方法。

2.無(wú)法利用robots禁止搜索引擎收錄某個(gè)二級(jí)域名的，最好的方法就是301，對(duì)于有用的頁(yè)面將所有的二級(jí)目錄類(lèi)域名重定向，無(wú)用的就直接刪除。

3.法，將而與目錄分配到不同的空間下利用robots屏蔽。

4.個(gè)判斷程序，讓要屏蔽的二級(jí)域名下面有一個(gè)robots.txt文件。abc.xxx.com/robots.txt,然后在利用robots屏蔽。此方法我沒(méi)有試過(guò)我是看到夫唯老師很久前給別人的一個(gè)建議，就理論而言是可以行的通的。

對(duì)于在網(wǎng)站建設(shè)中如何避免此類(lèi)不需要收錄的二級(jí)域名我羅列了一下幾點(diǎn)如果有不完善的歡迎大家補(bǔ)充。

1.虛擬主機(jī)時(shí)空間自帶了二級(jí)域名地址且地址已經(jīng)收錄的話最直接的辦法就是站內(nèi)開(kāi)放的鏈接上要統(tǒng)一url規(guī)范不要給不想收錄的二級(jí)域名任何的入口。

2.須分二級(jí)目錄時(shí)，將主目錄和二級(jí)目錄分開(kāi)在不同的文件夾。

3.名解析時(shí)候直接采用三W的的域名采用主域名。

作者：沈遷橋 文章來(lái)源：www.guba.com轉(zhuǎn)載請(qǐng)注明出處

標(biāo)簽： 屏蔽二級(jí)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。