什么是robots.txt文件?

搜索引擎通過一種程序robot（又稱spider），自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。
您可以在您的網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt，在這個(gè)文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。

因?yàn)閯倢懥?1是因?yàn)槎��?jí)玉米泛濫和站點(diǎn)垃圾造成被封，去站長站看見“眼鏡蛇”寫的是因?yàn)?1的robots.txt的原因。

我仔細(xì)看了51的robots.txt而最后要駁反“眼鏡蛇”的判斷和定論！

每個(gè)站點(diǎn)都必須要有robots.txt嗎？

不一定，看情況

那么robots.txt是針對(duì)任何搜索引擎嗎？

不一定，搜索引擎的概念是什么先搞明白！至少他有蜘蛛，并且遵循robots.txt語法。像百度，google,yahoo都遵循
官方的robots.txt

robots.txt放在哪里？

根目錄下，就是通過 http://www.abc.com/robots.txt等瀏覽訪問到的！

robots.txt怎么寫？

請(qǐng)查詢：http://www.robotstxt.org/

因?yàn)檠坨R蛇說百度殺了51是因?yàn)?1的robots.txt

“51.com搜索消失原因是公司想借機(jī)炒作？”

（聯(lián)系到五一國慶左右百度大規(guī)模檢查并封殺作弊網(wǎng)站，開始讓業(yè)界以為51.com是百度懲罰的網(wǎng)站之一，
通過某朋友提示到51.com的robots.txt文件，讓大家明白了百度網(wǎng)站只收錄一頁的原因，
并不是搜索引擎人為所至，而是51.com自身原因。 ）

郁悶一：五一成“國慶”了！

郁悶二：robots.txt寫法遵循規(guī)則，搜索引擎也給予遵循！那么就是眼鏡蛇以上文章的判定錯(cuò)誤！不是51的robots.txt錯(cuò)誤！

分析反駁：

因?yàn)?1的主頁都在home下或者這個(gè)二級(jí)玉米下，那么就這個(gè)來說！

1：http://www.51.com/robots.txt 18行

Disallow: /home/ （假設(shè)只針對(duì)百度，因?yàn)間oogle 沒把51怎么著，而之后分析則套用google的一些現(xiàn)象對(duì)比百度，除非他們不是一樣性質(zhì)的遵循robots.txt的搜索引擎�。�

百度給出的定義：

"Disallow:/help/"則允許robot訪問/help.html，而不能訪問/help/index.html

http://www.baidu.com/search/robots.html

那么就是說在http://www.51.com/home/index.htm/index.html/index.shtml不能被收錄，因?yàn)閔ome目錄下無主頁！

http://www.51.com/home/index.htm   404錯(cuò)誤
http://www.51.com/home/index.html  404錯(cuò)誤
http://www.51.com/home/index.shtml 404錯(cuò)誤
http://www.51.com/home/index.php   404錯(cuò)誤
http://www.51.com/home/            404錯(cuò)誤

確定HOME下無默認(rèn)首頁文件，一般都是404頁，這樣多搜索引擎會(huì)很不友好的，那么當(dāng)然仔細(xì)點(diǎn)的站點(diǎn)都會(huì)杜絕被搜索引擎視為死連接。
51的錯(cuò)法就是"Disallow:/help/"則允許robot訪問/help.html，而不能訪問/help/index.html

判定：Disallow: /home/ 對(duì)于百度正確！

因?yàn)橛校篣ser-agent: *  （針對(duì)所有搜索）

查看：site:51.com/home  ，site:51.com/home/ ，site:www.51.com/home ， site:www.51.com/home/
在google都有收錄，而不是屏蔽了home下任何，而只是home下的默認(rèn)首頁！

目前看不見百度的現(xiàn)象，根據(jù)User-agent: *  （針對(duì)所有搜索）說明百度當(dāng)時(shí)也是這樣�。�80%一樣）

再查：site:home.51.com

第一結(jié)果為

51 博客網(wǎng)歡迎您home.51.com/ - 類似網(wǎng)頁

似乎home.51.com/下有首頁，似乎home目下也有首頁！

我們點(diǎn)過去則跳轉(zhuǎn)到http://www.51.com/，因?yàn)槟壳八阉饕�擎都可以識(shí)別和收錄url轉(zhuǎn)發(fā)而非跳轉(zhuǎn)！

隨便查下home.51.com/的站點(diǎn)訪問使用情況！

比如：第二結(jié)果

獻(xiàn)給我最愛的00

home.51.com/home.php?user=nicolelove - 5k - 補(bǔ)充材料 - 網(wǎng)頁快照 - 類似網(wǎng)頁

而你使用“http://nicolelove.51.com ”也訪問的是此“home.51.com/home.php?user=nicolelove”

也可以 ：http://www.51.com/home/Index.php?user=nicolelove  （home下的任何其他文件可以收錄和訪問）

也可以：http://51.com/home/Index.php?user=nicolelove 訪問而到http://www.51.com/home/Index.php?user=nicolelove

也可以：http://www.51.com/home.php?user=aiyoweiyaaaa到http://home.51.com/home.php?user=aiyoweiyaaaa

嚴(yán)格按照URL說這個(gè)可以說是多URL或者路徑重疊，或者混亂，只是一些沒告訴那些站長，只告訴站長
“http://nicolelove.51.com ”就是你的主頁url

補(bǔ)充：

<*** LANGUAGE="Java***">
<!--
var t = addAccessRec();
if (isLoginF == 'y' && isLoginHide != 'y') {
 if (isAddAccess == 'y' && t[0] == true) {
  var URL = "addAccessCount.php?user=nicolelove&visituser=&time=1178309340";
  addAccess(URL);  // 增加訪客記錄
 }
}
if (isAddCount == 'y' && t[1] == true) {
 var URL = "addClickCount.php?user=nicolelove&time=1178309340";
 addAccess(URL);  // 增加點(diǎn)擊數(shù)
}
function addAccess(URL)
{
 var oXMLHttp = new InitAjax();
 oXMLHttp.open("GET",URL,true); //異步
 oXMLHttp.setRequestHeader('charset','GBK');
 oXMLHttp.Send(null);
}
LoadXMLHTTP("/home/addMyVisitors.php?who=nicolelove");
//-->
</***>

看下最后第三段代碼！

搜索引擎在更多時(shí)是不允許這樣的現(xiàn)象的。二級(jí)玉米和獨(dú)立玉米都可以認(rèn)為不同域下的站點(diǎn)和網(wǎng)頁！

比如：http://piaoge999.51.com 這個(gè)是不存在申請(qǐng)的url站站點(diǎn)，那么你輸入回車后就會(huì)提示：該用戶不存在

提示URL為：http://home.51.com/home.php?user=piaoge999

點(diǎn)確定立即返回到“http://www.51.com/”這樣的做法稍微比404錯(cuò)誤返回友好了一些，可是假如我今天申請(qǐng)了，明天51刪除我了，
卻在之前百度收錄了我的http://home.51.com/home.php?user=piaoge999或者h(yuǎn)ttp://piaoge999.51.com呢？
那是不是現(xiàn)在該可以返回到http://www.51.com/了呢？這個(gè)做法給搜索引擎造成多少麻煩？造成多少垃圾收錄？
降低了多少百度的技術(shù)可靠性的諷刺？

在http://www.yookee.org/dispbbs_17_313_1.htm“SEO優(yōu)化之“不要輕易使用泛解析” 特別拿51來分析了的！

只是沒這個(gè)寫的詳細(xì)，而這個(gè)文章飄哥則做了70%的分析列舉說明。要說明的是51被封是聯(lián)系到了濫用泛解析！

而反駁“眼鏡蛇”的是針對(duì)他說51的robots.txt的問題造成被封！而51的robots.txt寫法符合和遵循！

飄哥到今天還沒使用過robots.txt，只是之前幫一個(gè)朋友從google拒絕收錄而找歷史記錄發(fā)現(xiàn)他的玉米曾經(jīng)存在robots.txt
內(nèi)容寫法是禁止收錄此站。告訴之則給google寫信給予了收錄。因?yàn)槟怯衩淄Ａ艘欢螘r(shí)間，google則還是按照當(dāng)時(shí)robots.txt給予封閉！

此文結(jié)束，51的robots.txt有錯(cuò)嗎？51的robots.txt是針對(duì)百度的嗎？百度是根據(jù)51的robots.txt把他殺了的嗎？

標(biāo)簽： robots.txt 51.com的robots.txt 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。