摘要：剛接手不久一個(gè)B2B電子商務(wù)平臺(tái)、由于產(chǎn)品詳情頁(yè)有兩種不同形式的URL：有32位、也有16位，所以需要對(duì)URL進(jìn)行統(tǒng)一規(guī)范；

那么是采用32位的：http://www.csc86.com/product/5475beae-8324-4d52-911d-d53b78926e1a.html標(biāo)準(zhǔn)(長(zhǎng)地址）;

還是采用16位：http://www.csc86.com/product/79377.html（短地址）標(biāo)準(zhǔn)、當(dāng)時(shí)考慮原則是兩種不同形式的URL百度索引數(shù)據(jù)及兩種不同形式的URL收錄速度、也就是說(shuō)哪URL百度索引數(shù)據(jù)多且URL收錄速度快那就采用哪種URL標(biāo)準(zhǔn);

所以在百度站長(zhǎng)工具自定義規(guī)則，分別查看兩種特征頁(yè)面集合的索引量數(shù)據(jù)

16位(短地址）的URL百度索引量數(shù)據(jù)

32位（長(zhǎng)地址）的URL百度索引量數(shù)據(jù)

說(shuō)明：

1、32位（長(zhǎng)地址）的URL數(shù)據(jù)存量是16位（短地址）數(shù)據(jù)存量大概4倍

2、05-18當(dāng)天16位（短地址）的URL索引量數(shù)據(jù)增加83574,而32位（長(zhǎng)地址）URL索引量數(shù)據(jù)則增加2090

3、針對(duì)URL索引量增加沒(méi)有做任何人工干預(yù)

也就是說(shuō)16位（短地址）URL百度索引數(shù)據(jù)多于32位URL且短URL收錄速度快，所以決定采用16位（短地址）做為產(chǎn)品詳情URL規(guī)范；

問(wèn)題：05-19號(hào)針對(duì)robots文件屏蔽32位URL搜索引擎相關(guān)抓取規(guī)則

robots文件如下：

但06-07號(hào)32位URL索引量還是出現(xiàn)大幅增長(zhǎng)情況

當(dāng)然看到這個(gè)數(shù)據(jù)第一反應(yīng)就是robots規(guī)則不對(duì)，所以對(duì)robots進(jìn)行檢查、但發(fā)現(xiàn)robots沒(méi)有問(wèn)題、屏蔽規(guī)則也檢測(cè)正常；

在06-09號(hào)對(duì)此問(wèn)題進(jìn)行反饋、得到反饋的結(jié)果是百度這邊處理時(shí)間較長(zhǎng)的, 所以百度處理此類問(wèn)題的反應(yīng)超級(jí)慢，所以建議在處理此類問(wèn)題時(shí)最好使用百度站長(zhǎng)具檢測(cè)robots 并進(jìn)行強(qiáng)制更新。

未經(jīng)裕騰智工作室授權(quán)許可任何人不得復(fù)制、轉(zhuǎn)載、或以其他任何方式使用裕騰智工作室的內(nèi)容。裕騰智工作室保留追責(zé)權(quán)利。文章出處：裕騰智工作室  http://www.ying88.net/biji_share/57.html

標(biāo)簽： Robots文件 robots屏蔽 網(wǎng)站收錄 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。