如何讓搜索引擎呈現(xiàn)用戶想要的結(jié)果是困擾谷歌工程師的一大難題。最近，谷歌宣布，他們的搜索引擎用上了強(qiáng)大的 BERT 預(yù)訓(xùn)練模型，可以讓搜索引擎結(jié)合語境理解用戶的搜索意圖，甚至能理解一些不起眼的介詞在搜索語句中的重要含義。有了 BERT 的加持，用戶能在谷歌中搜到相關(guān)性更強(qiáng)的結(jié)果。
「如果要讓我說出一條這些年學(xué)到的東西，那我會(huì)說『人類的好奇心是永無止境的』，」在谷歌搜索部門工作了 15 年的搜索副總裁在谷歌博客中寫道。谷歌每天的搜索量多達(dá)數(shù)十億，其中有 15% 是從未見過的，所以必須構(gòu)建一些方法來應(yīng)對這些無法預(yù)料的查詢。
用戶在搜索的時(shí)候往往很難確定一個(gè)最好的查詢組合：我們不知道用哪些詞，也不知道怎么拼。因?yàn)橛袝r(shí)他們打開搜索引擎就是為了學(xué)習(xí)的，所以查到結(jié)果之前未必具備相應(yīng)的知識(shí)。
搜索的核心是理解語言。搜索引擎的使命是弄清楚用戶的搜索意圖并從網(wǎng)上找到有用信息，無論查詢語句中的單詞如何拼寫或組合。復(fù)雜或會(huì)話性的查詢通常很難處理。人們會(huì)輸入他們以為搜索引擎可以理解的問題，但其實(shí)他們用的方式并非他們在現(xiàn)實(shí)中自然而然使用的方式。
為了解決這些問題，谷歌的研究人員決定在搜索引擎中引入更加強(qiáng)大的自然語言處理模型——BERT。
去年，谷歌開源了用于自然語言處理的預(yù)訓(xùn)練模型——BERT?。一經(jīng)推出，BERT 就刷新了 11 項(xiàng) NLP 任務(wù)的 SOTA 記錄，登頂 GLUE 基準(zhǔn)排行榜。雖然榜首早已易主，但后續(xù)的很多 NLP 模型都是基于 BERT 的改進(jìn)。其影響力可見一斑。
BERT 的突破基于谷歌在?Transformer?架構(gòu)上的成功。Transformer 處理一個(gè)句子中與所有其他單詞相關(guān)的單詞，而不是按順序逐個(gè)處理�；诖�，BERT 模型就可以借助某個(gè)單詞前后的詞來考慮其所處的完整語境，這對于理解查詢語句背后的意圖非常有用。
但只有軟件方面的成功還不夠。用 BERT 構(gòu)建的模型非常復(fù)雜，超出了傳統(tǒng)硬件的能力范疇。因此，谷歌選擇使用最新的 Cloud TPU 結(jié)果來提供搜索結(jié)果，以達(dá)到更好的效果。
BERT 在谷歌搜索中的應(yīng)用體現(xiàn)在排名和精選摘要（featured snippet）兩個(gè)方面。將 BERT 應(yīng)用于搜索排名之后，谷歌宣稱它可以幫助搜索引擎更好地理解美國（英文）10% 的搜索。谷歌表示，隨著時(shí)間的推移，他們還會(huì)將結(jié)果擴(kuò)展至更多語言和地區(qū)。
用上 BERT 之后，對于比較長、會(huì)話性比較強(qiáng)的查詢，或者在「for」、「to」等介詞比較重要的語句中，谷歌搜索引擎將能夠理解查詢語句中詞的上下文。用戶可以用更加自然的方式進(jìn)行搜索。
為了啟用這些改進(jìn)，谷歌進(jìn)行了大量測試，以確保這些改變更加有用。以下是一些評(píng)估示例，可以證明 BERT 在理解意圖方面的強(qiáng)大能力。
在以下示例中，用戶搜索的語句是「2019 brazil traveler to usa need a visa」。在這個(gè)句子中，「to」及其與其他單詞的關(guān)系對于理解句子含義非常重要。這是一個(gè)巴西人要去美國旅游的事件，而不是一個(gè)美國人去巴西旅游。在此之前，谷歌的搜索算法無法理解這種連接詞的重要性，所以會(huì)返回美國公民去巴西旅游的結(jié)果。在 BERT 的幫助下，搜索引擎將能夠理解搜索語句的核心含義，知道「to」這種簡單詞在句子中發(fā)揮的重要作用，因此能夠返回相關(guān)性更強(qiáng)的結(jié)果。
下面還有一些例子，從中可以看出，BERT 能夠幫助幫助我們掌握語言的細(xì)微含義，這些是計(jì)算機(jī)理解不了的。
谷歌表示，他們會(huì)將 BERT 應(yīng)用到全球各種語言的搜索中。這種模型的一大特點(diǎn)就是能將從一種語言中學(xué)到的東西應(yīng)用到其他語言中。因此，他們可以將從英語中得到的改進(jìn)模型應(yīng)用于其他語言。
他們還用 BERT 改進(jìn)了 20 多個(gè)國家的精選摘要，在韓語、印地語、葡萄牙語中取得了顯著進(jìn)展。
無論你想要搜索什么東西，無論你使用哪種語言，谷歌希望人們都可以使用最自然的方式進(jìn)行搜索。但即使是 BERT 加持，谷歌搜索或許仍然無法讓人能夠獲得 100% 完美的結(jié)果。未來，谷歌仍會(huì)持續(xù)改進(jìn)自己的搜索系統(tǒng)。
原文鏈接：https://blog.google/products/search/search-language-understanding-bert
來自：機(jī)器學(xué)習(xí)研究會(huì)訂閱號(hào)
標(biāo)簽：
[db:TAGG]
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。
