本文主要介紹由我研究中心博士生侯宇泰收集整理的一個任務型對話數(shù)據(jù)集大全。

合適的數(shù)據(jù)集或者語料是優(yōu)秀的自然語言研究工作的基礎，然而找尋合適的數(shù)據(jù)集通常是一件耗時耗力的工作。這時候一份優(yōu)質(zhì)的數(shù)據(jù)集匯總就能幫助科研人員，在研究開始的時候事半功倍。這篇文章就向你介紹一份優(yōu)質(zhì)的數(shù)據(jù)集匯總，幫助你的研究工作輕松選擇一片合適的用武之地。

本文主要介紹由我研究中心博士生侯宇泰收集整理的一個任務型對話數(shù)據(jù)集大全。

 

 

圖1. 數(shù)據(jù)集匯總項目

這份數(shù)據(jù)集大全涵蓋了到目前在任務型對話領域的所有常用數(shù)據(jù)集的主要信息。此外，為了幫助研究者更好的把握領域進展的脈絡，我們以Leaderboard的形式給出了幾個數(shù)據(jù)集上的State-of-the-art實驗結(jié)果。

數(shù)據(jù)集的地址如下：

https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey

一.背景介紹：什么是任務型對話

我們收集的數(shù)據(jù)集主要針對任務型對話研究(Task-oriented Dialogue)。

任務型對話系統(tǒng)指在特定的情境下幫助用戶完成特定任務的對話服務系統(tǒng)，例如幫助用戶訂餐、訂酒店的對話系統(tǒng)。近年來，隨著亞馬遜Alex，微軟小娜，蘋果Siri等個人語音助理業(yè)務的興起，基于對話的人機交互方式得到了廣泛的關注，相關的研究也越來越多，儼然成為一個富有潛力的研究方向。

 

 

圖2. 語音助手

目前任務型對話的研究可以大體分為兩類：基于流程的任務型對話(Pipeline)以及端到端的任務型對話(End-to-End)。

基于流程的任務型對話是相對較為傳統(tǒng)的方法。這種任務型對話的系統(tǒng)通過一套Pipeline流程實現(xiàn)。如圖3所示， 任務型對話系統(tǒng)的流程依次包括：自然語言理解、對話狀態(tài)跟蹤、對話策略學習，自然語言生成模塊。具體的，用戶輸入自然語言，對話系統(tǒng)按流程依次完成：分析用戶意圖，更新對話狀態(tài)，根據(jù)對話策略做出動作，生成最終的自然語言回復。

 

 

圖3. Pipeline任務型對話

然而，Pipeline流程式的對話系統(tǒng)存在錯誤級聯(lián)和標注開銷大的問題，為此最近有一部分研究嘗試通過直接進行端到端的任務型對話學習來規(guī)避這些問題。端到端式對話系統(tǒng)根據(jù)用戶輸入句子直接給出自然語言回復。

二.為什么要做數(shù)據(jù)集匯總?

任務型對話任務并不是新課題，但是針對任務型對話的廣泛研究在最近幾年才興起。任務型對話研究的方興未艾反映在數(shù)據(jù)和語料上，就是目前現(xiàn)有的任務型對話數(shù)據(jù)集數(shù)量少，且其他成熟的任務已有的數(shù)據(jù)集在數(shù)據(jù)量上要少的多。 在這種情況下，盡可能多找到并有效的利用已有的數(shù)據(jù)資源就成為開展研究的關鍵之一。然而，搜羅并全面的尋找合適的數(shù)據(jù)集是一個費時費力的工作，所以整理統(tǒng)計目前已有的任務型對話領域的數(shù)據(jù)集的信息是有必要的，可以極大地為相關研究工作提供便利，讓研究工作得以地快速開始。

除了數(shù)據(jù)本身的信息有價值之外，在重要數(shù)據(jù)集上的實驗結(jié)果提升過程，可以很大程度上反映自然語言研究的前進脈絡。所以，簡單的數(shù)據(jù)集信息羅列并不能讓我們滿意，我們還計劃提供一些常用數(shù)據(jù)上的實驗結(jié)果和對應論文的信息。從而幫助研究人員了解和把握任務型對話領域研究的推進脈絡。我們選擇以Leaderboard的形式呈現(xiàn)數(shù)據(jù)集上的部分實驗結(jié)果。

三.數(shù)據(jù)匯總的內(nèi)容介紹

1.數(shù)據(jù)集信息

針對每個數(shù)據(jù)集，我們統(tǒng)計并總結(jié)了如下幾個方面的內(nèi)容。

表1. 數(shù)據(jù)集內(nèi)容及說明

 

 

類似其他常見數(shù)據(jù)集匯總工作，我們?yōu)槊總�數(shù)據(jù)集提供了名稱，下載鏈接，簡介，數(shù)據(jù)量等信息。除了這些基本信息，我們還涵蓋了一些任務型對話數(shù)據(jù)的特有的研究內(nèi)容，例如：

Multi or single turn：對話數(shù)據(jù)是多輪還是單輪是任務型對話數(shù)據(jù)的重要屬性，單輪對話數(shù)據(jù)往往用于自然語言理解任務，多輪對話數(shù)據(jù)往往用于端到端任務、對話策略學習、對話狀態(tài)跟蹤。

Task detail：數(shù)據(jù)適用于什么應用情景也是一個獨特的關鍵信息，通過這個信息，研究者可以快速理解數(shù)據(jù)，開展Multi-domain 或Domain-transfer研究。

2. 實驗結(jié)果Leaderboard

對于一些研究常用數(shù)據(jù)，我們提供了上面的一些State-of-the-art實驗結(jié)果，并以Leaderboard的形式呈現(xiàn)，具體包括內(nèi)容如下：

表2. Leaderboard內(nèi)容及說明

 

 

其中我們的模型名稱采用出處論文中的表述，分數(shù)的評價指標以具體的任務而定。實驗結(jié)果列表配合上論文鏈接，可以讓讀者快速地了解一個任務。

此項信息內(nèi)容仍在完善中。

四.數(shù)據(jù)集匯總內(nèi)容樣例

1. 數(shù)據(jù)集介紹樣例

數(shù)據(jù)集的匯總目前以表格的形式，收錄了17個數(shù)據(jù)的細節(jié)信息。讀者可以在github項目中Excel文件或者Readme中直接查看。數(shù)據(jù)的格式如圖4所示。

 

 

圖4. 數(shù)據(jù)細節(jié)樣例

2. Leaderboard 樣例

我們以Leaderboard 的形式展示了語義槽抽取(Slot filling)，用戶意圖識別(Intent detection)，對話狀態(tài)跟蹤(Dialogue state tracking)三個任務上的一些領先結(jié)果。具體形式如圖5所示。

 

 

圖5. Leaderboard的樣例

五.關于內(nèi)容補充的邀請

我們歡迎各種形式的內(nèi)容完善，包括但不限于：

直接提交Pull Request

向我們發(fā)送新數(shù)據(jù)

向我們發(fā)送新的實驗結(jié)果(已發(fā)表論文)

六.其他

數(shù)據(jù)集匯總地址如下：

https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey

標簽：

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。