近日，谷歌開源 Open Images V5 數(shù)據(jù)集。相比于 V4 版本，新版數(shù)據(jù)集包含 280 萬個物體實例的分割掩碼，覆蓋 350 個類別。新增 640 萬個經(jīng)過人工驗證的圖像級標簽，標簽總數(shù)高達 3650 萬。此外，谷歌還將基于這個新數(shù)據(jù)集啟動第二屆 Open Images Challenge 挑戰(zhàn)賽，該賽事新增了實例分割賽道。

2016 年，谷歌推出了圖像數(shù)據(jù)集 Open Images，合作發(fā)布了約 900 萬張標注圖像，覆蓋數(shù)千個物體類別。之后該數(shù)據(jù)集有過幾次更新，最后一次更新是 2018 年的 Open Images V4。該版本共包括 600 個物體類別及 1540 萬個邊界框，這使其成為目前具備物體位置標注的最大數(shù)據(jù)庫。此外，Open Images V4 還為 57 個類提供了 375000 個視覺關(guān)系標注。

近日，谷歌發(fā)布 Open Images V5 版本數(shù)據(jù)集(該版本在標注集上添加了分割掩碼)，并宣布啟動第二屆 Open Images Challenge 挑戰(zhàn)賽，挑戰(zhàn)賽基于 Open Images V5 數(shù)據(jù)集增加了新的實例分割賽道。

Open Images V5

Open Images V5 包含 280 萬個物體實例的分割掩碼，覆蓋 350 個類別。與僅標注物體所在區(qū)域的邊界框不同，分割掩碼標記物體的輪廓，以更高層次的細節(jié)描述其空間范圍。谷歌研究者確保不同物體之間的標注一致性(例如：所有貓的掩碼都包括它們的尾巴;駱駝或人攜帶的包袋都包括在駱駝或人的掩碼中)。重要的是，與以往任何數(shù)據(jù)集相比，這些掩碼覆蓋更廣的物體類別范圍和實例總數(shù)都更多。

 

 

以上是 Open Images V5 訓練集的掩碼樣例。這些都通過谷歌的交互式分割方法生成。第一個樣例同時標注了邊界框作為對比。

訓練集中的(268 萬個)分割掩碼都是通過谷歌提出的當前最優(yōu)交互式分割方法生成。在該過程中，專業(yè)的標注人員反復修正分割神經(jīng)網(wǎng)絡的輸出結(jié)果。這比單純手工繪制更高效，同時還能提供準確的掩碼(交并比達 84%)。

此外，谷歌在驗證集和測試集上發(fā)布了 9.9 萬個非常注重質(zhì)量的手工標注掩碼。它們近乎完美，甚至捕捉到了復雜物體邊界的細微細節(jié)(例如：帶尖刺的花朵和人造物體中的細長結(jié)構(gòu))。訓練集和驗證+測試集的標注都提供了比大多數(shù)現(xiàn)有數(shù)據(jù)集的多邊形標注更準確的物體邊界。

 

 

以上為 Open Images V5 驗證集和測試集的掩碼樣例，完全由手工繪制。

除了掩碼之外，谷歌還為該數(shù)據(jù)集增加了 640 萬個經(jīng)過人工驗證的圖像級標簽，標簽總數(shù)高達 3650 萬，覆蓋近 2 萬個類別。最后，谷歌還改進了驗證集和測試集上 600 個物體類別的標注密度，添加了超過 40 萬個邊界框，以匹配訓練集的密度。這樣可以確保能夠更精確地評估目標檢測模型。

表 1 概述了該數(shù)據(jù)集中所有子集的圖像級標簽。所有圖像的圖像級標簽都由類似于 Google Cloud Vision API 的計算機視覺模型自動生成。此外，該視覺模型已經(jīng)進行了升級，以適應 V5 數(shù)據(jù)集版本的較高標簽質(zhì)量。這些自動生成的標簽有相當高的假正例率。

 

 

表 1：圖像級標簽。

此外，驗證集和測試集以及部分訓練集具備經(jīng)過人工驗證的圖像級標簽。大部分驗證是由谷歌內(nèi)部的標注人員完成的。一小部分由外包人員完成。此驗證過程實際上消除了假正例(但不能消除假負例：圖像中可能缺少某些標簽)。得到的標簽基本上是正確的，谷歌推薦將其用于計算機視覺模型的訓練中。谷歌使用多個計算機視覺模型來生成樣本(而不僅僅是用于生成標簽的模型)，使得類別得到顯著擴展(表 1 中的 #classes 列)。

總體而言，數(shù)據(jù)集包含 19,949 個具備圖像級標簽的不同類別。請注意，此數(shù)字略高于表 1 中經(jīng)過人工驗證的標簽數(shù)量，原因是由機器生成的集合中有少量標簽未出現(xiàn)在人工驗證的集合中�？捎柧氼悇e(Trainable classes)指在 V5 訓練集中至少含有 100 個人工驗證正類的類�；�于這個定義，可訓練類別有 8658 個，而機器生成的標簽覆蓋了其中的 8386 個。

Open Images Challenge 2019

谷歌將在 ICCV 2019 上舉行第二屆 Open Images Challenge 挑戰(zhàn)賽。該挑戰(zhàn)賽將基于上述數(shù)據(jù)增加一條新的實例分割賽道。此外，與 2018 年的挑戰(zhàn)賽一樣，它將包括一個大規(guī)模目標檢測賽道(500 個類別，1220 萬個訓練邊界框)，以及一個視覺關(guān)系檢測賽道，用于檢測成對物體中的特定關(guān)系(329 個關(guān)系三元組，37.5 萬個訓練樣本，如「彈吉他的女人」或「桌上的啤酒」)。

現(xiàn)在包含所有標注的訓練集已經(jīng)可以使用了：https://storage.googleapis.com/openimages/web/challenge2019_downloads.html

測試集與 2018 年挑戰(zhàn)賽的 10 萬張圖像相同，將于 2019 年 6 月 3 日在 Kaggle 上開放。用于評估目標檢測和視覺關(guān)系賽道的服務器將于 6 月 3 日開放，評估實例分割賽道的服務器將于 7 月 1 日開放。提交結(jié)果的截止日期為 2019 年 10 月 1 日。

標簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。