Open Images 是谷歌開源的一個大型數(shù)據(jù)集，包含大約 900 萬張圖像，這些圖像用圖像級別的標簽和目標邊界框進行了標注。最近，谷歌發(fā)布了該數(shù)據(jù)集的第四個版本——Open Images V4，圖像數(shù)量增加到 920 萬，其訓(xùn)練集包含 1460 萬個邊界框，用于標識從屬于 600 個目標類別的 174 萬張圖像中的目標，這使它成為了現(xiàn)有的含有目標位置標注的最大數(shù)據(jù)集。

這些邊界框大部分由專業(yè)的標注人員手工繪制，以確保準確性和一致性。數(shù)據(jù)集中的圖像非常多樣化，通常包含存在多個目標的復(fù)雜場景(平均每張圖像 8.4 個)。此外，數(shù)據(jù)集用逾數(shù)千個類別的圖像級標簽進行標注。

數(shù)據(jù)集地址：https://storage.googleapis.com/openimages/web/visualizer/index.html?set=train&c=%2Fm%2F06mf6

數(shù)據(jù)組織

數(shù)據(jù)集被分成了訓(xùn)練集(9,011,219 張圖像)、驗證集(41,620 張圖像)和測試集(125,436 張圖像)三部分。這些圖像用圖像級的標簽和邊界框進行了標注，如下所述。

圖像級標簽

表 1 為 Open Images V4 數(shù)據(jù)集所有部分(訓(xùn)練集、驗證集、測試集)的圖像級標簽的概述。所有圖像都帶有由機器通過類似于谷歌云視覺 API(https://cloud.google.com/vision/)的計算機視覺模型自動生成的圖像級標簽。這些自動生成的標簽有很大的假正例率。

 

 

表 1：圖像級標簽。

此外，驗證集、測試集以及部分訓(xùn)練集都帶有經(jīng)過人驗證的圖像級別標簽。大多數(shù)驗證工作都是由谷歌內(nèi)部的標注人員完成的。一小部分數(shù)據(jù)標注工作是通過圖像標注程序(Image Labeler)進行眾包完成的：如 Crowdsource app 和 g.co/ imagelabeler。這個驗證過程實際上消除了假正例(但不能消除假負例：圖像中可能缺少一些標簽)。最終得到的標簽基本上是正確的，我們認為這些數(shù)據(jù)可以很好的被用于訓(xùn)練計算機視覺模型。我們使用了多個計算機視覺模型來生成樣本(不僅僅是用于機器生成標簽的模型)，詞匯表因此得到了顯著的擴展(表 1 中的 #Classes 列)。

總的來說，數(shù)據(jù)集包含 19,995 個具有圖像級標簽的不同類。注意，這個數(shù)字略高于上表中經(jīng)過人工驗證的標簽的數(shù)量。原因是機器生成的集合中有少量的標簽沒有出現(xiàn)在人工驗證的集合中。在 V4 訓(xùn)練集中，至少含有 100 個人工驗證的正類才能算得上可訓(xùn)練的類。根據(jù)這個定義，我們可以認為有 7186 個類是可訓(xùn)練的。

邊界框

表 2 為 Open Images V4 數(shù)據(jù)集所有部分(訓(xùn)練集、驗證集、測試集)中逾 600 類邊界框標注的概述。這些數(shù)據(jù)比 ILSVRC 和 COCO 目標檢測挑戰(zhàn)賽的數(shù)據(jù)類別范圍更大，包括「fedora」和「snowman」等新對象。

 

 

表 2：邊界框。

對于訓(xùn)練集，我們在 174 萬張經(jīng)過人類驗證的帶有正類圖像級別標簽的圖像上標注了邊界框。我們關(guān)注的是最具體的標簽。例如，如果一個圖像帶有標簽 {car，limousine，screwdriver}，我們會為「limousine」和「screwdriver」兩類標注邊界框。對于圖像中的每個標簽，我們都詳盡地標注了圖像中從屬于該目標類的每個實例。我們一共標注了 1460 萬個邊界框。平均每個圖像有 8.4 個帶有邊界框的目標。90% 的邊界框都是由谷歌的專業(yè)標注人員使用高效的「extreme clicking」界面手動繪制的 [1]。我們使用 [2] 中方法的增強版半自動地生成了剩下 10% 的邊界框。經(jīng)過人類驗證，這些邊界框的 IoU>0.7，在相應(yīng)目標上有一個完美的邊界框，它們在實際中的準確率非常高(平均的 IoU 大約為 0.82)。由于實例過多(95,335 張圖片上共有 1,327,596 個實例)，我們僅為 95,335 張圖像繪制了人體部分和「哺乳動物」的邊界框。

對于驗證集和測試集，我們?yōu)樗�有目標實例所有可能的正類圖像級標簽提供了詳盡的邊界框標注信息。所有的邊界框都是手工繪制的。我們盡可能在語義層次結(jié)構(gòu)中最具體的層次上標注邊界框。在驗證集和測試集中，平均每個圖像都有大約 5 個邊界框。

在所有部分(訓(xùn)練集、驗證集、測試集)中，標注人員還為每個框標記了一組屬性。例如，說明該目標是否被遮蓋(請參閱「download」部分(https://storage.googleapis.com/openimages/web/download.html#attributes)的完整描述)。

類的定義

圖像的類別由 MID(機器生成的 ID)來標識，這些 MID 可以在「Freebase」或「Google Knowledge Grapg API」(https://developers.google.com/knowledge-graph/)中找到。在「class-description.csv」(https://storage.googleapis.com/openimages/2018_04/class-descriptions.csv)文件中可以找到每個類的簡短描述。

統(tǒng)計和數(shù)據(jù)分析

600 個邊界框可標識的類的層次結(jié)構(gòu)

在這里，我們將一組可以用邊界框標識出來的類以一種層次結(jié)構(gòu)表示出來(https://storage.googleapis.com/openimages/2018_04/bbox_labels_600_hierarchy_visualizer/circle.html)，或者可以以 JSON 文件的方式下載它們(https://storage.googleapis.com/openimages/2018_04/bbox_labels_600_hierarchy.json)：

 

 

標簽分布

下圖顯示了標注結(jié)果在數(shù)據(jù)集中的分布情況。注意，標簽分布嚴重傾斜(注：y 軸為對數(shù)刻度)。根據(jù)正類樣本的數(shù)量對各類排序。綠色代表正類樣本，紅色代表負類樣本。

 

 

 

 

 

 

 

 

 

 

 

 

論文：The Open Images Dataset V4: Unified image classification, object detection, and visual relationship detection at scale

 

 

論文鏈接：https://arxiv.org/abs/1811.00982

摘要：在本文中，我們發(fā)布了 Open Images V4，這是一個包含 920 萬張圖像的數(shù)據(jù)集，對于圖像分類、目標檢測和視覺關(guān)系檢測等任務(wù)有統(tǒng)一的標注。這些圖像都具有允許共享和修改素材的創(chuàng)作共用許可證(Creative Commons Attribution license)，收集自 Flickr，上面沒有事先定義的類名或標簽列表。這使得數(shù)據(jù)集具備自然的類的統(tǒng)計性質(zhì)，避免了初始設(shè)計偏差。Open Images V4 提供了多個維度上的大規(guī)模數(shù)據(jù)：為 19800 個概念提供了 3010 萬個圖像級標簽，為 600 個目標類提供了 1540 萬個邊界框，為 57 個類提供了 375000 個視覺關(guān)系標注。特別是目標檢測方面，我們提供了比僅次于我們的第二大數(shù)據(jù)集多 15 倍的邊界框。在這些圖像中經(jīng)常出現(xiàn)一些包含多個目標的復(fù)雜場景(平均每個圖像有 8 個帶標注的目標)。我們標注了它們之間的視覺關(guān)系，用來支持視覺關(guān)系檢測，這是一個需要結(jié)構(gòu)化推理的新興任務(wù)。我們提供了關(guān)于數(shù)據(jù)集的深入、全面的統(tǒng)計數(shù)據(jù)，驗證了標注信息的質(zhì)量，并研究了隨著訓(xùn)練數(shù)據(jù)的增加，目前流行的一些模型的性能會如何變化。我們希望 Open Image V4 的規(guī)模、質(zhì)量和種類能夠促進進一步的研究和創(chuàng)新，甚至在圖像分類、目標檢測和視覺關(guān)系檢測等領(lǐng)域之外也能有所助益。

 

 

圖 1：Open Image 中用于圖像分類、目標檢測和視覺關(guān)系檢測的標注示例。對于圖像分類任務(wù)，正類標簽(出現(xiàn)在圖像中)是綠色的，而負類標簽(沒有出現(xiàn)在圖像中)是紅色的。對于視覺關(guān)系檢測任務(wù)，帶有虛線輪廓的邊界框?qū)�兩個具有特定視覺關(guān)系的目標圈在一起。

 

 

圖 17：每類邊界框的數(shù)量。橫軸是按邊界框數(shù)量對各類進行排序的結(jié)果，為了提高可讀性，我們將該結(jié)果用對數(shù)刻度表示。我們還標明了最常見的類的名稱。

 

 

圖 18：每張圖像中的類別數(shù)量。每張圖像不同類別數(shù)量歸一化(左)和非歸一化(右)直方圖。

 

 

圖 20：訓(xùn)練集中標注過的目標區(qū)域的比例：PASCAL、COCO、Open Images 中標注過的目標占圖像區(qū)域百分比的累積分布;即面積低于某個值的實例的百分比。作為對比基線，我們繪制了面積和邊長均勻分布的邊界框?qū)��?yīng)的函數(shù)。我們忽略了在 COCO 中標記為人群的邊界框和在 Open Image 中標記為群組的邊界框。

 

 

圖 15：包含大量標注過的邊界框的示例：分別包含 348、386 和 743 個邊界框的圖像。在很多這樣的情況下可以使用 GroupOf，但實際上它們還是對此很感興趣。

 

 

圖 19：含有大量不同類別的標注的圖像(左圖中有 11 類標注，右圖中有 7 類標注)。

參考鏈接：https://storage.googleapis.com/openimages/web/factsfigures.html

標簽： Google 大數(shù)據(jù) 谷歌 數(shù)據(jù)分析

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。