在機(jī)器學(xué)習(xí)中，尋找數(shù)據(jù)集也是非常重要的一步。質(zhì)量高或者相關(guān)性高的數(shù)據(jù)集對(duì)模型的訓(xùn)練是非常有幫助的。

那么用于機(jī)器學(xué)習(xí)的開(kāi)放數(shù)據(jù)集有哪些呢?我們給大家推薦一份高質(zhì)量的數(shù)據(jù)集，這些數(shù)據(jù)集或者涵蓋范圍廣泛(比如 Kaggle)，或者非常細(xì)化(比如自動(dòng)駕駛汽車(chē)的數(shù)據(jù))。

首先，在搜索數(shù)據(jù)集時(shí)，在卡內(nèi)基·梅隆大學(xué)有以下說(shuō)法：

數(shù)據(jù)集不應(yīng)混亂，因?yàn)槟悴幌Ｍ�花費(fèi)大量時(shí)間清理數(shù)據(jù)。

數(shù)據(jù)集不應(yīng)該有太多行或列，因此很容易使用。

數(shù)據(jù)越干凈越好 —— 清洗大型數(shù)據(jù)集相當(dāng)耗時(shí)。

數(shù)據(jù)可以解答一些有趣的問(wèn)題。

數(shù)據(jù)集查找器

Kaggle：Kaggle是由聯(lián)合創(chuàng)始人、首席執(zhí)行官安東尼·高德布盧姆(Anthony Goldbloom)2010年在墨爾本創(chuàng)立的，主要為開(kāi)發(fā)商和數(shù)據(jù)科學(xué)家提供舉辦機(jī)器學(xué)習(xí)競(jìng)賽、托管數(shù)據(jù)庫(kù)、編寫(xiě)和分享代碼的平臺(tái)。該平臺(tái)已經(jīng)吸引了80萬(wàn)名數(shù)據(jù)科學(xué)家的關(guān)注。

在這個(gè)平臺(tái)中可以找到各種數(shù)據(jù)，從拉面的評(píng)分、籃球數(shù)據(jù)，到西雅圖的寵物牌照應(yīng)有盡有。

https://www.kaggle.com/

UCI機(jī)器學(xué)習(xí)庫(kù)(UCI Machine Learning Repository)：這是網(wǎng)絡(luò)上最早的數(shù)據(jù)集來(lái)源之一，是尋找各種有趣數(shù)據(jù)集的第一選擇。雖然用戶(hù)提供的數(shù)據(jù)集的清潔度不太一樣，但絕大多數(shù)都是干凈的。我們可以從 UCI 機(jī)器學(xué)習(xí)庫(kù)直接下載數(shù)據(jù)，無(wú)需注冊(cè)。

http://mlr.cs.umass.edu/ml/

VisualData：在這里計(jì)算機(jī)視覺(jué)數(shù)據(jù)集按類(lèi)別分組，并且支持搜索查詢(xún)。

https://www.visualdata.io/

公共政府?dāng)?shù)據(jù)集

Data.gov：在這里可以下載到多個(gè)美國(guó)政府機(jī)構(gòu)的數(shù)據(jù)。從政府預(yù)算到學(xué)校成績(jī)。但要注意的是，很多數(shù)據(jù)還有待進(jìn)一步研究。

https://www.data.gov/

食品環(huán)境地圖集(Food Environment Atlas)：當(dāng)?shù)氐氖澄镞x擇如何影響美國(guó)飲食的數(shù)據(jù)。

https://catalog.data.gov/dataset/food-environment-atlas-f4a22

學(xué)校系統(tǒng)財(cái)務(wù)狀況(School system finances)：這里有美國(guó)學(xué)校系統(tǒng)財(cái)務(wù)狀況的調(diào)查。

https://catalog.data.gov/dataset/annual-survey-of-school-system-finances

慢性病數(shù)據(jù)(Chronic disease data)：美國(guó)各地慢性病指標(biāo)的數(shù)據(jù)。

https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9

美國(guó)國(guó)家教育統(tǒng)計(jì)中心(The US National Center for Education Statistics)：來(lái)自美國(guó)和世界各地的教育機(jī)構(gòu)和教育人口統(tǒng)計(jì)數(shù)據(jù)。

https://nces.ed.gov/

英國(guó)數(shù)據(jù)服務(wù)：英國(guó)最大的社會(huì)、經(jīng)濟(jì)和人口數(shù)據(jù)收集機(jī)構(gòu)。

https://www.ukdataservice.ac.uk/

數(shù)據(jù)美國(guó)(Data USA)：全面的、可視化的美國(guó)公共數(shù)據(jù)。

http://datausa.io/

金融和經(jīng)濟(jì)

Quandl：?里面有很多經(jīng)濟(jì)和金融數(shù)據(jù)，你可以使用這些數(shù)據(jù)建立預(yù)測(cè)經(jīng)濟(jì)指標(biāo)或股價(jià)的模型。

https://www.quandl.com/

世界銀行開(kāi)放數(shù)據(jù)(World Bank Open Data)：涵蓋世界各地人口統(tǒng)計(jì)、大量經(jīng)濟(jì)和發(fā)展指標(biāo)的數(shù)據(jù)集。

https://data.worldbank.org/

貨幣基金組織的數(shù)據(jù)(IMF Data)：國(guó)際貨幣基金組織公布關(guān)于國(guó)際金融、債務(wù)率、外匯儲(chǔ)備、商品價(jià)格和投資的數(shù)據(jù)。

https://www.imf.org/en/Data

英國(guó)金融時(shí)報(bào)金融時(shí)報(bào)市場(chǎng)數(shù)據(jù)(Financial Times Market Data：)：里面有來(lái)自世界各地的最新金融市場(chǎng)信息，包括股票價(jià)格指數(shù)、商品和外匯。

https://markets.ft.com/data/

谷歌趨勢(shì)(Google Trends)：觀(guān)察和分析有關(guān)互聯(lián)網(wǎng)搜索活動(dòng)和世界各地新聞故事趨勢(shì)的數(shù)據(jù)。

http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0

美國(guó)經(jīng)濟(jì)協(xié)會(huì)(AEA)：這里你可以找到美國(guó)宏觀(guān)經(jīng)濟(jì)的相關(guān)數(shù)據(jù)。

https://www.aeaweb.org/resources/data/us-macro-regional

機(jī)器學(xué)習(xí)數(shù)據(jù)集

Labelme：數(shù)據(jù)集中包含大量有標(biāo)注的圖像數(shù)據(jù)。

http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php

ImageNet： 是一個(gè)用于視覺(jué)對(duì)象識(shí)別軟件研究的大型可視化數(shù)據(jù)庫(kù)。超過(guò)1400萬(wàn)的圖像URL被ImageNet手動(dòng)注釋。根據(jù) WordNet 層次結(jié)構(gòu)來(lái)組織，其中層次結(jié)構(gòu)的每個(gè)節(jié)點(diǎn)都由成百上千個(gè)圖像來(lái)描述。

http://image-net.org/

LSUN：場(chǎng)景理解與許多輔助任務(wù)(房間布局估計(jì)，顯著性預(yù)測(cè)等)

http://lsun.cs.princeton.edu/2016/

MS COCO：通用圖像的理解和文字描述。

http://mscoco.org/

COIL 100：在 360 度旋轉(zhuǎn)中以各個(gè)角度成像的 100 個(gè)不同的物體。

http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php

視覺(jué)基因組：非常詳細(xì)的視覺(jué)知識(shí)庫(kù)，配以0 萬(wàn)張帶有文字描述的圖像。

http://visualgenome.org/

谷歌的Open Images：“知識(shí)共享”(Creative Commons)下的900萬(wàn)個(gè)圖像網(wǎng)址集合，已標(biāo)注超過(guò)6,000個(gè)類(lèi)別的標(biāo)簽。

https://research.googleblog.com/2016/09/introducing-open-images-dataset.html

Labelled Faces in the Wild：13,000個(gè)人臉標(biāo)記圖像，用于開(kāi)發(fā)涉及面部識(shí)別的應(yīng)用程序。

http://vis-www.cs.umass.edu/lfw/

Stanford Dogs Dataset：包含20580張圖片和120個(gè)不同的狗品種類(lèi)別。

http://vision.stanford.edu/aditya86/ImageNetDogs/

室內(nèi)場(chǎng)景識(shí)別(Indoor Scene Recognition)：這是一個(gè)非常細(xì)化的數(shù)據(jù)集，由于大多數(shù)在“戶(hù)外”場(chǎng)景中表現(xiàn)良好的場(chǎng)景識(shí)別模型在室內(nèi)表現(xiàn)不佳，因而這個(gè)數(shù)據(jù)集非常有用。內(nèi)有 67 個(gè)室內(nèi)類(lèi)別，共 15,620 張圖像。

http://web.mit.edu/torralba/www/indoor.html

情感分析

多域情感分析數(shù)據(jù)集(Multidomain sentiment analysis dataset)：一個(gè)比較有歷史的數(shù)據(jù)集，里面還有一些來(lái)自亞馬遜的產(chǎn)品評(píng)論。

http://www.cs.jhu.edu/~mdredze/datasets/sentiment/

IMDB： 影評(píng)，也是比較有歷史的二元情緒分類(lèi)數(shù)據(jù)集、數(shù)據(jù)規(guī)模相對(duì)較小，里面有 25,000 條電影評(píng)論。

http://ai.stanford.edu/~amaas/data/sentiment/

斯坦福情感樹(shù)銀行(Stanford Sentiment Treebank)：帶有情感注釋的標(biāo)準(zhǔn)情緒數(shù)據(jù)集。

http://nlp.stanford.edu/sentiment/code.html

Sentiment140：一個(gè)流行的數(shù)據(jù)集，它使用16萬(wàn)條推文，并把表情等等符號(hào)剔除了。

http://help.sentiment140.com/for-students/

Twitter 美國(guó)航空公司情緒數(shù)據(jù)集 (Twitter US Airline Sentiment)：自 2015 年 2 月以來(lái)美國(guó)航空公司的 Twitter 數(shù)據(jù)，分類(lèi)為正面、負(fù)面和中性推文。

https://www.kaggle.com/crowdflower/twitter-airline-sentiment

自然語(yǔ)言處理

安然數(shù)據(jù)集：里面有安然集團(tuán)高級(jí)管理層的電子郵件數(shù)據(jù)。

https://www.cs.cmu.edu/~./enron/

亞馬遜評(píng)論：里面有3500萬(wàn)條來(lái)自亞馬遜的評(píng)論，時(shí)間長(zhǎng)度為18年。數(shù)據(jù)包括產(chǎn)品和用戶(hù)信息、評(píng)級(jí)等。

https://snap.stanford.edu/data/web-Amazon.html

Google Books Ngram：來(lái)自Google書(shū)籍的詞匯集合。

https://aws.amazon.com/datasets/google-books-ngrams/

博客語(yǔ)料庫(kù)：從blogger.com收集的681，288篇博客文章。每個(gè)博客至少包含200個(gè)常用的英語(yǔ)單詞。

http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm

維基百科鏈接數(shù)據(jù)(Wikipedia Links data)：維基百科全文。該數(shù)據(jù)集包含來(lái)自400多萬(wàn)篇文章，近19億字。你可以對(duì)字、短語(yǔ)或段落本身的一部分進(jìn)行搜索。

https://code.google.com/p/wiki-links/downloads/list

Gutenberg電子圖書(shū)列表：Project Gutenberg的附加注釋的電子書(shū)列表。

http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs

加拿大議會(huì)的文本塊(Hansards text chunks of Canadian Parliament)：來(lái)自第36屆加拿大議會(huì)記錄的130萬(wàn)對(duì)文本。

http://www.isi.edu/natural-language/download/hansard/

危險(xiǎn)邊緣 (Jeopardy)：來(lái)自問(wèn)答游戲節(jié)目《危險(xiǎn)邊緣》(Jeopardy) 的超過(guò) 20 萬(wàn)個(gè)問(wèn)題的存檔。

http://www.reddit.com/r/datasets/comments/1uyd0t/200000_jeopardy_questions_in_a_json_file/

英文SMS垃圾郵件收集(SMS Spam Collection in English)：包含5，574條英文垃圾郵件的數(shù)據(jù)集。

http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/

Yelp評(píng)論(Yelp Reviews)：Yelp發(fā)布的一個(gè)開(kāi)放數(shù)據(jù)集，包含超過(guò)500萬(wàn)次評(píng)論。

https://www.yelp.com/dataset

UCI的垃圾郵件庫(kù)(UCI’s Spambase)：一個(gè)大型垃圾郵件數(shù)據(jù)集，用于垃圾郵件過(guò)濾。

https://archive.ics.uci.edu/ml/datasets/Spambase

自動(dòng)駕駛

Berkeley DeepDrive BDD100k：這是目前最大的自動(dòng)駕駛 數(shù)據(jù)集。里面有超過(guò) 1,100 多個(gè)小時(shí)駕駛體驗(yàn)的視頻，包含10 萬(wàn)個(gè)在一天中不同時(shí)段以及在不同天氣條件下的數(shù)據(jù)。

http://bdd-data.berkeley.edu/

百度 Apolloscapes：大型數(shù)據(jù)集，定義了26種不同的語(yǔ)義項(xiàng)，如汽車(chē)，自行車(chē)，行人，建筑物，路燈等。

http://apolloscape.auto/

Comma.ai：超過(guò)7個(gè)小時(shí)的高速公路駕駛視頻。里面的數(shù)據(jù)包括汽車(chē)的速度、加速度、轉(zhuǎn)向角和GPS坐標(biāo)。

https://archive.org/details/comma-dataset

城市景觀(guān)數(shù)據(jù)集：記錄50個(gè)不同城市的城市街道場(chǎng)景的大型數(shù)據(jù)集。

https://www.cityscapes-dataset.com/

CSSAD數(shù)據(jù)集：包含自動(dòng)車(chē)輛的感知和導(dǎo)航等數(shù)據(jù)，但著重于發(fā)達(dá)國(guó)家的道路。

http://aplicaciones.cimat.mx/Personal/jbhayet/ccsad-dataset

麻省理工學(xué)院AGE實(shí)驗(yàn)室(MIT AGE Lab:)：在AgeLab收集的1,000多小時(shí)多傳感器駕駛數(shù)據(jù)集的樣本。

http://lexfridman.com/automated-synchronization-of-driving-data-video-audio-telemetry-accelerometer/

LISA：智能和安全汽車(chē)實(shí)驗(yàn)室，加州大學(xué)圣地亞哥分校數(shù)據(jù)集：該數(shù)據(jù)集包括交通標(biāo)志，車(chē)輛檢測(cè)，交通信號(hào)燈和軌跡模式。

http://cvrr.ucsd.edu/LISA/datasets.html

博世小型交通燈數(shù)據(jù)集(Bosch Small Traffic Light Dataset)：用于深入學(xué)習(xí)的小交通燈數(shù)據(jù)集。

https://hci.iwr.uni-heidelberg.de/node/6132

Lara交通燈識(shí)別(LaRa Traffic Light Recognition)：巴黎交通燈的數(shù)據(jù)集。

http://www.lara.prd.fr/benchmarks/trafficlightsrecognition

WPI 數(shù)據(jù)集：交通燈、行人和車(chē)道檢測(cè)的數(shù)據(jù)集。

http://computing.wpi.edu/dataset.html

相關(guān)報(bào)道：

https://medium.com/datadriveninvestor/the-50-best-public-datasets-for-machine-learning-d80e9f030279

標(biāo)簽： Google 安全 代碼 電子郵件 谷歌 互聯(lián)網(wǎng) 金融 數(shù)據(jù)庫(kù) 搜索 通信 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀(guān)點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。