Amazon Web Services Open Data(AWSOD)和 Amazon Sustainability(AS)正在合作，為 AWS Simple Storage Service(S3)提供可持續(xù)性的數(shù)據(jù)集，并通過預(yù)處理數(shù)據(jù)集來實現(xiàn)最佳的數(shù)據(jù)檢索，從而消除無差異的繁重工作。可持續(xù)性數(shù)據(jù)集通常來自衛(wèi)星、地質(zhì)研究、氣象雷達、地圖、農(nóng)業(yè)研究、大氣研究、政府和很多其他來源。

Amazon Web Services Open Data(AWSOD)和 Amazon Sustainability(AS)正在合作，為 AWS Simple Storage Service(S3)提供可持續(xù)性的數(shù)據(jù)集，并通過預(yù)處理數(shù)據(jù)集來實現(xiàn)最佳的數(shù)據(jù)檢索，從而消除無差異的繁重工作�？沙掷m(xù)性數(shù)據(jù)集通常來自衛(wèi)星、地質(zhì)研究、氣象雷達、地圖、農(nóng)業(yè)研究、大氣研究、政府和很多其他來源。

2018 年 12 月 10 日，AWSOD 和 AS 團隊發(fā)布了第一組數(shù)據(jù)集。這些數(shù)據(jù)集向現(xiàn)有的 AWS Open Data 數(shù)據(jù)集種添加了一種新數(shù)據(jù)類別。這些可持續(xù)性數(shù)據(jù)集之前已經(jīng)被公開，AWS 現(xiàn)在正在改進數(shù)據(jù)集的訪問便利性，例如，將大型存檔文件分成可以獨立檢索的較小的可尋址塊。AWS 使用 Simple Storage Service(S3)存儲數(shù)據(jù)，并將存儲桶設(shè)置為公開可訪問。Simple Notification Services(SNS)用于向消費者發(fā)起新數(shù)據(jù)通知，并且在少數(shù)情況下使用 CloudFront 通過應(yīng)用程序編程接口提供數(shù)據(jù)，以便加快檢索速度。

為了進一步促進新數(shù)據(jù)集的使用，AWS 正在與 Group on Earth Observations(GEO)合作，撥出 150 萬美元的 AWS Cloud Credits，以獲得有關(guān)地球的見解。

AWS 提供了如何使用可持續(xù)性開放數(shù)據(jù)集的文檔以及用于搜索數(shù)據(jù)集的標(biāo)簽。“非洲土壤信息服務(wù)(AfSIS)土壤化學(xué)”數(shù)據(jù)集可以用來學(xué)習(xí)如何將機器學(xué)習(xí)應(yīng)用于開放數(shù)據(jù)。使用開放數(shù)據(jù)集的社區(qū)第三方貢獻者發(fā)布了一些博文，介紹了如何使用公共數(shù)據(jù)集：

從太空看地球——從原始衛(wèi)星數(shù)據(jù)到美麗的高分辨率圖像;

使用云托管的哈勃公共數(shù)據(jù)探索 AWS Lambda。

此外，AWS 的一些客戶成功地在云端使用可持續(xù)性數(shù)據(jù)：

使用機器學(xué)習(xí)輔助結(jié)束未來的饑荒;

使用機器學(xué)習(xí)估算颶風(fēng)風(fēng)速。

負(fù)責(zé)農(nóng)業(yè)數(shù)據(jù)分析的 Sebastian Fritsch 參與了 AWS 有關(guān)衛(wèi)星數(shù)據(jù)集使用的問答，他被問道：“在你看來有什么亮點嗎”?他回答說：“只需要修改幾行代碼就可以將數(shù)據(jù)產(chǎn)品從相對較小的試點區(qū)域擴展到全局，對我們來說，這是一個亮點”。

在可持續(xù)性數(shù)據(jù)集發(fā)布之前，AWS Global Open Data 主管 Jed Sundwall 談到了如何不斷改進 AWS 傳輸 PB 級開放數(shù)據(jù)的能力。AWS 正在向開放數(shù)據(jù)集中添加各種索引(包括外部索引、文件命名和內(nèi)部索引)，以增加訪問便利性。AWS 的工作人員正在觀察社區(qū)的情況，并意識到他們可以通過社區(qū)構(gòu)建的數(shù)據(jù)集處理機制來衡量數(shù)據(jù)集的成功程度。最后，AWS 提供了一個明確定義的程序，用于支付成本，并讓新的貢獻者通過 AWS 提供公共數(shù)據(jù)集。

查看英文原文：https://www.infoq.com/news/2019/01/amazon-sustainability-datasets

標(biāo)簽： 代碼 數(shù)據(jù)分析 搜索

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。