中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

官宣!開源Delta Lake正式加入Linux基金會(huì),共同打造數(shù)據(jù)湖開放標(biāo)準(zhǔn)

2020-12-04    來(lái)源:raincent

容器云強(qiáng)勢(shì)上線!快速搭建集群,上萬(wàn)Linux鏡像隨意使用

今天,在荷蘭阿姆斯特丹舉行的 Spark+AI 歐洲峰會(huì)上,DataBricks 和 Linux 基金會(huì)聯(lián)合宣布,開源項(xiàng)目 Delta Lake 正式成為 Linux 基金會(huì)的托管項(xiàng)目。

 

 

作者:蔡芳芳 來(lái)源:InfoQ

Delta Lake 由 Databricks 在今年年初開源,該項(xiàng)目旨在與社區(qū)共同打造一個(gè)開放標(biāo)準(zhǔn),以管理數(shù)據(jù)湖中的大量數(shù)據(jù),并不斷提高數(shù)據(jù)湖的可靠性、質(zhì)量和性能。成為 Linux 基金會(huì)項(xiàng)目后,Delta Lake 原來(lái)采用的 Apache 2.0 開源許可將保持不變。目前 Delta Lake 已經(jīng)被成千上萬(wàn)的組織采用,包括 Intel、阿里巴巴、Booz Allen Hamilton 都是其開源生態(tài)一員。為了進(jìn)一步推動(dòng) Delta Lake 開原生態(tài)的發(fā)展,讓更多開發(fā)者和企業(yè)采用 Delta Lake 并參與貢獻(xiàn)項(xiàng)目代碼,Databricks 決定讓 Delta Lake 成為 Linux 基金會(huì)的托管項(xiàng)目并使用開放式的治理模式。

如今,每個(gè)公司都希望通過(guò)數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)和分析等手段從數(shù)據(jù)中獲得更多價(jià)值,但由于數(shù)據(jù)湖中數(shù)據(jù)可靠性較差,從數(shù)據(jù)中獲取價(jià)值的難度極大。Delta Lake 通過(guò)為 Apache Spark 和其他大數(shù)據(jù)引擎提供可伸縮的 ACID 事務(wù),讓用戶可以基于 HDFS 和云存儲(chǔ)構(gòu)建可靠的數(shù)據(jù)湖。自 2017 年 10 月推出以來(lái),Delta Lake 已被四千多家組織采用,每月處理超過(guò) 2 exabytes 的數(shù)據(jù)。

“將 Delta Lake 引入 Linux 基金會(huì)這樣的中立組織,將有助于開源社區(qū)更好地基于該項(xiàng)目開發(fā)解決大數(shù)據(jù)(本地和云端)存儲(chǔ)和處理問(wèn)題的技術(shù),”Linux 基金會(huì)戰(zhàn)略計(jì)劃副總裁 Michael Dolan 說(shuō),“ Linux 基金會(huì)致力于幫助開源社區(qū)采用開放治理模式來(lái)實(shí)現(xiàn)廣泛的行業(yè)貢獻(xiàn)和共識(shí)建立,這將有助于改善當(dāng)前數(shù)據(jù)存儲(chǔ)和可靠性相關(guān)技術(shù)。”

Databricks 的聯(lián)合創(chuàng)始人也是開源項(xiàng)目 Apache Spark 的創(chuàng)始成員,如今 Spark 早已成為大規(guī)模數(shù)據(jù)處理的事實(shí)標(biāo)準(zhǔn)。Databricks 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Ali Ghodsi 對(duì) Delta Lake 項(xiàng)目再次經(jīng)歷這一旅程感到興奮。“我們的團(tuán)隊(duì)一直致力于創(chuàng)建開源項(xiàng)目并為之做出貢獻(xiàn),因?yàn)槲覀冎肋@是最快、最好的創(chuàng)新方式。為了解決不同組織在數(shù)據(jù)方面的挑戰(zhàn),我們希望保證 Delta Lake 項(xiàng)目真正徹底地開源。借助 Linux 基金會(huì)社區(qū)的力量和貢獻(xiàn),我們相信 Delta Lake 很快就會(huì)成為數(shù)據(jù)湖中數(shù)據(jù)存儲(chǔ)的標(biāo)準(zhǔn)。”

盡管 Delta Lake 最初是為了與 Apache Spark 配合使用而設(shè)計(jì)的,但如今 Delta Lake 已經(jīng)構(gòu)建了一個(gè)更加開放且蓬勃發(fā)展的社區(qū),且增加了對(duì)其他開源數(shù)據(jù)系統(tǒng)的支持。

阿里巴巴大數(shù)據(jù) / 人工智能副總裁賈揚(yáng)清表示:

“作為主要的云計(jì)算提供商,阿里巴巴一直是各種開源項(xiàng)目(尤其在大數(shù)據(jù)和 AI 領(lǐng)域)的領(lǐng)導(dǎo)者、貢獻(xiàn)者、使用者和支持者。我們一直在與 Databricks 合作開發(fā) Delta Lake 的原生 Hive 連接器,我們非常高興看到該項(xiàng)目加入 Linux 基金會(huì)。我們將繼續(xù)推動(dòng) Delta Lake 開源社區(qū)的發(fā)展并為之做出貢獻(xiàn)。”

英特爾架構(gòu)、圖形和軟件副總裁兼機(jī)器學(xué)習(xí)性能總經(jīng)理李偉(Wei Li)表示:

“英特爾與 Databricks 已經(jīng)合作了非常長(zhǎng)時(shí)間,我們共同致力于通過(guò)創(chuàng)新的數(shù)據(jù)分析和 AI 解決方案推動(dòng) Apache Spark 技術(shù)的發(fā)展,并幫助企業(yè)做好準(zhǔn)備。Databricks 貢獻(xiàn)給 Linux 基金會(huì)的 Delta Lake 項(xiàng)目是一項(xiàng)相當(dāng)重要的開源存儲(chǔ)技術(shù),可以幫助采用者提高數(shù)據(jù)湖的可靠性。我們期待加入 Delta Lake 項(xiàng)目,并繼續(xù)與 Databricks 和 Apache 社區(qū)進(jìn)行合作。”

標(biāo)簽: 數(shù)據(jù)湖 數(shù)據(jù)倉(cāng) 

版權(quán)申明:本站文章部分自網(wǎng)絡(luò),如有侵權(quán),請(qǐng)聯(lián)系:west999com@outlook.com
特別注意:本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)!
本站所提供的圖片等素材,版權(quán)歸原作者所有,如需使用,請(qǐng)與原作者聯(lián)系。

上一篇:區(qū)塊鏈如何保護(hù)大數(shù)據(jù)和物聯(lián)網(wǎng)設(shè)備

下一篇:一圖看清美國(guó)最具前景的50家人工智能公司