中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

官宣!開源Delta Lake正式加入Linux基金會,共同打造數(shù)據(jù)湖開放標(biāo)準(zhǔn)

2020-12-04    來源:raincent

容器云強勢上線!快速搭建集群,上萬Linux鏡像隨意使用

今天,在荷蘭阿姆斯特丹舉行的 Spark+AI 歐洲峰會上,DataBricks 和 Linux 基金會聯(lián)合宣布,開源項目 Delta Lake 正式成為 Linux 基金會的托管項目。

 

 

作者:蔡芳芳 來源:InfoQ

Delta Lake 由 Databricks 在今年年初開源,該項目旨在與社區(qū)共同打造一個開放標(biāo)準(zhǔn),以管理數(shù)據(jù)湖中的大量數(shù)據(jù),并不斷提高數(shù)據(jù)湖的可靠性、質(zhì)量和性能。成為 Linux 基金會項目后,Delta Lake 原來采用的 Apache 2.0 開源許可將保持不變。目前 Delta Lake 已經(jīng)被成千上萬的組織采用,包括 Intel、阿里巴巴、Booz Allen Hamilton 都是其開源生態(tài)一員。為了進一步推動 Delta Lake 開原生態(tài)的發(fā)展,讓更多開發(fā)者和企業(yè)采用 Delta Lake 并參與貢獻項目代碼,Databricks 決定讓 Delta Lake 成為 Linux 基金會的托管項目并使用開放式的治理模式。

如今,每個公司都希望通過數(shù)據(jù)科學(xué)、機器學(xué)習(xí)和分析等手段從數(shù)據(jù)中獲得更多價值,但由于數(shù)據(jù)湖中數(shù)據(jù)可靠性較差,從數(shù)據(jù)中獲取價值的難度極大。Delta Lake 通過為 Apache Spark 和其他大數(shù)據(jù)引擎提供可伸縮的 ACID 事務(wù),讓用戶可以基于 HDFS 和云存儲構(gòu)建可靠的數(shù)據(jù)湖。自 2017 年 10 月推出以來,Delta Lake 已被四千多家組織采用,每月處理超過 2 exabytes 的數(shù)據(jù)。

“將 Delta Lake 引入 Linux 基金會這樣的中立組織,將有助于開源社區(qū)更好地基于該項目開發(fā)解決大數(shù)據(jù)(本地和云端)存儲和處理問題的技術(shù),”Linux 基金會戰(zhàn)略計劃副總裁 Michael Dolan 說,“ Linux 基金會致力于幫助開源社區(qū)采用開放治理模式來實現(xiàn)廣泛的行業(yè)貢獻和共識建立,這將有助于改善當(dāng)前數(shù)據(jù)存儲和可靠性相關(guān)技術(shù)。”

Databricks 的聯(lián)合創(chuàng)始人也是開源項目 Apache Spark 的創(chuàng)始成員,如今 Spark 早已成為大規(guī)模數(shù)據(jù)處理的事實標(biāo)準(zhǔn)。Databricks 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Ali Ghodsi 對 Delta Lake 項目再次經(jīng)歷這一旅程感到興奮。“我們的團隊一直致力于創(chuàng)建開源項目并為之做出貢獻,因為我們知道這是最快、最好的創(chuàng)新方式。為了解決不同組織在數(shù)據(jù)方面的挑戰(zhàn),我們希望保證 Delta Lake 項目真正徹底地開源。借助 Linux 基金會社區(qū)的力量和貢獻,我們相信 Delta Lake 很快就會成為數(shù)據(jù)湖中數(shù)據(jù)存儲的標(biāo)準(zhǔn)。”

盡管 Delta Lake 最初是為了與 Apache Spark 配合使用而設(shè)計的,但如今 Delta Lake 已經(jīng)構(gòu)建了一個更加開放且蓬勃發(fā)展的社區(qū),且增加了對其他開源數(shù)據(jù)系統(tǒng)的支持。

阿里巴巴大數(shù)據(jù) / 人工智能副總裁賈揚清表示:

“作為主要的云計算提供商,阿里巴巴一直是各種開源項目(尤其在大數(shù)據(jù)和 AI 領(lǐng)域)的領(lǐng)導(dǎo)者、貢獻者、使用者和支持者。我們一直在與 Databricks 合作開發(fā) Delta Lake 的原生 Hive 連接器,我們非常高興看到該項目加入 Linux 基金會。我們將繼續(xù)推動 Delta Lake 開源社區(qū)的發(fā)展并為之做出貢獻。”

英特爾架構(gòu)、圖形和軟件副總裁兼機器學(xué)習(xí)性能總經(jīng)理李偉(Wei Li)表示:

“英特爾與 Databricks 已經(jīng)合作了非常長時間,我們共同致力于通過創(chuàng)新的數(shù)據(jù)分析和 AI 解決方案推動 Apache Spark 技術(shù)的發(fā)展,并幫助企業(yè)做好準(zhǔn)備。Databricks 貢獻給 Linux 基金會的 Delta Lake 項目是一項相當(dāng)重要的開源存儲技術(shù),可以幫助采用者提高數(shù)據(jù)湖的可靠性。我們期待加入 Delta Lake 項目,并繼續(xù)與 Databricks 和 Apache 社區(qū)進行合作。”

標(biāo)簽: 數(shù)據(jù)湖 數(shù)據(jù)倉 

版權(quán)申明:本站文章部分自網(wǎng)絡(luò),如有侵權(quán),請聯(lián)系:west999com@outlook.com
特別注意:本站所有轉(zhuǎn)載文章言論不代表本站觀點!
本站所提供的圖片等素材,版權(quán)歸原作者所有,如需使用,請與原作者聯(lián)系。

上一篇:區(qū)塊鏈如何保護大數(shù)據(jù)和物聯(lián)網(wǎng)設(shè)備

下一篇:一圖看清美國最具前景的50家人工智能公司