今天，在荷蘭阿姆斯特丹舉行的 Spark+AI 歐洲峰會上，DataBricks 和 Linux 基金會聯(lián)合宣布，開源項目 Delta Lake 正式成為 Linux 基金會的托管項目。

 

 

作者：蔡芳芳 來源：InfoQ

Delta Lake 由 Databricks 在今年年初開源，該項目旨在與社區(qū)共同打造一個開放標(biāo)準(zhǔn)，以管理數(shù)據(jù)湖中的大量數(shù)據(jù)，并不斷提高數(shù)據(jù)湖的可靠性、質(zhì)量和性能。成為 Linux 基金會項目后，Delta Lake 原來采用的 Apache 2.0 開源許可將保持不變。目前 Delta Lake 已經(jīng)被成千上萬的組織采用，包括 Intel、阿里巴巴、Booz Allen Hamilton 都是其開源生態(tài)一員。為了進一步推動 Delta Lake 開原生態(tài)的發(fā)展，讓更多開發(fā)者和企業(yè)采用 Delta Lake 并參與貢獻項目代碼，Databricks 決定讓 Delta Lake 成為 Linux 基金會的托管項目并使用開放式的治理模式。

如今，每個公司都希望通過數(shù)據(jù)科學(xué)、機器學(xué)習(xí)和分析等手段從數(shù)據(jù)中獲得更多價值，但由于數(shù)據(jù)湖中數(shù)據(jù)可靠性較差，從數(shù)據(jù)中獲取價值的難度極大。Delta Lake 通過為 Apache Spark 和其他大數(shù)據(jù)引擎提供可伸縮的 ACID 事務(wù)，讓用戶可以基于 HDFS 和云存儲構(gòu)建可靠的數(shù)據(jù)湖。自 2017 年 10 月推出以來，Delta Lake 已被四千多家組織采用，每月處理超過 2 exabytes 的數(shù)據(jù)。

“將 Delta Lake 引入 Linux 基金會這樣的中立組織，將有助于開源社區(qū)更好地基于該項目開發(fā)解決大數(shù)據(jù)(本地和云端)存儲和處理問題的技術(shù)，”Linux 基金會戰(zhàn)略計劃副總裁 Michael Dolan 說，“ Linux 基金會致力于幫助開源社區(qū)采用開放治理模式來實現(xiàn)廣泛的行業(yè)貢獻和共識建立，這將有助于改善當(dāng)前數(shù)據(jù)存儲和可靠性相關(guān)技術(shù)。”

Databricks 的聯(lián)合創(chuàng)始人也是開源項目 Apache Spark 的創(chuàng)始成員，如今 Spark 早已成為大規(guī)模數(shù)據(jù)處理的事實標(biāo)準(zhǔn)。Databricks 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Ali Ghodsi 對 Delta Lake 項目再次經(jīng)歷這一旅程感到興奮。“我們的團隊一直致力于創(chuàng)建開源項目并為之做出貢獻，因為我們知道這是最快、最好的創(chuàng)新方式。為了解決不同組織在數(shù)據(jù)方面的挑戰(zhàn)，我們希望保證 Delta Lake 項目真正徹底地開源。借助 Linux 基金會社區(qū)的力量和貢獻，我們相信 Delta Lake 很快就會成為數(shù)據(jù)湖中數(shù)據(jù)存儲的標(biāo)準(zhǔn)。”

盡管 Delta Lake 最初是為了與 Apache Spark 配合使用而設(shè)計的，但如今 Delta Lake 已經(jīng)構(gòu)建了一個更加開放且蓬勃發(fā)展的社區(qū)，且增加了對其他開源數(shù)據(jù)系統(tǒng)的支持。

阿里巴巴大數(shù)據(jù) / 人工智能副總裁賈揚清表示：

“作為主要的云計算提供商，阿里巴巴一直是各種開源項目(尤其在大數(shù)據(jù)和 AI 領(lǐng)域)的領(lǐng)導(dǎo)者、貢獻者、使用者和支持者。我們一直在與 Databricks 合作開發(fā) Delta Lake 的原生 Hive 連接器，我們非常高興看到該項目加入 Linux 基金會。我們將繼續(xù)推動 Delta Lake 開源社區(qū)的發(fā)展并為之做出貢獻。”

英特爾架構(gòu)、圖形和軟件副總裁兼機器學(xué)習(xí)性能總經(jīng)理李偉(Wei Li)表示：

“英特爾與 Databricks 已經(jīng)合作了非常長時間，我們共同致力于通過創(chuàng)新的數(shù)據(jù)分析和 AI 解決方案推動 Apache Spark 技術(shù)的發(fā)展，并幫助企業(yè)做好準(zhǔn)備。Databricks 貢獻給 Linux 基金會的 Delta Lake 項目是一項相當(dāng)重要的開源存儲技術(shù)，可以幫助采用者提高數(shù)據(jù)湖的可靠性。我們期待加入 Delta Lake 項目，并繼續(xù)與 Databricks 和 Apache 社區(qū)進行合作。”

標(biāo)簽： 數(shù)據(jù)湖 數(shù)據(jù)倉 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。