官宣！開源Delta Lake正式加入Linux基金會(huì)，共同打造數(shù)據(jù)湖開放標(biāo)準(zhǔn)
2020-12-04 來(lái)源：raincent
今天，在荷蘭阿姆斯特丹舉行的 Spark+AI 歐洲峰會(huì)上，DataBricks 和 Linux 基金會(huì)聯(lián)合宣布，開源項(xiàng)目 Delta Lake 正式成為 Linux 基金會(huì)的托管項(xiàng)目。
作者：蔡芳芳 來(lái)源：InfoQ
Delta Lake 由 Databricks 在今年年初開源，該項(xiàng)目旨在與社區(qū)共同打造一個(gè)開放標(biāo)準(zhǔn)，以管理數(shù)據(jù)湖中的大量數(shù)據(jù)，并不斷提高數(shù)據(jù)湖的可靠性、質(zhì)量和性能。成為 Linux 基金會(huì)項(xiàng)目后，Delta Lake 原來(lái)采用的 Apache 2.0 開源許可將保持不變。目前 Delta Lake 已經(jīng)被成千上萬(wàn)的組織采用，包括 Intel、阿里巴巴、Booz Allen Hamilton 都是其開源生態(tài)一員。為了進(jìn)一步推動(dòng) Delta Lake 開原生態(tài)的發(fā)展，讓更多開發(fā)者和企業(yè)采用 Delta Lake 并參與貢獻(xiàn)項(xiàng)目代碼，Databricks 決定讓 Delta Lake 成為 Linux 基金會(huì)的托管項(xiàng)目并使用開放式的治理模式。
如今，每個(gè)公司都希望通過(guò)數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)和分析等手段從數(shù)據(jù)中獲得更多價(jià)值，但由于數(shù)據(jù)湖中數(shù)據(jù)可靠性較差，從數(shù)據(jù)中獲取價(jià)值的難度極大。Delta Lake 通過(guò)為 Apache Spark 和其他大數(shù)據(jù)引擎提供可伸縮的 ACID 事務(wù)，讓用戶可以基于 HDFS 和云存儲(chǔ)構(gòu)建可靠的數(shù)據(jù)湖。自 2017 年 10 月推出以來(lái)，Delta Lake 已被四千多家組織采用，每月處理超過(guò) 2 exabytes 的數(shù)據(jù)。
“將 Delta Lake 引入 Linux 基金會(huì)這樣的中立組織，將有助于開源社區(qū)更好地基于該項(xiàng)目開發(fā)解決大數(shù)據(jù)(本地和云端)存儲(chǔ)和處理問(wèn)題的技術(shù)，”Linux 基金會(huì)戰(zhàn)略計(jì)劃副總裁 Michael Dolan 說(shuō)，“ Linux 基金會(huì)致力于幫助開源社區(qū)采用開放治理模式來(lái)實(shí)現(xiàn)廣泛的行業(yè)貢獻(xiàn)和共識(shí)建立，這將有助于改善當(dāng)前數(shù)據(jù)存儲(chǔ)和可靠性相關(guān)技術(shù)。”
Databricks 的聯(lián)合創(chuàng)始人也是開源項(xiàng)目 Apache Spark 的創(chuàng)始成員，如今 Spark 早已成為大規(guī)模數(shù)據(jù)處理的事實(shí)標(biāo)準(zhǔn)。Databricks 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Ali Ghodsi 對(duì) Delta Lake 項(xiàng)目再次經(jīng)歷這一旅程感到興奮。“我們的團(tuán)隊(duì)一直致力于創(chuàng)建開源項(xiàng)目并為之做出貢獻(xiàn)，因?yàn)槲覀冎肋@是最快、最好的創(chuàng)新方式。為了解決不同組織在數(shù)據(jù)方面的挑戰(zhàn)，我們希望保證 Delta Lake 項(xiàng)目真正徹底地開源。借助 Linux 基金會(huì)社區(qū)的力量和貢獻(xiàn)，我們相信 Delta Lake 很快就會(huì)成為數(shù)據(jù)湖中數(shù)據(jù)存儲(chǔ)的標(biāo)準(zhǔn)。”
盡管 Delta Lake 最初是為了與 Apache Spark 配合使用而設(shè)計(jì)的，但如今 Delta Lake 已經(jīng)構(gòu)建了一個(gè)更加開放且蓬勃發(fā)展的社區(qū)，且增加了對(duì)其他開源數(shù)據(jù)系統(tǒng)的支持。
阿里巴巴大數(shù)據(jù) / 人工智能副總裁賈揚(yáng)清表示：
“作為主要的云計(jì)算提供商，阿里巴巴一直是各種開源項(xiàng)目(尤其在大數(shù)據(jù)和 AI 領(lǐng)域)的領(lǐng)導(dǎo)者、貢獻(xiàn)者、使用者和支持者。我們一直在與 Databricks 合作開發(fā) Delta Lake 的原生 Hive 連接器，我們非常高興看到該項(xiàng)目加入 Linux 基金會(huì)。我們將繼續(xù)推動(dòng) Delta Lake 開源社區(qū)的發(fā)展并為之做出貢獻(xiàn)。”
英特爾架構(gòu)、圖形和軟件副總裁兼機(jī)器學(xué)習(xí)性能總經(jīng)理李偉(Wei Li)表示：
“英特爾與 Databricks 已經(jīng)合作了非常長(zhǎng)時(shí)間，我們共同致力于通過(guò)創(chuàng)新的數(shù)據(jù)分析和 AI 解決方案推動(dòng) Apache Spark 技術(shù)的發(fā)展，并幫助企業(yè)做好準(zhǔn)備。Databricks 貢獻(xiàn)給 Linux 基金會(huì)的 Delta Lake 項(xiàng)目是一項(xiàng)相當(dāng)重要的開源存儲(chǔ)技術(shù)，可以幫助采用者提高數(shù)據(jù)湖的可靠性。我們期待加入 Delta Lake 項(xiàng)目，并繼續(xù)與 Databricks 和 Apache 社區(qū)進(jìn)行合作。”
標(biāo)簽： 數(shù)據(jù)湖 數(shù)據(jù)倉(cāng)
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。
