中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

超越云計算:對數(shù)據(jù)庫管理系統(tǒng)未來的思考

2020-12-04    來源:raincent

容器云強勢上線!快速搭建集群,上萬Linux鏡像隨意使用

Gartner 最近發(fā)表的一篇博文,引起了我們 Altinity 的注意。標(biāo)題是《數(shù)據(jù)庫管理系統(tǒng)的未來就是云計算!》( The Future of Database Management Systems is Cloud! ),這篇博文還宣稱,現(xiàn)在公用云就是管理數(shù)據(jù)的默認(rèn)平臺。不過,這一說法聽起來并不那么聳人聽聞。這篇博文基于 Donald Feinbert、Merv Adrian 和 Adam Ronthal 的研究,他們都是在數(shù)據(jù)庫管理系統(tǒng)(DBMS)市場有長期經(jīng)驗的行業(yè)資深人士。

有趣的是,這篇博文還進(jìn)一步提出了兩個值得反復(fù)推敲的觀點。

就數(shù)據(jù)庫管理系統(tǒng)而言,新的創(chuàng)新現(xiàn)在只出現(xiàn)在云端中,或者至少首先出現(xiàn)在云端上。如果你不使用云計算的話,那么你就會錯過嘗試這些創(chuàng)新的機會。

避免資本支出而傾向于運營支出的定價模式正在推動這一轉(zhuǎn)變。換言之,這是一個由基礎(chǔ)經(jīng)濟(jì)學(xué)推動的長期趨勢,因此,我們可以預(yù)期這種趨勢將會持續(xù)下去,甚至可能會隨著時間的推移而加劇。

這些說法充其量只是誤導(dǎo)。如果你正在設(shè)計用于管理數(shù)據(jù)的系統(tǒng),那么,只看表面價值的話,可能會導(dǎo)致嚴(yán)重的戰(zhàn)略失誤。你還可能會錯過具有競爭力的技術(shù),而且還限制了你企業(yè)的盈利能力。

我們將這個論點限制在 Gartner 研究的公開摘要中,這樣你就可以自己閱讀了,F(xiàn)在讓我們來看一下事實真相。

開源軟件是數(shù)據(jù)管理創(chuàng)新的基礎(chǔ)

ClickHouse 是一個非常棒的數(shù)據(jù)倉庫,但在 Gartner 的市場份額排名中卻沒有被提及,這讓我們感到有點受傷。不過,我們并沒有覺得有多槽糕,因為還有許多其他同樣卓越的開源技術(shù)也被遺漏了。在這份市場份額排名中,少了像 InfluxDB 和 TimescaleDB 等這樣的時間序列數(shù)據(jù)庫,Spark 也不見蹤影,而且還遺漏了 MySQL 和 PostgreSQL。而后一種遺漏是值得注意的,因為這兩個數(shù)據(jù)庫都是 Amazon RDS 的關(guān)鍵,要知道,Amazon RDS 是最成功的公用云數(shù)據(jù)服務(wù)之一。

更令人驚訝的是,這份市場份額排名居然沒有提及人工智能技術(shù)。機器學(xué)習(xí)和深度學(xué)習(xí)都代表了過去十年數(shù)據(jù)分析領(lǐng)域的最大進(jìn)步,這是人盡皆知。除了人工智能管道與數(shù)據(jù)庫的緊密耦合之外,模型的訓(xùn)練和執(zhí)行也開始直接集成到數(shù)據(jù)庫管理系統(tǒng)本身了。當(dāng)前,任何人工智能工具包的枚舉都會包括 Scikit-Learn、TensorFlow、Torch、Keras 和許多其他開源框架。像 Apache Arrow 這樣的項目表明,有望找到新的方法,將它們與數(shù)據(jù)庫管理系統(tǒng)集成在一起,而無需從存儲器到執(zhí)行管道進(jìn)行低效的復(fù)制。這是一個非常值得關(guān)注的領(lǐng)域,特別是當(dāng)許多創(chuàng)新都發(fā)生在開源領(lǐng)域時。

最后,我們也不能忽視 Kubernetes 在數(shù)據(jù)管理方面所扮演的新角色。它賦予了公用云所提供的高利用率和易管理性。根據(jù)我們在構(gòu)建 ClickHouse Kubernetes 操作員方面的經(jīng)驗,以及我們客戶的經(jīng)驗表明,Kubernetes 是一個適用于大規(guī)模分析應(yīng)用的可行環(huán)境。Kubernetes 在云端環(huán)境和裸機環(huán)境中運行得同樣良好,讓用戶得以在這兩種環(huán)境中,能夠輕松地運行像 ClickHouse 這樣的可移植開源項目。而且,Kubernetes 也是開源的。

我們不會忽視 Amazon RDS 和 Amazon Redshift 等公用云服務(wù)的杰出創(chuàng)新。在降低進(jìn)入成本和減少管理開銷方面,這兩者都是游戲規(guī)則改變者。類似地,像 Google BigQuery 這樣的服務(wù)可以通過有效地整合云資源來規(guī)模化運行。所有這些創(chuàng)新,都值得效仿。它們還使現(xiàn)有的云數(shù)據(jù)服務(wù)成為許多業(yè)務(wù)問題的絕佳選擇。

也就是說,如果你要選擇未來的系統(tǒng),你就必須仔細(xì)審查開源。在過去的二十年里,許多最具顛覆性的數(shù)據(jù)管理技術(shù)都是從開源項目中涌現(xiàn)出來的;钴S的風(fēng)投行業(yè)可以確保最好的項目迅速轉(zhuǎn)化為企業(yè)產(chǎn)品。通過協(xié)作開源項目,分析、人工智能和 Kubernetes 的快速發(fā)展證明了這一趨勢將會持續(xù)下去。

總之,那些將目光從開源技術(shù)風(fēng)險上移開的數(shù)據(jù)管理專業(yè)人士可能會大吃一驚。這是該領(lǐng)域大多數(shù)創(chuàng)新的關(guān)鍵。

公有云經(jīng)濟(jì)學(xué)并不適用于許多數(shù)據(jù)管理使用案例

無可爭辯的是,對很多企業(yè)來說,公用云服務(wù)非常出色。較低的前期成本,由供應(yīng)商處理復(fù)雜系統(tǒng)管理的事實以及規(guī)模經(jīng)濟(jì),使得公用云成為許多用途(而不僅僅是數(shù)據(jù)管理)的簡單選擇。云收入增長數(shù)據(jù)充分證明了這種魅力。

但是,這是否意味著公用云適用于所有的用例呢?答案顯然是否定的。如果你的企業(yè)具有以下特點,會怎么樣呢?

有大量的數(shù)據(jù)。

要求較高而持續(xù)的資源利用率。

成本敏感度高。

這些特點正是對大多數(shù)大型 SaaS 供應(yīng)商以及 Facebook 等社交媒體公司的概要描述。如果云計算對這些企業(yè)普遍有用的話,我們應(yīng)該會看到這些企業(yè)中的大多數(shù)都在云端中。然而,實際情況并非如此。Lyft 和 Pinterest 等公司是公用云服務(wù)的主要客戶。但隨著規(guī)模的擴(kuò)大,其他供應(yīng)商也并沒有放棄公用云。

SalesForce 在 AWS 上的運營只占很小的比例,但主要使用它直接管理的數(shù)據(jù)中心。Facebook 從零開始建設(shè)和運營自己的數(shù)據(jù)中心有著悠久的歷史。Dropbox 最初托管在 AWS 上,但在很大程度上將文件存儲從 Amazon 轉(zhuǎn)移到了自己的數(shù)據(jù)中心。在這一過程中,他們聲稱此舉節(jié)省了 7460 萬美元的成本。

最后這一數(shù)字說到點子上了,那就是:云計算服務(wù)非常昂貴。為什么股市喜歡 Amazon 和 Azure 的云計算?一言以蔽之:它們有極好的毛利率,也就是為客戶提供服務(wù)后剩下的錢。Microsoft 最近的盈利報告顯示, Azure 的毛利率至少有 50% 。 Amazon 雖然沒有公布 AWS 的毛利率,但透露了其持續(xù)經(jīng)營利潤率(即銷售額等其他費用)達(dá)到了 25% 或更高。因此,我們假設(shè) AWS 的毛利率也至少為 50%。

對用戶來說,這 50% 的含義不言自明。平均而言,如果你像 Lyft 一樣每年在公用云上耗費 1 億美元的話,那么就有 5000 萬美元將進(jìn)入云供應(yīng)商的資產(chǎn)負(fù)債表。如果你在自己的數(shù)據(jù)中心運行這些服務(wù)的話,那么這 5000 萬美元將進(jìn)入你自己的資產(chǎn)負(fù)債表。我們可以通過仔細(xì)查看 Dropbox 的數(shù)據(jù)來驗證這一點。他們的報告顯示在 2016 年節(jié)省了大約 43%,所以也在我們可接受的范圍內(nèi)。對于那些規(guī)模大、充分利用資源且對成本敏感的資源來說,經(jīng)濟(jì)激勵機制的效果是顯而易見的,而且隨著時間的推移,只會越來越明顯。

激勵機制還以更微妙的方式發(fā)揮作用。與其離開 Amazon 或 Azure,不如避開那些最昂貴的服務(wù)。其中包括像 Amazon RDS 這樣的數(shù)據(jù)管理服務(wù)。在 RDS MySQL 上運行 db.m5.12xlarge 實例的成本,比在同一區(qū)域中的普通 m5.12xlarge 實例要高出 80%(按 us-west-2 地區(qū)標(biāo)準(zhǔn) 3 年期限估算)。你可以只在基本的計算和存儲上運行開源的 MySQL。這既降低了成本,又保留了未來轉(zhuǎn)移到其他地方的自由。有趣的是,這正是像 Slack 這樣的公司正在做的事情。

總之,隨著業(yè)務(wù)收入的增加,在云端運營的動機逐漸消失,甚至出現(xiàn)逆轉(zhuǎn)。無論采用何種商業(yè)模式,IT 資源的運營成本往往會回歸到平均水平,這與云提供商的毛利率相關(guān)。即使你仍留在云端中,使用云數(shù)據(jù)服務(wù)的動機也會下降。這些都是影響任何數(shù)據(jù)驅(qū)動業(yè)務(wù)的基礎(chǔ)經(jīng)濟(jì)學(xué)。

邊緣計算正在云計算之外創(chuàng)建新的用例

從長遠(yuǎn)來看,物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)的爆炸式增長將會促進(jìn)公用云之外的管理。據(jù)估計,一輛無人駕駛汽車生成的數(shù)據(jù)是 Twitter 的 3000 倍。由于網(wǎng)絡(luò)帶寬限制、安全性、存儲限制以及需要實時響應(yīng)等原因,其中大部分?jǐn)?shù)據(jù)將在本地進(jìn)行清理、分析和使用。只有一小部分?jǐn)?shù)據(jù)能夠到達(dá)云端。

在云數(shù)據(jù)管理中,將數(shù)據(jù)重要性作為應(yīng)用程序遷移到云端的原因是很常見的。邊緣計算和物聯(lián)網(wǎng)在公用云之外創(chuàng)造了一種新的數(shù)據(jù)重要性。在 Altinity,我們設(shè)想的未來,可能包括數(shù)億個平臺上的數(shù)據(jù),從汽車到醫(yī)療系統(tǒng),再到農(nóng)業(yè)設(shè)備。在許多情況下,這樣的本地數(shù)據(jù)將會達(dá)到以前只有在集中式數(shù)據(jù)中心才能看到的容量。

因此,我們預(yù)計,在邊緣環(huán)境中,將會出現(xiàn)高速消息傳遞、流式查詢和具有高效壓縮的數(shù)據(jù)倉庫等功能。其中一些產(chǎn)品和平臺將與公用云使用的產(chǎn)品和平臺相同。這也是我們認(rèn)為可移植性仍然是數(shù)據(jù)管理技術(shù)的主要考慮因素的原因之一。但我們也期待出現(xiàn)新的創(chuàng)新,能夠?qū)W⒂谠谶h(yuǎn)程環(huán)境中快速處理數(shù)據(jù)。其中一些創(chuàng)新已經(jīng)能夠在加州大學(xué)伯克利分校 RISE 實驗室中見到,其中包括安全、實時的人工智能。許多其他人也正在研究這一問題。

結(jié)論:超越云計算的思考

在 Altinity,我們完全同意 Gartner 的觀點,即云計算對于數(shù)據(jù)管理非常重要。在每個新部署決策中,都應(yīng)該考慮這一點,尤其是在速度和靈活性高于成本的情況下。

與此同時,系統(tǒng)設(shè)計人員必須尋找新的開源數(shù)據(jù)管理項目,比如 ClickHouse,它可以為早期采用者帶來顛覆性的優(yōu)勢。設(shè)計師和商業(yè)領(lǐng)袖也需要了解,隨著業(yè)務(wù)的增長,云計算的經(jīng)濟(jì)激勵機制也會發(fā)生重大變化。最后,邊緣計算和物聯(lián)網(wǎng)將會推動數(shù)據(jù)管理技術(shù)的新浪潮。許多創(chuàng)新將不僅適用于邊緣計算領(lǐng)域,也將適用于所有數(shù)據(jù)驅(qū)動的業(yè)務(wù)。

作為工程師,我們經(jīng)常談?wù)摓橐?guī)模設(shè)計系統(tǒng)?蓴U(kuò)展的數(shù)據(jù)管理支持可擴(kuò)展的業(yè)務(wù)。要實現(xiàn)這一點,你就必須超越云計算進(jìn)行思考。

原文鏈接:

Far More than Cloud: Thoughts on the Future of Database Management Systems

標(biāo)簽: 數(shù)據(jù) 

版權(quán)申明:本站文章部分自網(wǎng)絡(luò),如有侵權(quán),請聯(lián)系:west999com@outlook.com
特別注意:本站所有轉(zhuǎn)載文章言論不代表本站觀點!
本站所提供的圖片等素材,版權(quán)歸原作者所有,如需使用,請與原作者聯(lián)系。

上一篇:面試系列:十個海量數(shù)據(jù)處理方法大總結(jié)

下一篇:隨機過程在數(shù)據(jù)科學(xué)和深度學(xué)習(xí)中有哪些應(yīng)用?