Gartner 最近發(fā)表的一篇博文，引起了我們 Altinity 的注意。標(biāo)題是《數(shù)據(jù)庫管理系統(tǒng)的未來就是云計算!》( The Future of Database Management Systems is Cloud! )，這篇博文還宣稱，現(xiàn)在公用云就是管理數(shù)據(jù)的默認(rèn)平臺。不過，這一說法聽起來并不那么聳人聽聞。這篇博文基于 Donald Feinbert、Merv Adrian 和 Adam Ronthal 的研究，他們都是在數(shù)據(jù)庫管理系統(tǒng)(DBMS)市場有長期經(jīng)驗的行業(yè)資深人士。

有趣的是，這篇博文還進(jìn)一步提出了兩個值得反復(fù)推敲的觀點。

就數(shù)據(jù)庫管理系統(tǒng)而言，新的創(chuàng)新現(xiàn)在只出現(xiàn)在云端中，或者至少首先出現(xiàn)在云端上。如果你不使用云計算的話，那么你就會錯過嘗試這些創(chuàng)新的機會。

避免資本支出而傾向于運營支出的定價模式正在推動這一轉(zhuǎn)變。換言之，這是一個由基礎(chǔ)經(jīng)濟(jì)學(xué)推動的長期趨勢，因此，我們可以預(yù)期這種趨勢將會持續(xù)下去，甚至可能會隨著時間的推移而加劇。

這些說法充其量只是誤導(dǎo)。如果你正在設(shè)計用于管理數(shù)據(jù)的系統(tǒng)，那么，只看表面價值的話，可能會導(dǎo)致嚴(yán)重的戰(zhàn)略失誤。你還可能會錯過具有競爭力的技術(shù)，而且還限制了你企業(yè)的盈利能力。

我們將這個論點限制在 Gartner 研究的公開摘要中，這樣你就可以自己閱讀了�，F(xiàn)在讓我們來看一下事實真相。

開源軟件是數(shù)據(jù)管理創(chuàng)新的基礎(chǔ)

ClickHouse 是一個非常棒的數(shù)據(jù)倉庫，但在 Gartner 的市場份額排名中卻沒有被提及，這讓我們感到有點受傷。不過，我們并沒有覺得有多槽糕，因為還有許多其他同樣卓越的開源技術(shù)也被遺漏了。在這份市場份額排名中，少了像 InfluxDB 和 TimescaleDB 等這樣的時間序列數(shù)據(jù)庫，Spark 也不見蹤影，而且還遺漏了 MySQL 和 PostgreSQL。而后一種遺漏是值得注意的，因為這兩個數(shù)據(jù)庫都是 Amazon RDS 的關(guān)鍵，要知道，Amazon RDS 是最成功的公用云數(shù)據(jù)服務(wù)之一。

更令人驚訝的是，這份市場份額排名居然沒有提及人工智能技術(shù)。機器學(xué)習(xí)和深度學(xué)習(xí)都代表了過去十年數(shù)據(jù)分析領(lǐng)域的最大進(jìn)步，這是人盡皆知。除了人工智能管道與數(shù)據(jù)庫的緊密耦合之外，模型的訓(xùn)練和執(zhí)行也開始直接集成到數(shù)據(jù)庫管理系統(tǒng)本身了。當(dāng)前，任何人工智能工具包的枚舉都會包括 Scikit-Learn、TensorFlow、Torch、Keras 和許多其他開源框架。像 Apache Arrow 這樣的項目表明，有望找到新的方法，將它們與數(shù)據(jù)庫管理系統(tǒng)集成在一起，而無需從存儲器到執(zhí)行管道進(jìn)行低效的復(fù)制。這是一個非常值得關(guān)注的領(lǐng)域，特別是當(dāng)許多創(chuàng)新都發(fā)生在開源領(lǐng)域時。

最后，我們也不能忽視 Kubernetes 在數(shù)據(jù)管理方面所扮演的新角色。它賦予了公用云所提供的高利用率和易管理性。根據(jù)我們在構(gòu)建 ClickHouse Kubernetes 操作員方面的經(jīng)驗，以及我們客戶的經(jīng)驗表明，Kubernetes 是一個適用于大規(guī)模分析應(yīng)用的可行環(huán)境。Kubernetes 在云端環(huán)境和裸機環(huán)境中運行得同樣良好，讓用戶得以在這兩種環(huán)境中，能夠輕松地運行像 ClickHouse 這樣的可移植開源項目。而且，Kubernetes 也是開源的。

我們不會忽視 Amazon RDS 和 Amazon Redshift 等公用云服務(wù)的杰出創(chuàng)新。在降低進(jìn)入成本和減少管理開銷方面，這兩者都是游戲規(guī)則改變者。類似地，像 Google BigQuery 這樣的服務(wù)可以通過有效地整合云資源來規(guī)模化運行。所有這些創(chuàng)新，都值得效仿。它們還使現(xiàn)有的云數(shù)據(jù)服務(wù)成為許多業(yè)務(wù)問題的絕佳選擇。

也就是說，如果你要選擇未來的系統(tǒng)，你就必須仔細(xì)審查開源。在過去的二十年里，許多最具顛覆性的數(shù)據(jù)管理技術(shù)都是從開源項目中涌現(xiàn)出來的�；钴S的風(fēng)投行業(yè)可以確保最好的項目迅速轉(zhuǎn)化為企業(yè)產(chǎn)品。通過協(xié)作開源項目，分析、人工智能和 Kubernetes 的快速發(fā)展證明了這一趨勢將會持續(xù)下去。

總之，那些將目光從開源技術(shù)風(fēng)險上移開的數(shù)據(jù)管理專業(yè)人士可能會大吃一驚。這是該領(lǐng)域大多數(shù)創(chuàng)新的關(guān)鍵。

公有云經(jīng)濟(jì)學(xué)并不適用于許多數(shù)據(jù)管理使用案例

無可爭辯的是，對很多企業(yè)來說，公用云服務(wù)非常出色。較低的前期成本，由供應(yīng)商處理復(fù)雜系統(tǒng)管理的事實以及規(guī)模經(jīng)濟(jì)，使得公用云成為許多用途(而不僅僅是數(shù)據(jù)管理)的簡單選擇。云收入增長數(shù)據(jù)充分證明了這種魅力。

但是，這是否意味著公用云適用于所有的用例呢?答案顯然是否定的。如果你的企業(yè)具有以下特點，會怎么樣呢?

有大量的數(shù)據(jù)。

要求較高而持續(xù)的資源利用率。

成本敏感度高。

這些特點正是對大多數(shù)大型 SaaS 供應(yīng)商以及 Facebook 等社交媒體公司的概要描述。如果云計算對這些企業(yè)普遍有用的話，我們應(yīng)該會看到這些企業(yè)中的大多數(shù)都在云端中。然而，實際情況并非如此。Lyft 和 Pinterest 等公司是公用云服務(wù)的主要客戶。但隨著規(guī)模的擴(kuò)大，其他供應(yīng)商也并沒有放棄公用云。

SalesForce 在 AWS 上的運營只占很小的比例，但主要使用它直接管理的數(shù)據(jù)中心。Facebook 從零開始建設(shè)和運營自己的數(shù)據(jù)中心有著悠久的歷史。Dropbox 最初托管在 AWS 上，但在很大程度上將文件存儲從 Amazon 轉(zhuǎn)移到了自己的數(shù)據(jù)中心。在這一過程中，他們聲稱此舉節(jié)省了 7460 萬美元的成本。

最后這一數(shù)字說到點子上了，那就是：云計算服務(wù)非常昂貴。為什么股市喜歡 Amazon 和 Azure 的云計算?一言以蔽之：它們有極好的毛利率，也就是為客戶提供服務(wù)后剩下的錢。Microsoft 最近的盈利報告顯示， Azure 的毛利率至少有 50% 。 Amazon 雖然沒有公布 AWS 的毛利率，但透露了其持續(xù)經(jīng)營利潤率(即銷售額等其他費用)達(dá)到了 25% 或更高。因此，我們假設(shè) AWS 的毛利率也至少為 50%。

對用戶來說，這 50% 的含義不言自明。平均而言，如果你像 Lyft 一樣每年在公用云上耗費 1 億美元的話，那么就有 5000 萬美元將進(jìn)入云供應(yīng)商的資產(chǎn)負(fù)債表。如果你在自己的數(shù)據(jù)中心運行這些服務(wù)的話，那么這 5000 萬美元將進(jìn)入你自己的資產(chǎn)負(fù)債表。我們可以通過仔細(xì)查看 Dropbox 的數(shù)據(jù)來驗證這一點。他們的報告顯示在 2016 年節(jié)省了大約 43%，所以也在我們可接受的范圍內(nèi)。對于那些規(guī)模大、充分利用資源且對成本敏感的資源來說，經(jīng)濟(jì)激勵機制的效果是顯而易見的，而且隨著時間的推移，只會越來越明顯。

激勵機制還以更微妙的方式發(fā)揮作用。與其離開 Amazon 或 Azure，不如避開那些最昂貴的服務(wù)。其中包括像 Amazon RDS 這樣的數(shù)據(jù)管理服務(wù)。在 RDS MySQL 上運行 db.m5.12xlarge 實例的成本，比在同一區(qū)域中的普通 m5.12xlarge 實例要高出 80%(按 us-west-2 地區(qū)標(biāo)準(zhǔn) 3 年期限估算)。你可以只在基本的計算和存儲上運行開源的 MySQL。這既降低了成本，又保留了未來轉(zhuǎn)移到其他地方的自由。有趣的是，這正是像 Slack 這樣的公司正在做的事情。

總之，隨著業(yè)務(wù)收入的增加，在云端運營的動機逐漸消失，甚至出現(xiàn)逆轉(zhuǎn)。無論采用何種商業(yè)模式，IT 資源的運營成本往往會回歸到平均水平，這與云提供商的毛利率相關(guān)。即使你仍留在云端中，使用云數(shù)據(jù)服務(wù)的動機也會下降。這些都是影響任何數(shù)據(jù)驅(qū)動業(yè)務(wù)的基礎(chǔ)經(jīng)濟(jì)學(xué)。

邊緣計算正在云計算之外創(chuàng)建新的用例

從長遠(yuǎn)來看，物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)的爆炸式增長將會促進(jìn)公用云之外的管理。據(jù)估計，一輛無人駕駛汽車生成的數(shù)據(jù)是 Twitter 的 3000 倍。由于網(wǎng)絡(luò)帶寬限制、安全性、存儲限制以及需要實時響應(yīng)等原因，其中大部分?jǐn)?shù)據(jù)將在本地進(jìn)行清理、分析和使用。只有一小部分?jǐn)?shù)據(jù)能夠到達(dá)云端。

在云數(shù)據(jù)管理中，將數(shù)據(jù)重要性作為應(yīng)用程序遷移到云端的原因是很常見的。邊緣計算和物聯(lián)網(wǎng)在公用云之外創(chuàng)造了一種新的數(shù)據(jù)重要性。在 Altinity，我們設(shè)想的未來，可能包括數(shù)億個平臺上的數(shù)據(jù)，從汽車到醫(yī)療系統(tǒng)，再到農(nóng)業(yè)設(shè)備。在許多情況下，這樣的本地數(shù)據(jù)將會達(dá)到以前只有在集中式數(shù)據(jù)中心才能看到的容量。

因此，我們預(yù)計，在邊緣環(huán)境中，將會出現(xiàn)高速消息傳遞、流式查詢和具有高效壓縮的數(shù)據(jù)倉庫等功能。其中一些產(chǎn)品和平臺將與公用云使用的產(chǎn)品和平臺相同。這也是我們認(rèn)為可移植性仍然是數(shù)據(jù)管理技術(shù)的主要考慮因素的原因之一。但我們也期待出現(xiàn)新的創(chuàng)新，能夠?qū)Ｗ⒂谠谶h(yuǎn)程環(huán)境中快速處理數(shù)據(jù)。其中一些創(chuàng)新已經(jīng)能夠在加州大學(xué)伯克利分校 RISE 實驗室中見到，其中包括安全、實時的人工智能。許多其他人也正在研究這一問題。

結(jié)論：超越云計算的思考

在 Altinity，我們完全同意 Gartner 的觀點，即云計算對于數(shù)據(jù)管理非常重要。在每個新部署決策中，都應(yīng)該考慮這一點，尤其是在速度和靈活性高于成本的情況下。

與此同時，系統(tǒng)設(shè)計人員必須尋找新的開源數(shù)據(jù)管理項目，比如 ClickHouse，它可以為早期采用者帶來顛覆性的優(yōu)勢。設(shè)計師和商業(yè)領(lǐng)袖也需要了解，隨著業(yè)務(wù)的增長，云計算的經(jīng)濟(jì)激勵機制也會發(fā)生重大變化。最后，邊緣計算和物聯(lián)網(wǎng)將會推動數(shù)據(jù)管理技術(shù)的新浪潮。許多創(chuàng)新將不僅適用于邊緣計算領(lǐng)域，也將適用于所有數(shù)據(jù)驅(qū)動的業(yè)務(wù)。

作為工程師，我們經(jīng)常談?wù)摓橐?guī)模設(shè)計系統(tǒng)�？蓴U(kuò)展的數(shù)據(jù)管理支持可擴(kuò)展的業(yè)務(wù)。要實現(xiàn)這一點，你就必須超越云計算進(jìn)行思考。

原文鏈接：

Far More than Cloud: Thoughts on the Future of Database Management Systems

標(biāo)簽： 數(shù)據(jù) 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。