Gartner 最近發(fā)表的一篇博文，引起了我們 Altinity 的注意。標(biāo)題是《數(shù)據(jù)庫(kù)管理系統(tǒng)的未來(lái)就是云計(jì)算!》( The Future of Database Management Systems is Cloud! )，這篇博文還宣稱，現(xiàn)在公用云就是管理數(shù)據(jù)的默認(rèn)平臺(tái)。不過(guò)，這一說(shuō)法聽(tīng)起來(lái)并不那么聳人聽(tīng)聞。這篇博文基于 Donald Feinbert、Merv Adrian 和 Adam Ronthal 的研究，他們都是在數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)市場(chǎng)有長(zhǎng)期經(jīng)驗(yàn)的行業(yè)資深人士。

有趣的是，這篇博文還進(jìn)一步提出了兩個(gè)值得反復(fù)推敲的觀點(diǎn)。

就數(shù)據(jù)庫(kù)管理系統(tǒng)而言，新的創(chuàng)新現(xiàn)在只出現(xiàn)在云端中，或者至少首先出現(xiàn)在云端上。如果你不使用云計(jì)算的話，那么你就會(huì)錯(cuò)過(guò)嘗試這些創(chuàng)新的機(jī)會(huì)。

避免資本支出而傾向于運(yùn)營(yíng)支出的定價(jià)模式正在推動(dòng)這一轉(zhuǎn)變。換言之，這是一個(gè)由基礎(chǔ)經(jīng)濟(jì)學(xué)推動(dòng)的長(zhǎng)期趨勢(shì)，因此，我們可以預(yù)期這種趨勢(shì)將會(huì)持續(xù)下去，甚至可能會(huì)隨著時(shí)間的推移而加劇。

這些說(shuō)法充其量只是誤導(dǎo)。如果你正在設(shè)計(jì)用于管理數(shù)據(jù)的系統(tǒng)，那么，只看表面價(jià)值的話，可能會(huì)導(dǎo)致嚴(yán)重的戰(zhàn)略失誤。你還可能會(huì)錯(cuò)過(guò)具有競(jìng)爭(zhēng)力的技術(shù)，而且還限制了你企業(yè)的盈利能力。

我們將這個(gè)論點(diǎn)限制在 Gartner 研究的公開(kāi)摘要中，這樣你就可以自己閱讀了�，F(xiàn)在讓我們來(lái)看一下事實(shí)真相。

開(kāi)源軟件是數(shù)據(jù)管理創(chuàng)新的基礎(chǔ)

ClickHouse 是一個(gè)非常棒的數(shù)據(jù)倉(cāng)庫(kù)，但在 Gartner 的市場(chǎng)份額排名中卻沒(méi)有被提及，這讓我們感到有點(diǎn)受傷。不過(guò)，我們并沒(méi)有覺(jué)得有多槽糕，因?yàn)檫�有許多其他同樣卓越的開(kāi)源技術(shù)也被遺漏了。在這份市場(chǎng)份額排名中，少了像 InfluxDB 和 TimescaleDB 等這樣的時(shí)間序列數(shù)據(jù)庫(kù)，Spark 也不見(jiàn)蹤影，而且還遺漏了 MySQL 和 PostgreSQL。而后一種遺漏是值得注意的，因?yàn)檫@兩個(gè)數(shù)據(jù)庫(kù)都是 Amazon RDS 的關(guān)鍵，要知道，Amazon RDS 是最成功的公用云數(shù)據(jù)服務(wù)之一。

更令人驚訝的是，這份市場(chǎng)份額排名居然沒(méi)有提及人工智能技術(shù)。機(jī)器學(xué)習(xí)和深度學(xué)習(xí)都代表了過(guò)去十年數(shù)據(jù)分析領(lǐng)域的最大進(jìn)步，這是人盡皆知。除了人工智能管道與數(shù)據(jù)庫(kù)的緊密耦合之外，模型的訓(xùn)練和執(zhí)行也開(kāi)始直接集成到數(shù)據(jù)庫(kù)管理系統(tǒng)本身了。當(dāng)前，任何人工智能工具包的枚舉都會(huì)包括 Scikit-Learn、TensorFlow、Torch、Keras 和許多其他開(kāi)源框架。像 Apache Arrow 這樣的項(xiàng)目表明，有望找到新的方法，將它們與數(shù)據(jù)庫(kù)管理系統(tǒng)集成在一起，而無(wú)需從存儲(chǔ)器到執(zhí)行管道進(jìn)行低效的復(fù)制。這是一個(gè)非常值得關(guān)注的領(lǐng)域，特別是當(dāng)許多創(chuàng)新都發(fā)生在開(kāi)源領(lǐng)域時(shí)。

最后，我們也不能忽視 Kubernetes 在數(shù)據(jù)管理方面所扮演的新角色。它賦予了公用云所提供的高利用率和易管理性。根據(jù)我們?cè)跇?gòu)建 ClickHouse Kubernetes 操作員方面的經(jīng)驗(yàn)，以及我們客戶的經(jīng)驗(yàn)表明，Kubernetes 是一個(gè)適用于大規(guī)模分析應(yīng)用的可行環(huán)境。Kubernetes 在云端環(huán)境和裸機(jī)環(huán)境中運(yùn)行得同樣良好，讓用戶得以在這兩種環(huán)境中，能夠輕松地運(yùn)行像 ClickHouse 這樣的可移植開(kāi)源項(xiàng)目。而且，Kubernetes 也是開(kāi)源的。

我們不會(huì)忽視 Amazon RDS 和 Amazon Redshift 等公用云服務(wù)的杰出創(chuàng)新。在降低進(jìn)入成本和減少管理開(kāi)銷方面，這兩者都是游戲規(guī)則改變者。類似地，像 Google BigQuery 這樣的服務(wù)可以通過(guò)有效地整合云資源來(lái)規(guī)�；�運(yùn)行。所有這些創(chuàng)新，都值得效仿。它們還使現(xiàn)有的云數(shù)據(jù)服務(wù)成為許多業(yè)務(wù)問(wèn)題的絕佳選擇。

也就是說(shuō)，如果你要選擇未來(lái)的系統(tǒng)，你就必須仔細(xì)審查開(kāi)源。在過(guò)去的二十年里，許多最具顛覆性的數(shù)據(jù)管理技術(shù)都是從開(kāi)源項(xiàng)目中涌現(xiàn)出來(lái)的�；钴S的風(fēng)投行業(yè)可以確保最好的項(xiàng)目迅速轉(zhuǎn)化為企業(yè)產(chǎn)品。通過(guò)協(xié)作開(kāi)源項(xiàng)目，分析、人工智能和 Kubernetes 的快速發(fā)展證明了這一趨勢(shì)將會(huì)持續(xù)下去。

總之，那些將目光從開(kāi)源技術(shù)風(fēng)險(xiǎn)上移開(kāi)的數(shù)據(jù)管理專業(yè)人士可能會(huì)大吃一驚。這是該領(lǐng)域大多數(shù)創(chuàng)新的關(guān)鍵。

公有云經(jīng)濟(jì)學(xué)并不適用于許多數(shù)據(jù)管理使用案例

無(wú)可爭(zhēng)辯的是，對(duì)很多企業(yè)來(lái)說(shuō)，公用云服務(wù)非常出色。較低的前期成本，由供應(yīng)商處理復(fù)雜系統(tǒng)管理的事實(shí)以及規(guī)模經(jīng)濟(jì)，使得公用云成為許多用途(而不僅僅是數(shù)據(jù)管理)的簡(jiǎn)單選擇。云收入增長(zhǎng)數(shù)據(jù)充分證明了這種魅力。

但是，這是否意味著公用云適用于所有的用例呢?答案顯然是否定的。如果你的企業(yè)具有以下特點(diǎn)，會(huì)怎么樣呢?

有大量的數(shù)據(jù)。

要求較高而持續(xù)的資源利用率。

成本敏感度高。

這些特點(diǎn)正是對(duì)大多數(shù)大型 SaaS 供應(yīng)商以及 Facebook 等社交媒體公司的概要描述。如果云計(jì)算對(duì)這些企業(yè)普遍有用的話，我們應(yīng)該會(huì)看到這些企業(yè)中的大多數(shù)都在云端中。然而，實(shí)際情況并非如此。Lyft 和 Pinterest 等公司是公用云服務(wù)的主要客戶。但隨著規(guī)模的擴(kuò)大，其他供應(yīng)商也并沒(méi)有放棄公用云。

SalesForce 在 AWS 上的運(yùn)營(yíng)只占很小的比例，但主要使用它直接管理的數(shù)據(jù)中心。Facebook 從零開(kāi)始建設(shè)和運(yùn)營(yíng)自己的數(shù)據(jù)中心有著悠久的歷史。Dropbox 最初托管在 AWS 上，但在很大程度上將文件存儲(chǔ)從 Amazon 轉(zhuǎn)移到了自己的數(shù)據(jù)中心。在這一過(guò)程中，他們聲稱此舉節(jié)省了 7460 萬(wàn)美元的成本。

最后這一數(shù)字說(shuō)到點(diǎn)子上了，那就是：云計(jì)算服務(wù)非常昂貴。為什么股市喜歡 Amazon 和 Azure 的云計(jì)算?一言以蔽之：它們有極好的毛利率，也就是為客戶提供服務(wù)后剩下的錢(qián)。Microsoft 最近的盈利報(bào)告顯示， Azure 的毛利率至少有 50% 。 Amazon 雖然沒(méi)有公布 AWS 的毛利率，但透露了其持續(xù)經(jīng)營(yíng)利潤(rùn)率(即銷售額等其他費(fèi)用)達(dá)到了 25% 或更高。因此，我們假設(shè) AWS 的毛利率也至少為 50%。

對(duì)用戶來(lái)說(shuō)，這 50% 的含義不言自明。平均而言，如果你像 Lyft 一樣每年在公用云上耗費(fèi) 1 億美元的話，那么就有 5000 萬(wàn)美元將進(jìn)入云供應(yīng)商的資產(chǎn)負(fù)債表。如果你在自己的數(shù)據(jù)中心運(yùn)行這些服務(wù)的話，那么這 5000 萬(wàn)美元將進(jìn)入你自己的資產(chǎn)負(fù)債表。我們可以通過(guò)仔細(xì)查看 Dropbox 的數(shù)據(jù)來(lái)驗(yàn)證這一點(diǎn)。他們的報(bào)告顯示在 2016 年節(jié)省了大約 43%，所以也在我們可接受的范圍內(nèi)。對(duì)于那些規(guī)模大、充分利用資源且對(duì)成本敏感的資源來(lái)說(shuō)，經(jīng)濟(jì)激勵(lì)機(jī)制的效果是顯而易見(jiàn)的，而且隨著時(shí)間的推移，只會(huì)越來(lái)越明顯。

激勵(lì)機(jī)制還以更微妙的方式發(fā)揮作用。與其離開(kāi) Amazon 或 Azure，不如避開(kāi)那些最昂貴的服務(wù)。其中包括像 Amazon RDS 這樣的數(shù)據(jù)管理服務(wù)。在 RDS MySQL 上運(yùn)行 db.m5.12xlarge 實(shí)例的成本，比在同一區(qū)域中的普通 m5.12xlarge 實(shí)例要高出 80%(按 us-west-2 地區(qū)標(biāo)準(zhǔn) 3 年期限估算)。你可以只在基本的計(jì)算和存儲(chǔ)上運(yùn)行開(kāi)源的 MySQL。這既降低了成本，又保留了未來(lái)轉(zhuǎn)移到其他地方的自由。有趣的是，這正是像 Slack 這樣的公司正在做的事情。

總之，隨著業(yè)務(wù)收入的增加，在云端運(yùn)營(yíng)的動(dòng)機(jī)逐漸消失，甚至出現(xiàn)逆轉(zhuǎn)。無(wú)論采用何種商業(yè)模式，IT 資源的運(yùn)營(yíng)成本往往會(huì)回歸到平均水平，這與云提供商的毛利率相關(guān)。即使你仍留在云端中，使用云數(shù)據(jù)服務(wù)的動(dòng)機(jī)也會(huì)下降。這些都是影響任何數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的基礎(chǔ)經(jīng)濟(jì)學(xué)。

邊緣計(jì)算正在云計(jì)算之外創(chuàng)建新的用例

從長(zhǎng)遠(yuǎn)來(lái)看，物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)的爆炸式增長(zhǎng)將會(huì)促進(jìn)公用云之外的管理。據(jù)估計(jì)，一輛無(wú)人駕駛汽車生成的數(shù)據(jù)是 Twitter 的 3000 倍。由于網(wǎng)絡(luò)帶寬限制、安全性、存儲(chǔ)限制以及需要實(shí)時(shí)響應(yīng)等原因，其中大部分?jǐn)?shù)據(jù)將在本地進(jìn)行清理、分析和使用。只有一小部分?jǐn)?shù)據(jù)能夠到達(dá)云端。

在云數(shù)據(jù)管理中，將數(shù)據(jù)重要性作為應(yīng)用程序遷移到云端的原因是很常見(jiàn)的。邊緣計(jì)算和物聯(lián)網(wǎng)在公用云之外創(chuàng)造了一種新的數(shù)據(jù)重要性。在 Altinity，我們?cè)O(shè)想的未來(lái)，可能包括數(shù)億個(gè)平臺(tái)上的數(shù)據(jù)，從汽車到醫(yī)療系統(tǒng)，再到農(nóng)業(yè)設(shè)備。在許多情況下，這樣的本地?cái)?shù)據(jù)將會(huì)達(dá)到以前只有在集中式數(shù)據(jù)中心才能看到的容量。

因此，我們預(yù)計(jì)，在邊緣環(huán)境中，將會(huì)出現(xiàn)高速消息傳遞、流式查詢和具有高效壓縮的數(shù)據(jù)倉(cāng)庫(kù)等功能。其中一些產(chǎn)品和平臺(tái)將與公用云使用的產(chǎn)品和平臺(tái)相同。這也是我們認(rèn)為可移植性仍然是數(shù)據(jù)管理技術(shù)的主要考慮因素的原因之一。但我們也期待出現(xiàn)新的創(chuàng)新，能夠?qū)Ｗ⒂谠谶h(yuǎn)程環(huán)境中快速處理數(shù)據(jù)。其中一些創(chuàng)新已經(jīng)能夠在加州大學(xué)伯克利分校 RISE 實(shí)驗(yàn)室中見(jiàn)到，其中包括安全、實(shí)時(shí)的人工智能。許多其他人也正在研究這一問(wèn)題。

結(jié)論：超越云計(jì)算的思考

在 Altinity，我們完全同意 Gartner 的觀點(diǎn)，即云計(jì)算對(duì)于數(shù)據(jù)管理非常重要。在每個(gè)新部署決策中，都應(yīng)該考慮這一點(diǎn)，尤其是在速度和靈活性高于成本的情況下。

與此同時(shí)，系統(tǒng)設(shè)計(jì)人員必須尋找新的開(kāi)源數(shù)據(jù)管理項(xiàng)目，比如 ClickHouse，它可以為早期采用者帶來(lái)顛覆性的優(yōu)勢(shì)。設(shè)計(jì)師和商業(yè)領(lǐng)袖也需要了解，隨著業(yè)務(wù)的增長(zhǎng)，云計(jì)算的經(jīng)濟(jì)激勵(lì)機(jī)制也會(huì)發(fā)生重大變化。最后，邊緣計(jì)算和物聯(lián)網(wǎng)將會(huì)推動(dòng)數(shù)據(jù)管理技術(shù)的新浪潮。許多創(chuàng)新將不僅適用于邊緣計(jì)算領(lǐng)域，也將適用于所有數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)。

作為工程師，我們經(jīng)常談?wù)摓橐?guī)模設(shè)計(jì)系統(tǒng)�？蓴U(kuò)展的數(shù)據(jù)管理支持可擴(kuò)展的業(yè)務(wù)。要實(shí)現(xiàn)這一點(diǎn)，你就必須超越云計(jì)算進(jìn)行思考。

原文鏈接：

Far More than Cloud: Thoughts on the Future of Database Management Systems

標(biāo)簽： 數(shù)據(jù) 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。