中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

星光不問趕路人,看阿里自研數(shù)據(jù)庫崛起之路

2019-12-13    來源:天下數(shù)據(jù)IDC資訊

容器云強勢上線!快速搭建集群,上萬Linux鏡像隨意使用

2019年的“雙十一”已經(jīng)落下帷幕。天貓“雙十一”實時成交額再創(chuàng)新高,達到2684億元人民幣。阿里旗下的兩款自研數(shù)據(jù)庫POLARDB和OceanBase表現(xiàn)也非常優(yōu)秀,POLARDB最高峰TPS達到8700萬次/秒,OceanBase達到6100萬次/秒,創(chuàng)下數(shù)據(jù)庫的新記錄?棺∪绱舜蟛l(fā)流量的壓力,充分證明這兩個數(shù)據(jù)庫的可靠性與穩(wěn)定值得信賴。

應(yīng)該說,這一切并不令人意外,今年10月份阿里自研數(shù)據(jù)庫已經(jīng)給了我們一次大大的驚喜,OceanBase刷新了甲骨文在TPC-C排行榜保持9年第一的記錄,完成了登頂。同樣,POLARDB在與同類競爭對手的對比中,也表現(xiàn)亮眼。在Gartner公布的2019年全球數(shù)據(jù)庫魔力象限評選中,作為國內(nèi)數(shù)據(jù)庫市場份額第一的廠商,阿里云成功進入“挑戰(zhàn)者”象限,連續(xù)兩年作為唯一中國企業(yè)入選。在Forrester發(fā)布的數(shù)據(jù)庫評估報告《The Forrester Wave:Database-As-A-Service,Q2 2019》中,阿里云數(shù)據(jù)庫也躋身“強勁表現(xiàn)者”陣營。

星光不問趕路人,看阿里自研數(shù)據(jù)庫崛起之路

眾所周知,在數(shù)據(jù)庫領(lǐng)域從來都是甲骨文(Oracle)、IBM(DB2)、微軟(SQL Server)等國外巨頭的天下,壟斷市場超過30年,此前中國的數(shù)據(jù)庫從來沒有在Gartner的魔力象限上出現(xiàn)過。雖然這些年我們從來沒有放棄過研發(fā)自己的數(shù)據(jù)庫的努力,但在市場上幾乎感受不到國產(chǎn)數(shù)據(jù)庫的存在。一直等到阿里POLAREDB和OceanBase,中國的數(shù)據(jù)庫才終于有了自己的一席之地,實屬難得。

回頭看阿里云數(shù)據(jù)庫的這一段歷史,一路走來歷經(jīng)波折,非常不易,但在阿里技術(shù)人員的堅持和阿里高層堅定不移的支持下,終于迎來了今天的成績,為中國人在科技領(lǐng)域贏得了榮譽。這一段歷史不僅值得阿里人記憶同時也值得中國IT人好好銘記和回味。

2009年的那一場行動

2009年,在阿里巴巴的發(fā)展歷史上絕對是值得大書一筆的一年。這一年,阿里云的飛天操作系統(tǒng)寫下了第一行代碼,它揭開了中國云計算產(chǎn)業(yè)的新篇章,也是在這一年,阿里集團啟動了去“IOE”行動,此舉同樣給阿里乃至整個中國的IT行業(yè)帶來深遠影響。

“IOE”三個字母分別代表IBM、 Oracle和 EMC 。當時IBM的小型機、Oracle的數(shù)據(jù)庫、EMC的存儲是企業(yè)IT系統(tǒng)的主要擔(dān)當,它們代表了穩(wěn)定、可靠,但是價格昂貴。去“IOE”就是用開放、便宜、通用設(shè)備來取代這些封閉、昂貴的專用設(shè)備。

那些年,隨著阿里巴巴業(yè)務(wù)(當時主要有B2B網(wǎng)站、淘寶、支付寶)的快速擴張,每年新采購設(shè)備費用和舊系統(tǒng)的維護費越來越大,更為重要的是,這些設(shè)備和系統(tǒng)就像一個個黑盒子,一旦出現(xiàn)故障必須等待廠商的技術(shù)人員來解決。花了那么多錢,還被人“卡著脖子”這是阿里巴巴所不能接受的。2009年,忍無可忍的阿里人決定把命運掌握在自己手里,這才有了去“IOE”。

在“IOE”中最難去的就是“O”,也就是Oracle數(shù)據(jù)庫。因為Oracle數(shù)據(jù)庫中保存的是企業(yè)最核心和最寶貴的資產(chǎn)——數(shù)據(jù)。更換數(shù)據(jù)庫不僅意味著要面臨數(shù)據(jù)遷移時損壞和丟失的風(fēng)險,還意味著上層軟件代碼重寫。更為要命的是,Oracle數(shù)據(jù)庫是當時技術(shù)最先進的數(shù)據(jù)庫,如果Oracle不行,哪個數(shù)據(jù)庫行?在2009年,阿里 Oracle RAC 集群節(jié)點數(shù)達到了創(chuàng)記錄的20個,成為亞洲第一,這樣的數(shù)據(jù)量換到哪個數(shù)據(jù)庫能抗得。

沒有其他選擇的阿里對開源數(shù)據(jù)庫MySQL進行修改以滿足淘寶的業(yè)務(wù)需要,這就是今天的AliSQL的雛形,后來發(fā)現(xiàn)這并不能徹底解決阿里面臨的挑戰(zhàn),不得不啟動了數(shù)據(jù)庫的自研之路,這才有了今天的POLARDB和OceanBase。

阿里去“IOE”的過程歷時超過3年,一直到2011年7月,淘寶商品庫完成了從 Oracle 到 AliSQL 的大遷移,2012年全淘寶最后一臺小型機宣布下線,阿里的去“IOE”取得初步成功。2013年支付寶最后一臺小型機下線,這也是阿里巴巴全集團最后一臺小型機下線,阿里歷時三年多的去“IOE”基本告一段落。在此過程中阿里自研數(shù)據(jù)庫功不可沒。

POLARDB:為云而生

當年阿里決定“去IOE”時,市場上除了Oracle外其實沒有哪個數(shù)據(jù)庫能滿足淘寶的業(yè)務(wù)要求,最后換成MySQL是不得已。MySQL是使用最廣泛的開源數(shù)據(jù)庫,最重要的是阿里可以拿到源代碼,這樣就可以按照自己的應(yīng)用場景對代碼進行修改和改進。

阿里技術(shù)人員對MySQL數(shù)據(jù)庫按照自己的業(yè)務(wù)要求進行了修改和改進,增加了不少原來沒有的功能,AliSQL由此誕生。到2013年,阿里的“雙十一”就已經(jīng)完全靠AliSQL來支撐了,但是每一年阿里的“雙十一”交易量都會有比較大的增長。尤其是每年“雙十一”零點的峰值來得越來越猛烈,而且?guī)缀跏撬查g上去的(今年“雙十一”數(shù)據(jù)庫壓力達到了正常值122倍),一直要持續(xù)10分鐘,再開始逐步遞減。這種高峰時的高并發(fā)流量是對數(shù)據(jù)庫的最大考驗。

“每年雙十一零點開始的10分鐘,是我們壓力最大的時候,我們會緊張地盯著壓力曲線,看看會不會抖,因為一抖就是數(shù)據(jù)庫出現(xiàn)了問題,只要過完這驚心動魄的十分鐘,我們就基本可以放心了。”阿里云智能數(shù)據(jù)庫產(chǎn)品事業(yè)部技術(shù)專家曹偉(花名:鳴嵩)表示。

面對每年雙十一不斷攀升的壓力,眼看AliSQL數(shù)據(jù)庫很快就接近能力極限。2015年阿里云決定研發(fā)自己的數(shù)據(jù)庫,兩年后的2017年10月份,阿里云宣布推出POLARDB,開始公測,2018年4月POLARDB正式對外商用。

阿里云的POLARDB是真正為云而生的數(shù)據(jù)庫,采用的是分布式共享存儲架構(gòu),計算與存儲分離,帶來數(shù)據(jù)庫的高可擴展性。由于計算與存儲的解耦,存儲可以通過RDMA高速網(wǎng)絡(luò)形成分布式存儲。正是由于采用了計算與存儲分離的架構(gòu)設(shè)計使得POLARDB的最大數(shù)據(jù)容量可以達到100TB,并發(fā)量也達到了MySQL的10倍以上。除了借助RDMA等網(wǎng)絡(luò)技術(shù)實現(xiàn)彈性伸縮能力之外,POLARDB還享受了很多現(xiàn)代技術(shù)的紅利。比如,POLARDB采用了傲騰內(nèi)存、GPU等等,從而帶來更好的性能表現(xiàn)。

談到POALRDB的特點,曹偉總結(jié)為三點:創(chuàng)新、開放和普惠。所謂創(chuàng)新是指POLARDB利用其誕生于云時代的后發(fā)優(yōu)勢大量采用了創(chuàng)新技術(shù),如上所述的存儲與計算分離、RDMA等。開放是指POLARDB充分兼容傳統(tǒng)數(shù)據(jù)庫包括Oracle、MySQL的生態(tài),讓MySQL、Oracle數(shù)據(jù)庫能一鍵遷移到POLARDB。成本是指POLARDB成本不到傳統(tǒng)數(shù)據(jù)庫的1/6,能讓用戶以更低成本享受到很大的容量、更高的TPS、很好的生態(tài)。

據(jù)阿里云的官方資料,目前不僅阿里的核心業(yè)務(wù)系統(tǒng)采用了POLARDB,中國郵政、銀泰百貨、北京公交IC卡系統(tǒng)等眾多頭部企業(yè)也都采用了POLARDB,其產(chǎn)品性能、穩(wěn)定性和可靠性等各種指標得到多方驗證,幫助客戶大幅降低了成本。比如,銀泰百貨等采用阿里云POLARDB替換傳統(tǒng)數(shù)據(jù)庫,僅數(shù)據(jù)庫一項就節(jié)省IT設(shè)施開銷超過千萬元人民幣。

OceanBase:9年磨一劍

與POLARDB相比,OceanBase起步更早。與POLARDB從一開始就定位在承載阿里的核心業(yè)務(wù)不同,OceanBase經(jīng)歷了更多波折,研發(fā)過程中幾經(jīng)“夭折”,甚至產(chǎn)品研發(fā)出來后一直進入不了核心業(yè)務(wù)系統(tǒng)。

OceanBase是一款真正面向高并發(fā)、大數(shù)據(jù)環(huán)境而生的分布式關(guān)系型數(shù)據(jù)庫,基于完全的分布式架構(gòu)設(shè)計和PAXOS協(xié)議。與POLAREDB和Oracle不同,OceanBase的工作方式是把原來集中存儲和處理的數(shù)據(jù)分散到不同的機器分別處理,避免了單純依賴分庫分表的分層設(shè)計中所缺失的全局一致及跨庫查詢等缺陷。OceanBase把所有與高可靠性及數(shù)據(jù)一致性相關(guān)的問題放在數(shù)據(jù)庫內(nèi)核層面解決,使得OceanBase即使架構(gòu)在普通PC服務(wù)器上也可以充分保證系統(tǒng)的可靠性、高可用、強一致、易用性、高性能、可擴展以及低成本。

而今年10月份對外公布的TPC-C的測試成績也表明,基于分布式架構(gòu)的OceanBase能夠與基于傳統(tǒng)的專業(yè)服務(wù)器、采用集中架構(gòu)的Oracle實現(xiàn)安同樣的功能,并且性能更好,成本更低。

OceanBase的研發(fā)始于2010年,2011年OceanBase就已經(jīng)參與了當年的“雙十一”活動,支持淘寶的收藏夾,用了三年,雖然表現(xiàn)不錯但一直沒有進入支付寶最核心的業(yè)務(wù)系統(tǒng)。原因也很簡單,支付寶的核心業(yè)務(wù)系統(tǒng)需要支持金融交易,要求穩(wěn)定、可靠,過去一直用的就是Oracle。對于一個新興的數(shù)據(jù)庫,即使是自己研發(fā)的,阿里也不敢輕易做出用OceanBase替換Oracle的決定。

直到2014年情況有了改變,當時的支付寶CTO終于做出了一個大膽的決策,提出當年“雙十一”至少給OceanBase 1%的業(yè)務(wù)流量。而另一個讓OceanBase研發(fā)人員感覺幸運的是,在當年對Oracle的壓力測試中,發(fā)現(xiàn)Oracle出現(xiàn)了抖動,這意味Oracle也并非無懈可擊。這一年的“雙十一”最后給OceanBase切了10%的流量,OceanBase沒有讓人失望。

一旦邁過了第一道門檻,有了第一次,后面的一切都順理成章了。

“在2014年之前大家都認為OceanBase這個自研數(shù)據(jù)庫不太靠譜,等到把業(yè)務(wù)由Oracle切換到OceanBase后,大家發(fā)現(xiàn)Oracle做的很多事情OceanBase也能干,只是需要給自研數(shù)據(jù)庫一個成長時間而已。” OceanBase研究員楊傳輝表示。

2015年,OceanBase替換了支付寶交易系統(tǒng)中的Oracle,承擔(dān)了100%的交易流量和50%的支付流量,2016年全面替換Oracle,擔(dān)負了100%的交易、100%的支付,這也就意味著在支付寶做的每一筆操作背后都是由OceanBase在執(zhí)行。

從2017年開始,OceanBase走上了商業(yè)化的道路,開始對外賦能,先在南京銀行上線。隨后,西安銀行、廣東農(nóng)信、人保健康險、招商證券、蘇州銀行、常熟農(nóng)商行等也在生產(chǎn)系統(tǒng)中使用OceanBase,OceanBase隨著螞蟻金服的金融科技開放,開始了向更多傳統(tǒng)金融賦能。

云數(shù)據(jù)庫是未來

回顧阿里云數(shù)據(jù)庫的成長,第一大推動力無疑是阿里自身的業(yè)務(wù)需求,尤其是“雙十一”。實際上,阿里早期也是傳統(tǒng)數(shù)據(jù)庫的使用者,隨著自身業(yè)務(wù)的不斷成長,遭遇到“數(shù)據(jù)庫”的瓶頸,在高額的成本和運維壓力之下才萌生了自研數(shù)據(jù)庫的需求,云原生POLARDB正是這樣誕生的。

另一方面,“雙十一”也給了數(shù)據(jù)庫一個難得的練兵機會,阿里電商“雙十一”在世界上絕無僅有,阿里云的數(shù)據(jù)庫必須經(jīng)受住“雙十一”海量數(shù)據(jù)和高并發(fā)的實戰(zhàn)考驗,正是世界級的業(yè)務(wù)壓力造就了世界級的數(shù)據(jù)庫產(chǎn)品。

過去近40年的時間里,我們從來沒有停止對國產(chǎn)數(shù)據(jù)庫的研發(fā),也涌現(xiàn)了像人大金倉、南大通用、達夢不少國產(chǎn)數(shù)據(jù)庫,但在市場上它們的存在感一直很弱,幾十年來沒有任何一個商業(yè)化國產(chǎn)數(shù)據(jù)庫產(chǎn)品能夠替代傳統(tǒng)高端數(shù)據(jù)庫。最終還是阿里在業(yè)務(wù)需求的驅(qū)動下實現(xiàn)了這一目標。背后的一個重要原因在于其他數(shù)據(jù)庫沒有像“雙十一”這樣真正練兵的機會。

“數(shù)據(jù)庫需要真實的業(yè)務(wù)來檢驗,沒人用系統(tǒng)就沒法成熟,系統(tǒng)不成熟就沒有業(yè)務(wù),這樣進入了一個惡性循環(huán),系統(tǒng)就很難真正做好。要跨過這個惡性循環(huán),自研數(shù)據(jù)庫可能需要5-10年的時間進行技術(shù)積累,同時需要有類似‘雙十一’這樣極端的業(yè)務(wù)場景。” 楊傳輝表示。

在阿里云數(shù)據(jù)庫成長過程中,除了獨一無二的“雙十一”,另一個重要原因是云計算的出現(xiàn),給了POLARDB、OceanBase這些新一代云數(shù)據(jù)庫戰(zhàn)勝傳統(tǒng)數(shù)據(jù)庫的機會,云計算充當了數(shù)據(jù)庫市場格局變化的推手。

阿里云智能數(shù)據(jù)庫事業(yè)部負責(zé)人李飛飛就認為,未來的數(shù)據(jù)庫一定是云原生數(shù)據(jù)庫。他說,云原生數(shù)據(jù)庫在成本、靈活度、安全、技術(shù)進化層面都優(yōu)于傳統(tǒng)數(shù)據(jù)庫,“傳統(tǒng)數(shù)據(jù)庫會像馬車一樣被更為先進的汽車即云原生數(shù)據(jù)庫淘汰。”

李飛飛并非在為自己的數(shù)據(jù)庫做宣傳。我們可以看到,伴隨云計算的普及,一浪高過一浪的企業(yè)上云風(fēng)潮讓越來越多的企業(yè)將應(yīng)用向云轉(zhuǎn)移,對數(shù)據(jù)存儲和計算分析的能力要求不斷加強,直接推高了企業(yè)對數(shù)據(jù)庫的新需求,比如海量、高并發(fā)、靈活擴展等。而作為因云而生的云原生數(shù)據(jù)庫,天然地具備云的各種靈活性,它把云計算的分布式、靈活擴展以及成本優(yōu)勢淋漓盡致地充分展示出來,從而能夠提供強大的創(chuàng)新能力、豐富多樣的產(chǎn)品體系、經(jīng)濟高效的部署方式和按需付費的支付模式。尤其是,在與傳統(tǒng)商用數(shù)據(jù)庫的競爭中,性價比更是成為一大殺手锏。比如POLARDB的使用成本不到傳統(tǒng)數(shù)據(jù)庫的1/6。正因為如此,云數(shù)據(jù)庫從一面市就受到客戶的認可。AWS的Aurora成為AWS歷史上增長速度最快的一項服務(wù)。POLARDB在阿里云2018年4月才開始商用,用戶反應(yīng)也非常正面,也是阿里云成長最快的業(yè)務(wù)之一。

星光不問趕路人,看阿里自研數(shù)據(jù)庫崛起之路 

“云數(shù)據(jù)庫是未來”并不只是云數(shù)據(jù)庫廠商的說法。Gartner在其發(fā)布的《The Future of the DatabaseManagement System (DBMS) Market Is Cloud》報告中明確提出,傳統(tǒng)的自己部署數(shù)據(jù)庫的方式已經(jīng)過時。云是未來,所有組織,無論大小都將越來越多地使用云數(shù)據(jù)庫。Gartner還預(yù)計,到2021年,云數(shù)據(jù)庫在整個數(shù)據(jù)庫市場中的占比將首次達到50%。而到2023年,75%的數(shù)據(jù)庫要跑在云平臺之上。

毫無疑問,數(shù)據(jù)庫市場格局正在發(fā)生巨變,而在這場事關(guān)數(shù)據(jù)庫未來新格局的爭奪中,阿里提前布局,勵精圖治,在數(shù)據(jù)庫領(lǐng)域默默耕耘近10年。“星光不問趕路人,時光不負有心人”,10年的努力終于贏得了回報。據(jù)Gartner統(tǒng)計,阿里云已位居全球云數(shù)據(jù)庫市場份額第三,年增速在115%。同期AWS增速為74%、Oracle為66%。我們希望阿里能夠再接再厲,賦予阿里云數(shù)據(jù)庫更強大的市場競爭力,為中國在數(shù)據(jù)庫領(lǐng)域贏得更多尊重和行業(yè)影響力,早日讓中國的數(shù)據(jù)庫真正走上世界舞臺中央。

【凡本網(wǎng)注明來源非中國IDC圈的作品,均轉(zhuǎn)載自其它媒體,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點和對其真實性負責(zé)。】

延伸閱讀:

  • T-Mobile啟動全美5G商用:低頻還是毫米波?消費者須在覆蓋與網(wǎng)速間做出選擇
  • 亞馬遜宣布與Verizon合作 云技術(shù)將擴展至5G網(wǎng)絡(luò)
  • 在混合云環(huán)境中提高高可用性的成本效益

標簽: 阿里 自研數(shù)據(jù) 

版權(quán)申明:本站文章部分自網(wǎng)絡(luò),如有侵權(quán),請聯(lián)系:west999com@outlook.com
特別注意:本站所有轉(zhuǎn)載文章言論不代表本站觀點!
本站所提供的圖片等素材,版權(quán)歸原作者所有,如需使用,請與原作者聯(lián)系。

上一篇:阿里數(shù)據(jù)科學(xué)家一次講透數(shù)據(jù)中臺

下一篇:機房運維重點在哪?