中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

星光不問趕路人,看阿里自研數據庫崛起之路

2020-01-15    來源:天下數據IDC資訊

容器云強勢上線!快速搭建集群,上萬Linux鏡像隨意使用

2019年的“雙十一”已經落下帷幕。天貓“雙十一”實時成交額再創(chuàng)新高,達到2684億元人民幣。阿里旗下的兩款自研數據庫POLARDB和OceanBase表現也非常優(yōu)秀,POLARDB最高峰TPS達到8700萬次/秒,OceanBase達到6100萬次/秒,創(chuàng)下數據庫的新記錄?棺∪绱舜蟛l(fā)流量的壓力,充分證明這兩個數據庫的可靠性與穩(wěn)定值得信賴。

應該說,這一切并不令人意外,今年10月份阿里自研數據庫已經給了我們一次大大的驚喜,OceanBase刷新了甲骨文在TPC-C排行榜保持9年第一的記錄,完成了登頂。同樣,POLARDB在與同類競爭對手的對比中,也表現亮眼。在Gartner公布的2019年全球數據庫魔力象限評選中,作為國內數據庫市場份額第一的廠商,阿里云成功進入“挑戰(zhàn)者”象限,連續(xù)兩年作為唯一中國企業(yè)入選。在Forrester發(fā)布的數據庫評估報告《The Forrester Wave:Database-As-A-Service,Q2 2019》中,阿里云數據庫也躋身“強勁表現者”陣營。

星光不問趕路人,看阿里自研數據庫崛起之路

眾所周知,在數據庫領域從來都是甲骨文(Oracle)、IBM(DB2)、微軟(SQL Server)等國外巨頭的天下,壟斷市場超過30年,此前中國的數據庫從來沒有在Gartner的魔力象限上出現過。雖然這些年我們從來沒有放棄過研發(fā)自己的數據庫的努力,但在市場上幾乎感受不到國產數據庫的存在。一直等到阿里POLAREDB和OceanBase,中國的數據庫才終于有了自己的一席之地,實屬難得。

回頭看阿里云數據庫的這一段歷史,一路走來歷經波折,非常不易,但在阿里技術人員的堅持和阿里高層堅定不移的支持下,終于迎來了今天的成績,為中國人在科技領域贏得了榮譽。這一段歷史不僅值得阿里人記憶同時也值得中國IT人好好銘記和回味。

2009年的那一場行動

2009年,在阿里巴巴的發(fā)展歷史上絕對是值得大書一筆的一年。這一年,阿里云的飛天操作系統寫下了第一行代碼,它揭開了中國云計算產業(yè)的新篇章,也是在這一年,阿里集團啟動了去“IOE”行動,此舉同樣給阿里乃至整個中國的IT行業(yè)帶來深遠影響。

“IOE”三個字母分別代表IBM、 Oracle和 EMC 。當時IBM的小型機、Oracle的數據庫、EMC的存儲是企業(yè)IT系統的主要擔當,它們代表了穩(wěn)定、可靠,但是價格昂貴。去“IOE”就是用開放、便宜、通用設備來取代這些封閉、昂貴的專用設備。

那些年,隨著阿里巴巴業(yè)務(當時主要有B2B網站、淘寶、支付寶)的快速擴張,每年新采購設備費用和舊系統的維護費越來越大,更為重要的是,這些設備和系統就像一個個黑盒子,一旦出現故障必須等待廠商的技術人員來解決;四敲炊噱X,還被人“卡著脖子”這是阿里巴巴所不能接受的。2009年,忍無可忍的阿里人決定把命運掌握在自己手里,這才有了去“IOE”。

在“IOE”中最難去的就是“O”,也就是Oracle數據庫。因為Oracle數據庫中保存的是企業(yè)最核心和最寶貴的資產——數據。更換數據庫不僅意味著要面臨數據遷移時損壞和丟失的風險,還意味著上層軟件代碼重寫。更為要命的是,Oracle數據庫是當時技術最先進的數據庫,如果Oracle不行,哪個數據庫行?在2009年,阿里 Oracle RAC 集群節(jié)點數達到了創(chuàng)記錄的20個,成為亞洲第一,這樣的數據量換到哪個數據庫能抗得。

沒有其他選擇的阿里對開源數據庫MySQL進行修改以滿足淘寶的業(yè)務需要,這就是今天的AliSQL的雛形,后來發(fā)現這并不能徹底解決阿里面臨的挑戰(zhàn),不得不啟動了數據庫的自研之路,這才有了今天的POLARDB和OceanBase。

阿里去“IOE”的過程歷時超過3年,一直到2011年7月,淘寶商品庫完成了從 Oracle 到 AliSQL 的大遷移,2012年全淘寶最后一臺小型機宣布下線,阿里的去“IOE”取得初步成功。2013年支付寶最后一臺小型機下線,這也是阿里巴巴全集團最后一臺小型機下線,阿里歷時三年多的去“IOE”基本告一段落。在此過程中阿里自研數據庫功不可沒。

POLARDB:為云而生

當年阿里決定“去IOE”時,市場上除了Oracle外其實沒有哪個數據庫能滿足淘寶的業(yè)務要求,最后換成MySQL是不得已。MySQL是使用最廣泛的開源數據庫,最重要的是阿里可以拿到源代碼,這樣就可以按照自己的應用場景對代碼進行修改和改進。

阿里技術人員對MySQL數據庫按照自己的業(yè)務要求進行了修改和改進,增加了不少原來沒有的功能,AliSQL由此誕生。到2013年,阿里的“雙十一”就已經完全靠AliSQL來支撐了,但是每一年阿里的“雙十一”交易量都會有比較大的增長。尤其是每年“雙十一”零點的峰值來得越來越猛烈,而且?guī)缀跏撬查g上去的(今年“雙十一”數據庫壓力達到了正常值122倍),一直要持續(xù)10分鐘,再開始逐步遞減。這種高峰時的高并發(fā)流量是對數據庫的最大考驗。

“每年雙十一零點開始的10分鐘,是我們壓力最大的時候,我們會緊張地盯著壓力曲線,看看會不會抖,因為一抖就是數據庫出現了問題,只要過完這驚心動魄的十分鐘,我們就基本可以放心了。”阿里云智能數據庫產品事業(yè)部技術專家曹偉(花名:鳴嵩)表示。

面對每年雙十一不斷攀升的壓力,眼看AliSQL數據庫很快就接近能力極限。2015年阿里云決定研發(fā)自己的數據庫,兩年后的2017年10月份,阿里云宣布推出POLARDB,開始公測,2018年4月POLARDB正式對外商用。

阿里云的POLARDB是真正為云而生的數據庫,采用的是分布式共享存儲架構,計算與存儲分離,帶來數據庫的高可擴展性。由于計算與存儲的解耦,存儲可以通過RDMA高速網絡形成分布式存儲。正是由于采用了計算與存儲分離的架構設計使得POLARDB的最大數據容量可以達到100TB,并發(fā)量也達到了MySQL的10倍以上。除了借助RDMA等網絡技術實現彈性伸縮能力之外,POLARDB還享受了很多現代技術的紅利。比如,POLARDB采用了傲騰內存、GPU等等,從而帶來更好的性能表現。

談到POALRDB的特點,曹偉總結為三點:創(chuàng)新、開放和普惠。所謂創(chuàng)新是指POLARDB利用其誕生于云時代的后發(fā)優(yōu)勢大量采用了創(chuàng)新技術,如上所述的存儲與計算分離、RDMA等。開放是指POLARDB充分兼容傳統數據庫包括Oracle、MySQL的生態(tài),讓MySQL、Oracle數據庫能一鍵遷移到POLARDB。成本是指POLARDB成本不到傳統數據庫的1/6,能讓用戶以更低成本享受到很大的容量、更高的TPS、很好的生態(tài)。

據阿里云的官方資料,目前不僅阿里的核心業(yè)務系統采用了POLARDB,中國郵政、銀泰百貨、北京公交IC卡系統等眾多頭部企業(yè)也都采用了POLARDB,其產品性能、穩(wěn)定性和可靠性等各種指標得到多方驗證,幫助客戶大幅降低了成本。比如,銀泰百貨等采用阿里云POLARDB替換傳統數據庫,僅數據庫一項就節(jié)省IT設施開銷超過千萬元人民幣。

OceanBase:9年磨一劍

與POLARDB相比,OceanBase起步更早。與POLARDB從一開始就定位在承載阿里的核心業(yè)務不同,OceanBase經歷了更多波折,研發(fā)過程中幾經“夭折”,甚至產品研發(fā)出來后一直進入不了核心業(yè)務系統。

OceanBase是一款真正面向高并發(fā)、大數據環(huán)境而生的分布式關系型數據庫,基于完全的分布式架構設計和PAXOS協議。與POLAREDB和Oracle不同,OceanBase的工作方式是把原來集中存儲和處理的數據分散到不同的機器分別處理,避免了單純依賴分庫分表的分層設計中所缺失的全局一致及跨庫查詢等缺陷。OceanBase把所有與高可靠性及數據一致性相關的問題放在數據庫內核層面解決,使得OceanBase即使架構在普通PC服務器上也可以充分保證系統的可靠性、高可用、強一致、易用性、高性能、可擴展以及低成本。

而今年10月份對外公布的TPC-C的測試成績也表明,基于分布式架構的OceanBase能夠與基于傳統的專業(yè)服務器、采用集中架構的Oracle實現安同樣的功能,并且性能更好,成本更低。

OceanBase的研發(fā)始于2010年,2011年OceanBase就已經參與了當年的“雙十一”活動,支持淘寶的收藏夾,用了三年,雖然表現不錯但一直沒有進入支付寶最核心的業(yè)務系統。原因也很簡單,支付寶的核心業(yè)務系統需要支持金融交易,要求穩(wěn)定、可靠,過去一直用的就是Oracle。對于一個新興的數據庫,即使是自己研發(fā)的,阿里也不敢輕易做出用OceanBase替換Oracle的決定。

直到2014年情況有了改變,當時的支付寶CTO終于做出了一個大膽的決策,提出當年“雙十一”至少給OceanBase 1%的業(yè)務流量。而另一個讓OceanBase研發(fā)人員感覺幸運的是,在當年對Oracle的壓力測試中,發(fā)現Oracle出現了抖動,這意味Oracle也并非無懈可擊。這一年的“雙十一”最后給OceanBase切了10%的流量,OceanBase沒有讓人失望。

一旦邁過了第一道門檻,有了第一次,后面的一切都順理成章了。

“在2014年之前大家都認為OceanBase這個自研數據庫不太靠譜,等到把業(yè)務由Oracle切換到OceanBase后,大家發(fā)現Oracle做的很多事情OceanBase也能干,只是需要給自研數據庫一個成長時間而已。” OceanBase研究員楊傳輝表示。

2015年,OceanBase替換了支付寶交易系統中的Oracle,承擔了100%的交易流量和50%的支付流量,2016年全面替換Oracle,擔負了100%的交易、100%的支付,這也就意味著在支付寶做的每一筆操作背后都是由OceanBase在執(zhí)行。

從2017年開始,OceanBase走上了商業(yè)化的道路,開始對外賦能,先在南京銀行上線。隨后,西安銀行、廣東農信、人保健康險、招商證券、蘇州銀行、常熟農商行等也在生產系統中使用OceanBase,OceanBase隨著螞蟻金服的金融科技開放,開始了向更多傳統金融賦能。

云數據庫是未來

回顧阿里云數據庫的成長,第一大推動力無疑是阿里自身的業(yè)務需求,尤其是“雙十一”。實際上,阿里早期也是傳統數據庫的使用者,隨著自身業(yè)務的不斷成長,遭遇到“數據庫”的瓶頸,在高額的成本和運維壓力之下才萌生了自研數據庫的需求,云原生POLARDB正是這樣誕生的。

另一方面,“雙十一”也給了數據庫一個難得的練兵機會,阿里電商“雙十一”在世界上絕無僅有,阿里云的數據庫必須經受住“雙十一”海量數據和高并發(fā)的實戰(zhàn)考驗,正是世界級的業(yè)務壓力造就了世界級的數據庫產品。

過去近40年的時間里,我們從來沒有停止對國產數據庫的研發(fā),也涌現了像人大金倉、南大通用、達夢不少國產數據庫,但在市場上它們的存在感一直很弱,幾十年來沒有任何一個商業(yè)化國產數據庫產品能夠替代傳統高端數據庫。最終還是阿里在業(yè)務需求的驅動下實現了這一目標。背后的一個重要原因在于其他數據庫沒有像“雙十一”這樣真正練兵的機會。

“數據庫需要真實的業(yè)務來檢驗,沒人用系統就沒法成熟,系統不成熟就沒有業(yè)務,這樣進入了一個惡性循環(huán),系統就很難真正做好。要跨過這個惡性循環(huán),自研數據庫可能需要5-10年的時間進行技術積累,同時需要有類似‘雙十一’這樣極端的業(yè)務場景。” 楊傳輝表示。

在阿里云數據庫成長過程中,除了獨一無二的“雙十一”,另一個重要原因是云計算的出現,給了POLARDB、OceanBase這些新一代云數據庫戰(zhàn)勝傳統數據庫的機會,云計算充當了數據庫市場格局變化的推手。

阿里云智能數據庫事業(yè)部負責人李飛飛就認為,未來的數據庫一定是云原生數據庫。他說,云原生數據庫在成本、靈活度、安全、技術進化層面都優(yōu)于傳統數據庫,“傳統數據庫會像馬車一樣被更為先進的汽車即云原生數據庫淘汰。”

李飛飛并非在為自己的數據庫做宣傳。我們可以看到,伴隨云計算的普及,一浪高過一浪的企業(yè)上云風潮讓越來越多的企業(yè)將應用向云轉移,對數據存儲和計算分析的能力要求不斷加強,直接推高了企業(yè)對數據庫的新需求,比如海量、高并發(fā)、靈活擴展等。而作為因云而生的云原生數據庫,天然地具備云的各種靈活性,它把云計算的分布式、靈活擴展以及成本優(yōu)勢淋漓盡致地充分展示出來,從而能夠提供強大的創(chuàng)新能力、豐富多樣的產品體系、經濟高效的部署方式和按需付費的支付模式。尤其是,在與傳統商用數據庫的競爭中,性價比更是成為一大殺手锏。比如POLARDB的使用成本不到傳統數據庫的1/6。正因為如此,云數據庫從一面市就受到客戶的認可。AWS的Aurora成為AWS歷史上增長速度最快的一項服務。POLARDB在阿里云2018年4月才開始商用,用戶反應也非常正面,也是阿里云成長最快的業(yè)務之一。

星光不問趕路人,看阿里自研數據庫崛起之路 

“云數據庫是未來”并不只是云數據庫廠商的說法。Gartner在其發(fā)布的《The Future of the DatabaseManagement System (DBMS) Market Is Cloud》報告中明確提出,傳統的自己部署數據庫的方式已經過時。云是未來,所有組織,無論大小都將越來越多地使用云數據庫。Gartner還預計,到2021年,云數據庫在整個數據庫市場中的占比將首次達到50%。而到2023年,75%的數據庫要跑在云平臺之上。

毫無疑問,數據庫市場格局正在發(fā)生巨變,而在這場事關數據庫未來新格局的爭奪中,阿里提前布局,勵精圖治,在數據庫領域默默耕耘近10年。“星光不問趕路人,時光不負有心人”,10年的努力終于贏得了回報。據Gartner統計,阿里云已位居全球云數據庫市場份額第三,年增速在115%。同期AWS增速為74%、Oracle為66%。我們希望阿里能夠再接再厲,賦予阿里云數據庫更強大的市場競爭力,為中國在數據庫領域贏得更多尊重和行業(yè)影響力,早日讓中國的數據庫真正走上世界舞臺中央。

【凡本網注明來源非中國IDC圈的作品,均轉載自其它媒體,目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責。】

延伸閱讀:

  • T-Mobile啟動全美5G商用:低頻還是毫米波?消費者須在覆蓋與網速間做出選擇
  • 亞馬遜宣布與Verizon合作 云技術將擴展至5G網絡
  • 在混合云環(huán)境中提高高可用性的成本效益

標簽: 阿里 自研數據 

版權申明:本站文章部分自網絡,如有侵權,請聯系:west999com@outlook.com
特別注意:本站所有轉載文章言論不代表本站觀點!
本站所提供的圖片等素材,版權歸原作者所有,如需使用,請與原作者聯系。

上一篇:道德黑客如何為企業(yè)加強數據中心安全性

下一篇:9102年,給數據中心加點“料”?—不可錯過的