中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

阿里數(shù)據(jù)科學(xué)家一次講透數(shù)據(jù)中臺(tái)

2019-10-28    來(lái)源:raincent

容器云強(qiáng)勢(shì)上線!快速搭建集群,上萬(wàn)Linux鏡像隨意使用

 

來(lái)源:技術(shù)領(lǐng)導(dǎo)力社區(qū)

阿里大數(shù)據(jù)和人工智能科學(xué)家 行在,阿里公共數(shù)據(jù)平臺(tái)負(fù)責(zé)人 羅金鵬,在云棲大會(huì)、Data Tech等大會(huì)中分享到:阿里的“雙中臺(tái)+ET”數(shù)字化轉(zhuǎn)型方法論及成果,以及阿里數(shù)據(jù)中臺(tái)產(chǎn)品OneData、OneID、OneService、Dataphin的建設(shè)實(shí)踐。

本文整理了其中15頁(yè)P(yáng)PT精華濃縮,下面我們跟隨技術(shù)大咖,一起來(lái)學(xué)習(xí)阿里數(shù)據(jù)中臺(tái)的建設(shè)方法論、建設(shè)實(shí)踐、組織中臺(tái)如果支撐數(shù)據(jù)中臺(tái)、以及數(shù)據(jù)中臺(tái)建設(shè)分哪些步驟等等。

01、阿里數(shù)據(jù)中臺(tái)全景圖

 

 
阿里數(shù)據(jù)中臺(tái)在架構(gòu)的組成上,呈現(xiàn)了一個(gè)“四橫三縱”的結(jié)構(gòu),底層的基礎(chǔ)設(shè)施來(lái)自于阿里云平臺(tái)。

四橫。在這張架構(gòu)圖中,從下往上看,最下面的內(nèi)容主要數(shù)據(jù)采集和接入,按照業(yè)態(tài)接入數(shù)據(jù)(比如淘寶、天貓、盒馬等),我們把這些數(shù)據(jù)抽取到計(jì)算平臺(tái);通過(guò)OneData體系,以“業(yè)務(wù)板塊+分析維度”為架構(gòu)去構(gòu)建“公共數(shù)據(jù)中心”。

基于公共數(shù)據(jù)中心在上層根據(jù)業(yè)務(wù)需求進(jìn)行建設(shè):消費(fèi)者數(shù)據(jù)體系、企業(yè)數(shù)據(jù)體系、內(nèi)容數(shù)據(jù)體系等。

 

 

(圖片來(lái)源:云棲社區(qū))

經(jīng)過(guò)深度加工后,數(shù)據(jù)就可以發(fā)揮其價(jià)值被產(chǎn)品、業(yè)務(wù)所用;最后通過(guò)統(tǒng)一的數(shù)據(jù)服務(wù)中間件“OneService”提供統(tǒng)一數(shù)據(jù)服務(wù)。

 

三縱。為保證阿里巴巴整個(gè)數(shù)據(jù)體系的快速、高效、高質(zhì)量數(shù)據(jù)接入,需要有一套智能數(shù)據(jù)研發(fā)平臺(tái)來(lái)實(shí)現(xiàn),將理論及實(shí)踐過(guò)程,通過(guò)一整套的工具體系及研發(fā)流程去保障落地,確保每一個(gè)團(tuán)隊(duì),每一個(gè)BU,通過(guò)統(tǒng)一規(guī)則去建設(shè)數(shù)據(jù)體系;同時(shí),當(dāng)數(shù)據(jù)多了以后最直接問(wèn)題就是成本,因此我們還建立了統(tǒng)一的數(shù)據(jù)質(zhì)量管理平臺(tái)。

02、阿里“雙中臺(tái)”共同支撐的“大中臺(tái)+小前臺(tái)架構(gòu)”

 

 

阿里云的大數(shù)據(jù)和人工智能科學(xué)家--行在,在訪談中提到,阿里中臺(tái)主要體現(xiàn)為由業(yè)務(wù)中臺(tái)和數(shù)字中臺(tái)并肩構(gòu)成的雙中臺(tái),并肩扛起了所有前臺(tái)業(yè)務(wù)。

業(yè)務(wù)中臺(tái)將后臺(tái)資源進(jìn)行抽象包裝整合,轉(zhuǎn)化為前臺(tái)友好的可重用共享的核心能力,實(shí)現(xiàn)了后端業(yè)務(wù)資源到前臺(tái)易用能力的轉(zhuǎn)化。

 

數(shù)據(jù)中臺(tái)從后臺(tái)及業(yè)務(wù)中臺(tái)將數(shù)據(jù)流入,完成海量數(shù)據(jù)的存儲(chǔ)、計(jì)算、產(chǎn)品化包裝過(guò)程,構(gòu)成企業(yè)的核心數(shù)據(jù)能力,為前臺(tái)基于數(shù)據(jù)的定制化創(chuàng)新和業(yè)務(wù)中臺(tái)基于數(shù)據(jù)反饋的持續(xù)演進(jìn)提供了強(qiáng)大支撐。

 

 

業(yè)務(wù)中臺(tái)與數(shù)據(jù)中臺(tái)相輔相成、互相支撐,一起構(gòu)建起了戰(zhàn)場(chǎng)強(qiáng)大的后方炮火群和雷達(dá)陣。

03、阿里數(shù)據(jù)中臺(tái)OneData體系

 

 

OneData是阿里數(shù)據(jù)中臺(tái)的核心,阿里公共數(shù)據(jù)平臺(tái)負(fù)責(zé)人羅金鵬介紹,OneData體系建立的集團(tuán)數(shù)據(jù)公共層,從設(shè)計(jì)、開發(fā)、部署和使用上保障了數(shù)據(jù)口徑的規(guī)范和統(tǒng)一,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路管理,提供標(biāo)準(zhǔn)數(shù)據(jù)輸出。

統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)是一項(xiàng)非常復(fù)雜的工作,譬如,針對(duì)UV這一相同的指標(biāo),在統(tǒng)一之前阿里內(nèi)部竟然有10多種數(shù)據(jù)定義。據(jù)介紹,OneData數(shù)據(jù)公共層總共對(duì)30000多個(gè)數(shù)據(jù)指標(biāo)進(jìn)行了口徑的規(guī)范和統(tǒng)一,梳理后縮減為3000余個(gè)。

在DT時(shí)代,數(shù)據(jù)暴增對(duì)存儲(chǔ)計(jì)算成本帶來(lái)很大的挑戰(zhàn)。據(jù)羅金鵬介紹在沒有建設(shè)統(tǒng)一的數(shù)據(jù)公共層時(shí),阿里內(nèi)部服務(wù)器需求量會(huì)在5年之后達(dá)到現(xiàn)在的100倍之多。而經(jīng)過(guò)數(shù)據(jù)公共層的統(tǒng)一建設(shè),5年后的服務(wù)器需求量相對(duì)會(huì)節(jié)約90%。

 

 

阿里數(shù)據(jù)中臺(tái)之OneData也并非是“一次成型”的,它經(jīng)歷了三個(gè)階段的能力演進(jìn):

第一階段:完全應(yīng)用驅(qū)動(dòng)的時(shí)代。這個(gè)時(shí)期主要將數(shù)據(jù)以與源結(jié)構(gòu)相同的方式同步到Oracle,那時(shí)候的數(shù)據(jù)架構(gòu)只有兩層ODS+DSS,嚴(yán)格說(shuō)來(lái)基本只有一個(gè)ODS層,也基本沒有模型方法體系。

第二階段:隨著阿里業(yè)務(wù)的快速發(fā)展,數(shù)據(jù)量也在飛速增長(zhǎng),性能已經(jīng)是一個(gè)較大問(wèn)題,希望通過(guò)一些模型技術(shù)改變煙囪式的開發(fā)模型,消除一些冗余,提升數(shù)據(jù)的一致性,所以阿里引入了Greenplum。

第三階段:引入以hadoop為代表的分布式存儲(chǔ)計(jì)算平臺(tái),確立第三代模型架構(gòu)(OneData),核心CDM層都采用多維模型。選擇了以Kimball維度建模為核心理念的模型方法論,同時(shí)對(duì)其進(jìn)行了一定的升級(jí)和擴(kuò)展,構(gòu)建了阿里集團(tuán)的數(shù)據(jù)架構(gòu)體系。

04、數(shù)據(jù)中臺(tái)PasS層Dataphin

 

 

(圖片來(lái)源:云棲社區(qū))

在整個(gè)數(shù)據(jù)中臺(tái)模式中,PasS層產(chǎn)品Dataphin如引擎般存在,下到規(guī)劃數(shù)倉(cāng),上至輸出主題式服務(wù)。

有了Dataphin之后,種種數(shù)據(jù)問(wèn)題彈指間即可迎刃而解,它既可以保證數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范定義、數(shù)據(jù)模型設(shè)計(jì)即自動(dòng)化開發(fā)、主題式數(shù)據(jù)服務(wù)即時(shí)生成。

同時(shí)還能提供數(shù)據(jù)資產(chǎn)化管理的門戶,有效降低數(shù)倉(cāng)建設(shè)門檻,也提高生產(chǎn)效率、降低生產(chǎn)成本,輕松實(shí)現(xiàn)讓數(shù)據(jù)從成本中心真正變成價(jià)值中心,且可量化呈現(xiàn)。

05、Quick BI助力云上企業(yè)數(shù)據(jù)分析

 

 

大數(shù)據(jù)構(gòu)建與管理完畢之后,我們需要利用Quick BI這一智能數(shù)據(jù)與可視化組件將數(shù)據(jù)背后的價(jià)值展現(xiàn)在人們面前。

Quick BI扭轉(zhuǎn)了當(dāng)初重度依賴專業(yè)數(shù)據(jù)分析人才的局面,能夠賦予一線業(yè)務(wù)人員智能化的分析工具,真正的做到了“數(shù)據(jù)化運(yùn)營(yíng)”讓數(shù)據(jù)產(chǎn)生價(jià)值。

現(xiàn)在,越來(lái)越多的企業(yè)開始數(shù)據(jù)上云,也有的行業(yè)如政府、金融因?yàn)閲?yán)苛的安全需求而自建本地?cái)?shù)據(jù)庫(kù),導(dǎo)致企業(yè)出現(xiàn)數(shù)據(jù)分散式存儲(chǔ)的狀況。而Quick BI卻可以鏈接各種數(shù)據(jù)源,滿足云上和本地的不同需求,整合為可被統(tǒng)一調(diào)度的數(shù)據(jù)集。

06、阿里大數(shù)據(jù)能力框架

 

 

阿里巴巴提出的數(shù)據(jù)中臺(tái)模式,正是為解決問(wèn)題而生,并通過(guò)實(shí)踐形成了統(tǒng)一全域數(shù)據(jù)體系,實(shí)現(xiàn)了計(jì)算存儲(chǔ)累計(jì)過(guò)億的成本降低、響應(yīng)業(yè)務(wù)效率多倍提升、為業(yè)務(wù)快速創(chuàng)新提供堅(jiān)實(shí)保障。

全域數(shù)據(jù)采集與引入:以需求為驅(qū)動(dòng),以數(shù)據(jù)多樣性的全域思想為指導(dǎo),采集與引入全業(yè)務(wù)、多終端、多形態(tài)的數(shù)據(jù)。

標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)架構(gòu)與研發(fā):統(tǒng)一基礎(chǔ)層、公共中間層、百花齊放應(yīng)用層的數(shù)據(jù)分層架構(gòu)模式,通過(guò)數(shù)據(jù)指標(biāo)結(jié)構(gòu)化規(guī)范化的方式實(shí)現(xiàn)指標(biāo)口徑統(tǒng)一。

連接與深度萃取數(shù)據(jù)價(jià)值:形成以業(yè)務(wù)核心對(duì)象為中心的連接和標(biāo)簽體系,深度萃取數(shù)據(jù)價(jià)值。

統(tǒng)一數(shù)據(jù)資產(chǎn)管理:構(gòu)建元數(shù)據(jù)中心,通過(guò)資產(chǎn)分析、應(yīng)用、優(yōu)化、運(yùn)營(yíng)四方面對(duì)看清數(shù)據(jù)資產(chǎn)、降低數(shù)據(jù)管理成本、追蹤數(shù)據(jù)價(jià)值。

統(tǒng)一主題式服務(wù):通過(guò)構(gòu)建服務(wù)元數(shù)據(jù)中心和數(shù)據(jù)服務(wù)查詢引擎,面向業(yè)務(wù)統(tǒng)一數(shù)據(jù)出口與數(shù)據(jù)查詢邏輯,屏蔽多數(shù)據(jù)源與多物理表。

 

 

極大的豐富和完善了阿里巴巴大數(shù)據(jù)中心,OneData、OneID、OneService漸趨成熟并成為上至CEO、下至一線員工共識(shí)的方法論體系。

07、阿里數(shù)據(jù)中臺(tái)演進(jìn)的四個(gè)階段

 

 

阿里巴巴的數(shù)據(jù)處理經(jīng)歷了四個(gè)階段,分別是:

一. 數(shù)據(jù)庫(kù)階段,主要是OLTP(聯(lián)機(jī)事務(wù)處理)的需求;

二. 數(shù)據(jù)倉(cāng)庫(kù)階段,OLAP(聯(lián)機(jī)分析處理)成為主要需求;

三. 數(shù)據(jù)平臺(tái)階段,主要解決BI和報(bào)表需求的技術(shù)問(wèn)題;

四. 數(shù)據(jù)中臺(tái)階段,通過(guò)系統(tǒng)來(lái)對(duì)接OLTP(事務(wù)處理)和OLAP(報(bào)表分析)的需求,強(qiáng)調(diào)數(shù)據(jù)業(yè)務(wù)化的能力。

08、數(shù)據(jù)中臺(tái)的建設(shè)步驟

 

 

第一,組織架構(gòu)升級(jí)。比如以前負(fù)責(zé)數(shù)據(jù)的部門或團(tuán)隊(duì)往往缺乏話語(yǔ)權(quán),面對(duì)業(yè)務(wù)需求往往是被動(dòng)的接受的角色,這讓一切數(shù)據(jù)中臺(tái)的想法化為泡影,需要為數(shù)據(jù)中臺(tái)團(tuán)隊(duì)授權(quán)。

第二,工作方式的改變,F(xiàn)在很多企業(yè)的數(shù)據(jù)團(tuán)隊(duì)的主要工作內(nèi)容就是項(xiàng)目管理、需求管理等等,當(dāng)一個(gè)項(xiàng)目完成后又投入到下一個(gè)項(xiàng)目,做好一個(gè)需求后又開始負(fù)責(zé)下一個(gè)需求,這樣的工作確實(shí)非常鍛煉人的組織、協(xié)調(diào)能力,但這樣能力的提升與工作時(shí)間的長(zhǎng)短并不是呈線性增長(zhǎng)的,雖然增加了項(xiàng)目和需求管理經(jīng)驗(yàn),但并不能在某一個(gè)專業(yè)領(lǐng)域得到知識(shí)和經(jīng)驗(yàn)的沉淀,隨著時(shí)間的流逝,越來(lái)越多的人會(huì)失去最初的工作積極性和創(chuàng)造性,事實(shí)上,數(shù)據(jù)人員只有深入的研究業(yè)務(wù)、數(shù)據(jù)和模型,端到端的去實(shí)踐,打造出數(shù)據(jù)中臺(tái),才是最大的價(jià)值創(chuàng)造,才能使得持續(xù)創(chuàng)新成為可能

第三,角色的轉(zhuǎn)換。數(shù)據(jù)中臺(tái)的團(tuán)隊(duì)要從傳統(tǒng)的支撐角色逐步向運(yùn)營(yíng)轉(zhuǎn)變,不僅在數(shù)據(jù)上,在業(yè)務(wù)上也要努力趕超業(yè)務(wù)人員,中臺(tái)人員要逐步建立起對(duì)于業(yè)務(wù)的話語(yǔ)權(quán),不僅僅是接受需求的角色,更要能提出合理的建議,能為業(yè)務(wù)帶來(lái)新的增長(zhǎng)點(diǎn),比如數(shù)據(jù)驅(qū)動(dòng)營(yíng)銷。

第四,適合企業(yè)特點(diǎn)。好的中臺(tái)是當(dāng)你深入了解業(yè)務(wù)、產(chǎn)品、系統(tǒng)、組織,而且不僅了解今天在哪里,還要了解過(guò)去是怎么演變而來(lái),未來(lái)又會(huì)怎么演化。只有當(dāng)了解所有的東西之后,才能做出較好的中臺(tái)架構(gòu)設(shè)計(jì)。

09、阿里中臺(tái)建設(shè)方法論

 

 

中臺(tái)建設(shè)的基礎(chǔ)協(xié)議

就是要根據(jù)我們對(duì)商業(yè)的理解,把一些基礎(chǔ)協(xié)議梳理出來(lái)。例如什么是業(yè)務(wù)?什么是業(yè)務(wù)身份?各個(gè)業(yè)務(wù)領(lǐng)域的邊界是什么?每個(gè)領(lǐng)域提供的基礎(chǔ)服務(wù)是什么?再在這些思想的指導(dǎo)下去建立業(yè)務(wù)平臺(tái)化的實(shí)施標(biāo)準(zhǔn)和業(yè)務(wù)管控標(biāo)準(zhǔn)。

中臺(tái)的基礎(chǔ)設(shè)施:中心化控制單元

就是運(yùn)營(yíng)平臺(tái),它主要由協(xié)議標(biāo)準(zhǔn)、能力地圖、業(yè)務(wù)需求結(jié)構(gòu)分解、全局業(yè)務(wù)身份、業(yè)務(wù)全景圖、業(yè)務(wù)度量等構(gòu)成。能讓我們有一個(gè)地方縱觀全局,把控細(xì)節(jié)。

10、阿里的組織中臺(tái):數(shù)據(jù)中臺(tái)的組織保證

 

 

亞當(dāng)斯密出版了《國(guó)富論》,與此同時(shí),瓦特改良了蒸汽機(jī),社會(huì)大分工理論與工業(yè)革命相生相伴,在人類文明史上寫下了濃墨重彩的一筆。

金字塔式的科層制,伴隨著工業(yè)文明成為組織的核心底層邏輯,在強(qiáng)調(diào)秩序和大規(guī)模高效率生產(chǎn)的工業(yè)時(shí)代,甚至是強(qiáng)調(diào)如臂使指的軍隊(duì)組織,科層制(官僚制)是保證自上而下的命令得到有力執(zhí)行的高效組織架構(gòu)。

隨著互聯(lián)網(wǎng)時(shí)代的到來(lái),消費(fèi)者的需求被極大釋放,工業(yè)時(shí)代的大規(guī)模生產(chǎn)方式受到了挑戰(zhàn),轉(zhuǎn)而向“大規(guī)模定制”的生產(chǎn)方式轉(zhuǎn)型,傳統(tǒng)的科層制是建立在大規(guī)模生產(chǎn)基礎(chǔ)上的,因此也面臨組織模式轉(zhuǎn)換,向扁平化、自組織的方式轉(zhuǎn)變。

而中臺(tái)建設(shè)真正困難的是組織上的重構(gòu),這往往是大家有意無(wú)意避而不談的。

中臺(tái)戰(zhàn)略的成功、能否實(shí)現(xiàn)技術(shù)架構(gòu)與組織架構(gòu)的匹配,是一道繞不過(guò)去、但必須要邁過(guò)的門檻。從阿里成立共享事業(yè)部,海爾的人單合一、職能并聯(lián),到近期大家關(guān)注的騰訊的組織架構(gòu)重構(gòu)都是這些企業(yè)在這方面做出的努力。

11、本文要點(diǎn)小結(jié)

1、阿里數(shù)據(jù)中臺(tái)全景圖。阿里數(shù)據(jù)中臺(tái)在架構(gòu)的組成上,呈現(xiàn)了一個(gè)“四橫三縱”的結(jié)構(gòu),底層的基礎(chǔ)設(shè)施來(lái)自于阿里云平臺(tái)。

2、阿里“雙中臺(tái)”共同支撐的“大中臺(tái)+小前臺(tái)”架構(gòu)。業(yè)務(wù)中臺(tái)與數(shù)據(jù)中臺(tái)相輔相成、互相支撐,一起構(gòu)建起了戰(zhàn)場(chǎng)強(qiáng)大的后方炮火群和雷達(dá)陣。

3、阿里數(shù)據(jù)中臺(tái)OneData體系。OneData體系建立的集團(tuán)數(shù)據(jù)公共層,從設(shè)計(jì)、開發(fā)、部署和使用上保障了數(shù)據(jù)口徑的規(guī)范和統(tǒng)一,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路管理,提供標(biāo)準(zhǔn)數(shù)據(jù)輸出。

4、數(shù)據(jù)中臺(tái)PasS層Dataphin。PasS層產(chǎn)品Dataphin如引擎般存在,下到規(guī)劃數(shù)倉(cāng),上至輸出主題式服務(wù)。

5、Quick BI助力云上企業(yè)數(shù)據(jù)分析。能夠賦予一線業(yè)務(wù)人員智能化的分析工具,真正的做到了“數(shù)據(jù)化運(yùn)營(yíng)”讓數(shù)據(jù)產(chǎn)生價(jià)值。

6、阿里大數(shù)據(jù)能力框架。數(shù)據(jù)中臺(tái)極大的豐富和完善了阿里巴巴大數(shù)據(jù)中心,OneData、OneID、OneService漸趨成熟并成為上至CEO、下至一線員工共識(shí)的方法論體系。

7、阿里數(shù)據(jù)中臺(tái)演進(jìn)的四個(gè)階段。數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)。

8、數(shù)據(jù)中臺(tái)的建設(shè)步驟。組織架構(gòu)升級(jí)、工作方式的改變、角色的轉(zhuǎn)換、適合企業(yè)特點(diǎn)。

9、阿里中臺(tái)建設(shè)方法論。中臺(tái)建設(shè)和基礎(chǔ)協(xié)議、中心化操控單元。

10、阿里的組織中臺(tái):數(shù)據(jù)中臺(tái)的組織保證。阿里人力三支柱、公共事業(yè)部的組織架構(gòu)升級(jí)。

標(biāo)簽: 數(shù)據(jù) 蒲Ъ

版權(quán)申明:本站文章部分自網(wǎng)絡(luò),如有侵權(quán),請(qǐng)聯(lián)系:west999com@outlook.com
特別注意:本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)!
本站所提供的圖片等素材,版權(quán)歸原作者所有,如需使用,請(qǐng)與原作者聯(lián)系。

上一篇:十個(gè)技巧,讓你成為數(shù)據(jù)分析中的“降維”專家

下一篇:是德科技1分錢投標(biāo)移動(dòng)5G項(xiàng)目失敗