在美團(tuán)點(diǎn)評(píng)酒旅事業(yè)群內(nèi)，業(yè)務(wù)由傳統(tǒng)的團(tuán)購(gòu)形式轉(zhuǎn)向預(yù)訂、直連等更加豐富的產(chǎn)品形式，業(yè)務(wù)系統(tǒng)也在迅速的迭代變化，這些都對(duì)數(shù)據(jù)倉(cāng)庫(kù)的擴(kuò)展性、穩(wěn)定性、易用性提出了更高要求。對(duì)此，我們采取了分層次、分主題的方式，本文將分享這一過(guò)程中的一些經(jīng)驗(yàn)。

技術(shù)架構(gòu)

隨著美團(tuán)點(diǎn)評(píng)整體的系統(tǒng)架構(gòu)調(diào)整，我們?cè)诜謱哟谓ㄔO(shè)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中，不斷優(yōu)化并調(diào)整我們的層次結(jié)構(gòu)，下圖展示了技術(shù)架構(gòu)的變遷。

我們把它們簡(jiǎn)稱(chēng)為三代數(shù)倉(cāng)模型層次。在第一代數(shù)倉(cāng)模型層次中，由于當(dāng)時(shí)美團(tuán)整體的業(yè)務(wù)系統(tǒng)所支持的產(chǎn)品形式比較單一（團(tuán)購(gòu)），業(yè)務(wù)系統(tǒng)中包含了所有業(yè)務(wù)品類(lèi)的數(shù)據(jù)，所以由平臺(tái)的角色來(lái)加工數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)層是非常合適的，平臺(tái)統(tǒng)一建設(shè)，支持各個(gè)業(yè)務(wù)線(xiàn)使用，所以在本階段中我們酒旅只是建立了一個(gè)相對(duì)比較簡(jiǎn)單的數(shù)據(jù)集市。

但隨著美團(tuán)原本集中的業(yè)務(wù)系統(tǒng)不能快速響應(yīng)各個(gè)業(yè)務(wù)線(xiàn)迅速的發(fā)展與業(yè)務(wù)變化時(shí)，酒旅中的酒店業(yè)務(wù)線(xiàn)開(kāi)始有了自己的業(yè)務(wù)系統(tǒng)來(lái)支持預(yù)訂、房惠、團(tuán)購(gòu)、直連等產(chǎn)品形式，境內(nèi)度假業(yè)務(wù)線(xiàn)也開(kāi)始有了自己的業(yè)務(wù)系統(tǒng)來(lái)支持門(mén)票預(yù)訂、門(mén)票直連、跟團(tuán)游等復(fù)雜業(yè)務(wù)。我們開(kāi)始了第二代數(shù)倉(cāng)模型層次的建設(shè)，由建設(shè)數(shù)據(jù)集市的形式轉(zhuǎn)變成了直接建設(shè)酒旅數(shù)據(jù)倉(cāng)庫(kù)，成為了酒旅自身業(yè)務(wù)系統(tǒng)數(shù)據(jù)的唯一加工者。由于系統(tǒng)調(diào)整初期給我們帶來(lái)的重構(gòu)、修改以及新增等數(shù)據(jù)處理工作非常大，我們采用了比較短平快的Kimball所提的維度建模的方式建設(shè)了酒旅數(shù)據(jù)倉(cāng)庫(kù)。

在第二代數(shù)倉(cāng)模型層次運(yùn)轉(zhuǎn)一段時(shí)間后，我們的業(yè)務(wù)又迎來(lái)了一個(gè)巨大的變化，上海團(tuán)隊(duì)和我們?nèi)诤狭耍�同時(shí)我們酒旅自身的業(yè)務(wù)系統(tǒng)重構(gòu)的頻率相對(duì)較高，對(duì)我們的數(shù)倉(cāng)模型穩(wěn)定性造成了非常大的影響，原本的維度模型非常難適配這么迅速的變化。下圖就是我們數(shù)倉(cāng)模型當(dāng)時(shí)所面臨的挑戰(zhàn)：

于是我們?cè)贠DS與多維明細(xì)層中間加入了數(shù)據(jù)整合層，參照Bill Inmon所提出的企業(yè)信息工廠(chǎng)建設(shè)的模式，基本按照三范式的原則來(lái)進(jìn)行數(shù)據(jù)整合，由業(yè)務(wù)驅(qū)動(dòng)調(diào)整成了由技術(shù)驅(qū)動(dòng)的方式來(lái)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)層。下圖是該層次的一些描述：

使用本基礎(chǔ)層的最根本出發(fā)點(diǎn)還是在于我們的供應(yīng)鏈、業(yè)務(wù)、數(shù)據(jù)它們本身的多樣性，如果業(yè)務(wù)、數(shù)據(jù)相對(duì)比較單一、簡(jiǎn)單，本層次的架構(gòu)方案很可能將不再適用。

業(yè)務(wù)架構(gòu)

下面介紹我們的主題建設(shè)，實(shí)際上在傳統(tǒng)的一些如銀行、制造業(yè)、電信、零售等行業(yè)里，都有一些比較成熟的模型，如耳熟能詳?shù)腂DWM、FS-LDM、MLDM等等模型，它們都是經(jīng)過(guò)一些具有相類(lèi)似行業(yè)的企業(yè)在二三十年數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中所積累的行業(yè)經(jīng)驗(yàn)，不斷的優(yōu)化并通用化。但我們所處的O2O行業(yè)本身就沒(méi)有可借鑒的成熟的數(shù)據(jù)倉(cāng)庫(kù)主題以及模型，所以，我們?cè)诿�索建設(shè)兩年的時(shí)間里，我們目前總結(jié)了下面比較適合我們現(xiàn)狀的七大主題（后續(xù)可能還會(huì)新增）：

參與人主題

用戶(hù)子主題：使用我們服務(wù)的所有人都是我們的用戶(hù)，這是我們數(shù)據(jù)中至關(guān)重要的實(shí)體，也是我們數(shù)倉(cāng)中非常重要的一個(gè)主題，對(duì)用戶(hù)數(shù)據(jù)的系統(tǒng)化建設(shè)能夠很好的幫助我們企業(yè)快速的發(fā)展，不斷提高用戶(hù)的體驗(yàn)、擴(kuò)大我們的用戶(hù)群。

BD子主題：通過(guò)BD的業(yè)務(wù)擴(kuò)展，建立我們與商戶(hù)之間的關(guān)系，讓用戶(hù)通過(guò)我們的服務(wù)訪(fǎng)問(wèn)到商戶(hù)所發(fā)布的信息，對(duì)BD數(shù)據(jù)的建設(shè)，能夠讓我們的商戶(hù)覆蓋更加迅速、讓我們和商戶(hù)之間的關(guān)系更加緊密。

供應(yīng)商子主題：供應(yīng)商無(wú)論作為直簽還是作為三方簽約對(duì)象，對(duì)我們的業(yè)務(wù)發(fā)展都非常重要，通過(guò)對(duì)其數(shù)據(jù)的建設(shè)，可以讓我們彼此雙贏，通過(guò)我們的平臺(tái)讓雙方的業(yè)務(wù)迅速發(fā)展。

流量主題

用戶(hù)通過(guò)App或PC或I版、微信等等形式訪(fǎng)問(wèn)我們的服務(wù)，形成了對(duì)我們企業(yè)至關(guān)重要的流量，本主題也是比較具有互聯(lián)網(wǎng)特色的主題，對(duì)于流量的數(shù)據(jù)建設(shè)能夠讓我們不斷優(yōu)化我們的產(chǎn)品、服務(wù)，給我們帶來(lái)更多的流量、更快的擴(kuò)張。

訂單主題

當(dāng)用戶(hù)給我們帶來(lái)流量的同時(shí)，他們也會(huì)產(chǎn)生交易，訂單主題的獨(dú)立建設(shè)以及其重要性我這里就不再贅述了，在所有的互聯(lián)網(wǎng)以及傳統(tǒng)公司里，該主題都是至關(guān)重要的。

POI主題

這個(gè)主題也具有我們自身的O2O特色，實(shí)際上這個(gè)主題與阿里的商家主題比較類(lèi)似但又具備自己的特點(diǎn)，對(duì)于POI自身的重要性就不再過(guò)多介紹，通過(guò)對(duì)POI的數(shù)據(jù)集中建設(shè)能夠讓我們給POI帶去更好的服務(wù)與回報(bào)。

產(chǎn)品主題

與POI強(qiáng)相關(guān)的就是產(chǎn)品了，如何讓產(chǎn)品能夠更加的貼近用戶(hù)的需求以及產(chǎn)生更多的交易、流量，產(chǎn)品數(shù)據(jù)主題的建設(shè)及目的的意義就在于此。

運(yùn)營(yíng)主題

我們的業(yè)務(wù)發(fā)展將不再依靠粗暴的補(bǔ)貼式的擴(kuò)張發(fā)展模式，需要依賴(lài)現(xiàn)在的精細(xì)化運(yùn)營(yíng)方式，運(yùn)營(yíng)數(shù)據(jù)主題的建設(shè)就有了非常強(qiáng)的必要性，通過(guò)數(shù)據(jù)進(jìn)行精細(xì)化運(yùn)營(yíng)已經(jīng)成為我們運(yùn)營(yíng)的主要發(fā)展趨勢(shì)。

結(jié)算主題

實(shí)際上，這個(gè)主題在傳統(tǒng)企業(yè)里面如銀行、電信等等都是至關(guān)重要的，對(duì)我們酒旅而言，建設(shè)它的意義能夠不斷優(yōu)化商家體驗(yàn)、提高財(cái)務(wù)結(jié)算與管理能力。

整體架構(gòu)

我們的七個(gè)主題基本上都采用6層結(jié)構(gòu)的方式來(lái)建設(shè)，劃分主題更多是從業(yè)務(wù)的角度出發(fā)，而層次劃分則是基于技術(shù)，實(shí)質(zhì)上我們就是基于業(yè)務(wù)與技術(shù)的結(jié)合完成了整體的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)。下面介紹一下具體的一些主題案例：

訂單主題

在訂單主題的建設(shè)過(guò)程中，我們是按照由分到總的結(jié)構(gòu)思路來(lái)進(jìn)行建設(shè)，首先分供應(yīng)鏈建設(shè)訂單相關(guān)實(shí)體（數(shù)據(jù)整合中間層3NF），然后再進(jìn)行適度抽象把分供應(yīng)鏈的相關(guān)訂單實(shí)體進(jìn)行合并后生成訂單實(shí)體（數(shù)據(jù)整合層3NF），后續(xù)在數(shù)據(jù)整合層的訂單實(shí)體基礎(chǔ)上再擴(kuò)展部分維度信息來(lái)完成后續(xù)層次的建設(shè)。

流量主題

流量主題與訂單主題的區(qū)別是非常大的，它的數(shù)據(jù)來(lái)源具有一定的特殊性，我們的總體建設(shè)思路是總-分-總的思路，首先從總的日志數(shù)據(jù)中剝離出來(lái)屬于酒旅事業(yè)群的數(shù)據(jù)，后續(xù)再?gòu)倪@些數(shù)據(jù)中分拆到各個(gè)具體的頁(yè)面（可以適當(dāng)補(bǔ)充些各個(gè)頁(yè)面中所具有的B端信息，如POI詳情頁(yè)中增加POI品類(lèi)信息），最后再把各個(gè)頁(yè)面進(jìn)行合并生成總的日志主題表（最終這張表會(huì)滿(mǎn)足80%以上的相關(guān)流量統(tǒng)計(jì)需求）。

運(yùn)營(yíng)主題

運(yùn)營(yíng)主題與訂單、流量主題相比也具有自身的特殊性，主要原因也在于其數(shù)據(jù)來(lái)源本身的特殊性，關(guān)于它的建設(shè)思路總體也是總-分-總，但我們本身的數(shù)據(jù)來(lái)源大多已經(jīng)不是最底層的ODS數(shù)據(jù)，而是一些已經(jīng)加工過(guò)的事實(shí)表或維度表，所以我們整體的建模原則基本上都是維度建模。

基于上面介紹的幾個(gè)主題，我們實(shí)際上在做分主題的層次架構(gòu)時(shí)也是基于本主題的業(yè)務(wù)、數(shù)據(jù)特點(diǎn)作為最終的判斷條件，沒(méi)有絕對(duì)的一種層次架構(gòu)適用于所有的主題，需要綜合各項(xiàng)要素來(lái)進(jìn)行綜合判斷才能設(shè)計(jì)比較合適的層次架構(gòu)。

作者簡(jiǎn)介

德臣，美團(tuán)點(diǎn)評(píng)酒旅事業(yè)群數(shù)據(jù)倉(cāng)庫(kù)專(zhuān)家，2003年畢業(yè)于湖南大學(xué)，2015年加入美團(tuán)，整體負(fù)責(zé)酒旅事業(yè)群的離線(xiàn)數(shù)據(jù)倉(cāng)庫(kù)、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)。

酒旅數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)，結(jié)合酒旅業(yè)務(wù)的發(fā)展，靈活利用大數(shù)據(jù)生態(tài)鏈的相關(guān)技術(shù)，致力于離線(xiàn)數(shù)據(jù)倉(cāng)庫(kù)與實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)，為業(yè)務(wù)提供多樣化的數(shù)據(jù)服務(wù)。

最后發(fā)個(gè)廣告，美團(tuán)點(diǎn)評(píng)酒旅數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)長(zhǎng)期招聘數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)產(chǎn)品開(kāi)發(fā)等方向的技術(shù)專(zhuān)家，有興趣的同學(xué)可以發(fā)送簡(jiǎn)歷到y(tǒng)angdechen#meituan.com。

不想錯(cuò)過(guò)技術(shù)博客更新？想給文章評(píng)論、和作者互動(dòng)？第一時(shí)間獲取技術(shù)沙龍信息？

請(qǐng)關(guān)注我們的官方微信公眾號(hào)“美團(tuán)點(diǎn)評(píng)技術(shù)團(tuán)隊(duì)”�，F(xiàn)在就拿出手機(jī)，掃一掃：

 

來(lái)自：http://tech.meituan.com/hotel_dw_layer_topic.html

 

標(biāo)簽： O2O 大數(shù)據(jù) 大數(shù)據(jù)開(kāi)發(fā) 互聯(lián)網(wǎng)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。