它山之石，可以攻玉——要談大數(shù)據(jù)平臺(tái)的建設(shè)目標(biāo)，首先要知道業(yè)界先進(jìn)的實(shí)踐經(jīng)驗(yàn)，了解別人的數(shù)據(jù)平臺(tái)是怎樣的，然后才能結(jié)合自己公司的實(shí)際情況設(shè)定合適的目標(biāo)和方向。

1 別人的大數(shù)據(jù)平臺(tái)是怎樣的

那么，別人的大數(shù)據(jù)平臺(tái)是怎樣的呢?如果參加過(guò)一些大大小小的技術(shù)分享論壇或會(huì)議，你應(yīng)該不難發(fā)現(xiàn)，在各種各樣新的諸如“×××公司大數(shù)據(jù)平臺(tái)實(shí)踐無(wú)敵干貨分享”之類的PPT中，談到大數(shù)據(jù)平臺(tái)的技術(shù)組件時(shí)，多半都會(huì)給出一個(gè)大同小異的系統(tǒng)架構(gòu)圖。

在這個(gè)架構(gòu)圖中，各種日志和DB數(shù)據(jù)采集組件、存儲(chǔ)和計(jì)算引擎、監(jiān)控和調(diào)度系統(tǒng)，不管在實(shí)踐中真實(shí)的應(yīng)用情況如何，反正在圖上所有組件一個(gè)都不缺，除了個(gè)別組件的增減替換，每家公司的大數(shù)據(jù)平臺(tái)看起來(lái)都沒(méi)有太大的區(qū)別。

所以，如果你要問(wèn)大數(shù)據(jù)平臺(tái)的基礎(chǔ)架構(gòu)圖長(zhǎng)什么樣，不用自己畫，直接用HortonWorks公司的HDP發(fā)行版套件圖來(lái)展示，估計(jì)也沒(méi)啥大的不妥，如下圖所示。

 

 

除了各種公開會(huì)議，過(guò)去的幾年里我和北上杭的不少大數(shù)據(jù)平臺(tái)從業(yè)者也常常有各種私下的交流，在交流的過(guò)程中，討論到大數(shù)據(jù)平臺(tái)的建設(shè)方向的時(shí)候，也有些人很直白地和我說(shuō)：別折騰了，大數(shù)據(jù)平臺(tái)建設(shè)的整體思路其實(shí)都差不多，隨便找一兩家靠譜的公司交流一下就好了。

所以，談到大數(shù)據(jù)平臺(tái)的技術(shù)交流，貌似可以比較的只是具體組件方面的技術(shù)細(xì)節(jié)、組件的性能、平臺(tái)的穩(wěn)定性，以及各自的開發(fā)平臺(tái)與公司的具體業(yè)務(wù)流程的適配和應(yīng)用等方面。

如此看來(lái)，稍微靠譜一點(diǎn)的公司的大數(shù)據(jù)平臺(tái)，整體的水平應(yīng)該都在差不多的水平線上，差距只是踩坑的多少和經(jīng)驗(yàn)的積累程度吧?

那么，現(xiàn)實(shí)果真如此嗎?顯然不太可能!

2 和業(yè)內(nèi)領(lǐng)先的大數(shù)據(jù)平臺(tái)的差距

以蘑菇街的大數(shù)據(jù)平臺(tái)為例，客觀地說(shuō)，和頂尖的行業(yè)巨頭，比如阿里、騰訊的大數(shù)據(jù)平臺(tái)的整體建設(shè)水平相比，有不小的差距肯定是不用懷疑的。只不過(guò)這些差距真的僅僅體現(xiàn)在具體組件的技術(shù)深度層面嗎?我認(rèn)為事情并沒(méi)有那么簡(jiǎn)單。

我也接觸過(guò)大量來(lái)面試我們的大數(shù)據(jù)平臺(tái)開發(fā)崗位的同學(xué)，他們中的不少人已經(jīng)在各種各樣的公司(有些其實(shí)也不是小公司)從事過(guò)數(shù)據(jù)平臺(tái)的建設(shè)工作。

在與這些同學(xué)溝通他們的項(xiàng)目經(jīng)歷時(shí)發(fā)現(xiàn)，在不少公司的大數(shù)據(jù)平臺(tái)體系中，大數(shù)據(jù)生態(tài)里的各種主流組件其實(shí)也是一樣不少的，數(shù)據(jù)規(guī)模雖小，平臺(tái)五臟俱全。如果要畫平臺(tái)的整體組件架構(gòu)圖，沒(méi)準(zhǔn)還會(huì)比蘑菇街的大數(shù)據(jù)平臺(tái)多出兩三個(gè)組件來(lái)。但是，一旦談到平臺(tái)的實(shí)際應(yīng)用水平和所提供的服務(wù)的時(shí)候，這些公司的平臺(tái)往往是極度原始和簡(jiǎn)陋的。

那么，各家公司的大數(shù)據(jù)平臺(tái)的成熟度水平的差距到底體現(xiàn)在哪里呢?

純粹論底層組件，拋開財(cái)大氣粗，自打飛天項(xiàng)目開始，各種基礎(chǔ)組件都要自己做一套的阿里不說(shuō)，多數(shù)公司的大數(shù)據(jù)平臺(tái)建設(shè)主要依托的還是成熟的開源組件，以及在這些組件上進(jìn)行的優(yōu)化改進(jìn)和二次開發(fā)。

從技術(shù)層面來(lái)說(shuō)，大家填坑的水平固然有差距，但填坑水平的差距真的就是導(dǎo)致各自平臺(tái)整體水平差距的最重要因素嗎?

對(duì)多數(shù)公司來(lái)說(shuō)，你的業(yè)務(wù)遠(yuǎn)未達(dá)到BAT的規(guī)模，所以平臺(tái)架構(gòu)的理論先進(jìn)性，各種極端負(fù)載情況下平臺(tái)的穩(wěn)定性，各種集群和資源的彈性拓展能力，對(duì)大數(shù)據(jù)平臺(tái)的實(shí)際產(chǎn)出價(jià)值，真的會(huì)造成很大的影響嗎?你的平臺(tái)和別人的平臺(tái)的差距真的是各種類似人工智能、流式SQL之類的新技術(shù)應(yīng)用速度上的差距嗎?早幾年別人還沒(méi)開始引進(jìn)這些技術(shù)的時(shí)候，平臺(tái)的服務(wù)能力不是一樣甩你幾條街嗎?

換個(gè)角度舉幾個(gè)大家更熟悉的例子吧!

比如制造手機(jī)這件事，從外觀上來(lái)看，不就是觸摸屏外加攝像頭嗎?至于內(nèi)部的組件配置，也不外乎藍(lán)牙、WiFi、NFC、GPS、內(nèi)存、CPU等，都有極端成熟的產(chǎn)業(yè)鏈支撐。所以，你覺(jué)得山寨機(jī)和iPhone的差距在哪里呢?

再比如消費(fèi)級(jí)無(wú)人機(jī)，主體結(jié)構(gòu)不就是電池、馬達(dá)，外加幾個(gè)螺旋槳嗎?那么大疆的無(wú)人機(jī)又是怎么做到橫掃各種競(jìng)爭(zhēng)對(duì)手，市場(chǎng)占有率遙遙領(lǐng)先的呢?它的產(chǎn)品和淘寶上幾十元一個(gè)的玩具四軸飛行器又有什么區(qū)別呢?

所以，在我看來(lái)，多數(shù)公司在大數(shù)據(jù)具體組件的應(yīng)用水平方面固然存在差距，但這并不是平臺(tái)整體成熟度差距的根本所在。

而且，在一些具體組件的技術(shù)深度和先進(jìn)技術(shù)的探索方面，小公司和大公司是無(wú)法看齊的——由于與大公司在體量和人才儲(chǔ)備方面存在現(xiàn)實(shí)差距，小公司多半是學(xué)不來(lái)也趕不上的。從支撐公司業(yè)務(wù)發(fā)展和人員投入產(chǎn)出效益的角度來(lái)說(shuō)，小公司也沒(méi)有必要去學(xué)這些，大不了等到相關(guān)技術(shù)成熟的時(shí)候拿過(guò)來(lái)用就好了。

那么，差距到底在哪里呢?我認(rèn)為，產(chǎn)品和服務(wù)形態(tài)這些看起來(lái)偏軟性的、容易被忽略的方面，才是體現(xiàn)各家大數(shù)據(jù)平臺(tái)成熟度水平最核心的因素。幸運(yùn)的是，產(chǎn)品和服務(wù)的建設(shè)思想，也是有可能快速學(xué)習(xí)、借鑒、改進(jìn)和提高的，前提是你真正意識(shí)到并重視這方面差距的存在。

3 大數(shù)據(jù)平臺(tái)建設(shè)目標(biāo)小結(jié)

所以，大數(shù)據(jù)平臺(tái)建設(shè)的目標(biāo)是什么?是比拼誰(shuí)的組件更豐富，誰(shuí)跟進(jìn)社區(qū)技術(shù)跟進(jìn)得更快，誰(shuí)的團(tuán)隊(duì)擁有更多的Committer?No，No，No!這些方面最多也只能算手段，而非目標(biāo)，甚至都不一定是實(shí)現(xiàn)目標(biāo)最有效的手段。

評(píng)估大數(shù)據(jù)平臺(tái)的能力和成熟度，重點(diǎn)不在于你提供了多少種存儲(chǔ)計(jì)算引擎，覆蓋了大數(shù)據(jù)生態(tài)圈多少技術(shù)組件，或者你的團(tuán)隊(duì)的技術(shù)能力有多么無(wú)敵。而是你為使用平臺(tái)的用戶解決了哪些問(wèn)題，掃除了哪些障礙，提升了多少工作效率，附加了哪些增值收益。進(jìn)一步來(lái)說(shuō)，還包括平臺(tái)內(nèi)部組件的橫向聯(lián)通能力和業(yè)務(wù)流程上縱向貫穿打通上下游鏈路的能力，這些才是數(shù)據(jù)平臺(tái)建設(shè)的根本目標(biāo)和衡量平臺(tái)成熟度水平的評(píng)估標(biāo)準(zhǔn)。

這不是我鼓吹用戶至上所喊出的無(wú)關(guān)痛癢的漂亮話，這是我們?cè)谶^(guò)去多年的實(shí)踐中，對(duì)實(shí)際的經(jīng)驗(yàn)教訓(xùn)的總結(jié)。不過(guò)，所謂知易行難，每隔一段時(shí)間，你可能都會(huì)發(fā)現(xiàn)之前所做的工作和這個(gè)目標(biāo)還是有不小的差距。加上公司業(yè)務(wù)會(huì)發(fā)展，技術(shù)會(huì)變革，大數(shù)據(jù)平臺(tái)建設(shè)目標(biāo)的確定也不可能一成不變，是一個(gè)需要持續(xù)思考和檢驗(yàn)的過(guò)程。

本文選自《大數(shù)據(jù)平臺(tái)基礎(chǔ)架構(gòu)指南》，作者劉旭暉，電子工業(yè)出版社7月出版。

標(biāo)簽： 大數(shù)據(jù) 大數(shù)據(jù)平臺(tái) 大數(shù)據(jù)平臺(tái)建設(shè) 大數(shù)據(jù)平臺(tái)開發(fā)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。