首屆 Kylin Data Summit 上，全球知名 IT 研究咨詢公司 Gartner 研究總監(jiān) Julian Sun 帶來(lái)了一場(chǎng)關(guān)于數(shù)據(jù)分析領(lǐng)域相關(guān)趨勢(shì)的演講。

Julian Sun 介紹了十大趨勢(shì)，我們整理了關(guān)鍵的幾個(gè)趨勢(shì)的內(nèi)容。Gartner 發(fā)布的這十大趨勢(shì)是最近 3-5 年企業(yè)可以應(yīng)用的技術(shù)，而非十年以外的技術(shù)趨勢(shì)。這些趨勢(shì)之間的關(guān)系是相緊密相連，互相能夠加強(qiáng)，而且都反映了三個(gè)主題：智能、新興和拓展。

智能

企業(yè)用戶都在面臨著一些前所未有的變化，這些變化有的來(lái)自技術(shù)，有的來(lái)自于業(yè)務(wù)。傳統(tǒng)數(shù)據(jù)方式可能沒(méi)有辦法在滿足日益變化的數(shù)據(jù)分析形勢(shì)，所以我們要借助機(jī)器學(xué)習(xí)幫助我們以更低門檻做更深度分析。

新興

由于機(jī)器學(xué)習(xí)跟 AI 介入，數(shù)據(jù)可能不再自上而下放一層不變地展現(xiàn)在用戶面前，更多根據(jù)用戶的行為，通過(guò)元數(shù)據(jù)形成更復(fù)雜的一種數(shù)據(jù)框架以更新興模式呈現(xiàn)到用戶，是一個(gè)更動(dòng)態(tài)的形式。

拓展

作為一個(gè)數(shù)據(jù)分析平臺(tái)，更多需要考慮的是，這個(gè)平臺(tái)是否有足夠拓展性和延展性，可以將高階分析普惠到所有人。

趨勢(shì) 1：增強(qiáng)分析

增強(qiáng)分析是一種新興數(shù)據(jù)分析方式，借助了機(jī)器學(xué)習(xí)跟 AI，讓我們用戶可以更低門檻去將這個(gè)數(shù)據(jù)分析呈現(xiàn)出來(lái)。

 

 

過(guò)去，大家認(rèn)為數(shù)據(jù)分析是一個(gè)結(jié)果，我們看了一些儀表盤，看了一些報(bào)告覺(jué)得自己做數(shù)據(jù)分析了，其實(shí)不然，數(shù)據(jù)分析是一個(gè)創(chuàng)新過(guò)程，需要用戶高度融合才可以產(chǎn)生新一輪結(jié)果。

增強(qiáng)分析可以在哪些環(huán)節(jié)幫助企業(yè)做數(shù)據(jù)分析呢?

在準(zhǔn)備數(shù)據(jù)階段，增強(qiáng)分析可以為我們推薦一些業(yè)務(wù)剛好能用，剛剛夠的數(shù)據(jù)源，而不是雜亂無(wú)章的數(shù)據(jù)源，同時(shí)可以幫助用戶理解別的用戶，自己同一組用戶平時(shí)用的哪些數(shù)據(jù)。

在業(yè)務(wù)發(fā)現(xiàn)的時(shí)候，增強(qiáng)分析又可以幫助我們做一些自動(dòng)建模，模型管理、代碼生成，從而使用戶可以去用一些更高階功能。

在分享的時(shí)候可以通過(guò)增強(qiáng)分析給我們帶來(lái)一些自動(dòng)的業(yè)務(wù)發(fā)現(xiàn)，而不是讓我在很多的儀表盤，很多報(bào)告當(dāng)中一個(gè)個(gè)摸索。這也是為什么增強(qiáng)分析不僅是 Gartner 今年數(shù)據(jù)分析十大趨勢(shì)，同時(shí)也是 Gartner 今年十大戰(zhàn)略趨勢(shì)，整體 IT 十大戰(zhàn)略趨勢(shì)之一。

為什么企業(yè)里面要用增強(qiáng)分析呢?

企業(yè)要分析的數(shù)據(jù)越來(lái)越復(fù)雜，探索的結(jié)構(gòu)越來(lái)越復(fù)雜，業(yè)務(wù)用戶希望通過(guò)自己自服務(wù)形式做分析，他們的問(wèn)題沒(méi)辦法用普通數(shù)據(jù)方式傳達(dá)的，所以用了增強(qiáng)分析，可以給他一種全新數(shù)據(jù)分析方式;同時(shí)增強(qiáng)分析還有一個(gè)很大作用，可以讓我們做數(shù)據(jù)分析、學(xué)習(xí)的時(shí)間大大降低，可以真正普惠所有的業(yè)務(wù)用戶，而不是讓數(shù)據(jù)分析只停留在企業(yè)當(dāng)中的少部分人。

同時(shí)大家可以想象一下我們現(xiàn)在做數(shù)據(jù)分析的模式，無(wú)非是一種可視化形式，拖拉拽形式做數(shù)據(jù)分析，很有可能會(huì)造成另外一種孤島。我們常常說(shuō)數(shù)據(jù)孤島，做分析也一樣，很可能產(chǎn)生分析孤島，導(dǎo)致我們做的數(shù)據(jù)分析和業(yè)務(wù)脫節(jié)。這個(gè)時(shí)候用增強(qiáng)分析可以把這樣的增強(qiáng)分析模式放到業(yè)務(wù)情景當(dāng)中，提供最契合業(yè)務(wù)的真知。

舉一個(gè)簡(jiǎn)單例子：美國(guó)有一家銀行，他在沒(méi)有使增強(qiáng)分析以前，他用了一個(gè)常規(guī)思路探索他們的客戶，他們對(duì)客戶做了一個(gè)畫像，覺(jué)得自己作為一個(gè)銀行可以把理財(cái)產(chǎn)品賣給年紀(jì)較大的用戶，一些 55 歲 -65 歲的用戶，這種固有思維一直存在于他們的數(shù)據(jù)模型當(dāng)中，久而久之他們就發(fā)現(xiàn)丟失了很多客戶，于是他們用了增強(qiáng)分析模式并列了所有可能，最后發(fā)現(xiàn)真正愿意買他們理財(cái)產(chǎn)品的話，雖然他們錢不多，他們是 25-35 歲的用戶，歡迎大家咨詢 Gartner 報(bào)告，了解更多增強(qiáng)分析案例。

趨勢(shì) 2：商用人工智能機(jī)器學(xué)習(xí)會(huì)取代開(kāi)源占據(jù)市場(chǎng)主流

這個(gè)趨勢(shì)可能與大家的普遍認(rèn)知會(huì)有一些沖突。通過(guò) Gartner 一些研究發(fā)現(xiàn)大多數(shù)的模型盡管有在被寫，有被用，但只是創(chuàng)造出來(lái)而已，并沒(méi)有放到運(yùn)營(yíng)和生產(chǎn)環(huán)境，也沒(méi)有真正普惠到所有業(yè)務(wù)人員。

 

 

我們看到了像谷歌，亞馬遜，微軟，他們其實(shí)都在和很多的開(kāi)源架構(gòu)進(jìn)行結(jié)合，我們預(yù)測(cè)到了 2022 年這些廠商會(huì)占到數(shù)據(jù)科學(xué)平臺(tái) 20% 的份額。同時(shí)，這些平臺(tái)也一點(diǎn)點(diǎn)地演進(jìn)自己，可以幫助我們提供更好一些生產(chǎn)環(huán)境特色，比如說(shuō)數(shù)據(jù)的血緣分析、模型的復(fù)用、管理等，這些都是企業(yè)級(jí)用戶非常擅長(zhǎng)，而不是開(kāi)源平臺(tái)開(kāi)發(fā)的初衷。

與此同時(shí)，這些平臺(tái)還能給我們帶來(lái)非常多益處，比如說(shuō)我們要做我們的 AI 普惠性，作為開(kāi)源平臺(tái)實(shí)際上很少會(huì)想到這個(gè)工具，我們?cè)趺礃咏o到業(yè)務(wù)人員用，但是通過(guò)我們商用平臺(tái)，可以搭建一個(gè)比較好環(huán)境，讓我們的業(yè)務(wù)用戶使用。同時(shí)我們可以看見(jiàn)，真正能夠用到這些開(kāi)源平臺(tái)，用到這些算法，其實(shí)是需要很高技能要求，并不是所有人都可以實(shí)現(xiàn)這點(diǎn)，所以說(shuō)這一點(diǎn)我們會(huì)發(fā)現(xiàn)，那些數(shù)據(jù)科學(xué)家其實(shí)是非�；ㄥX，商用平臺(tái)可以有一個(gè)更低的門檻讓用戶使用。

每個(gè)企業(yè)都在想怎么做數(shù)據(jù)化轉(zhuǎn)型，這個(gè)過(guò)程是非常漫長(zhǎng)的，需要 18 個(gè)月到 3 年時(shí)間才可能去實(shí)現(xiàn)，這個(gè)時(shí)候該怎么辦呢?我們是不是看到開(kāi)源市場(chǎng)不停有創(chuàng)新，不停有開(kāi)源包出來(lái)呢，沒(méi)錯(cuò)，但是通過(guò)一些開(kāi)源包，通過(guò)一些開(kāi)源結(jié)構(gòu)完成一個(gè)長(zhǎng)期的計(jì)劃，實(shí)際是很難摸索的。我們通過(guò)跟商用平臺(tái)合作可以明確知道這些商用平臺(tái)未來(lái)的發(fā)布計(jì)劃怎么樣，這樣能夠更好地幫助我們結(jié)合企業(yè)的開(kāi)發(fā)和發(fā)展。同時(shí)我們也會(huì)發(fā)現(xiàn)現(xiàn)在越來(lái)越多商用平臺(tái)在把自己已經(jīng)訓(xùn)練好的模型、算法直接放到平臺(tái)銷售，作為用戶可以更簡(jiǎn)單地，直接購(gòu)買這樣的算法，還有模型，模型將會(huì)更成為一種商品的形式被大家使用。

未來(lái)算法將會(huì)很容易獲得，不需要自己再去訓(xùn)練，但是比較困難的點(diǎn)是什么呢?是數(shù)據(jù)。我們?cè)鯓硬拍軗碛幸惶卓尚诺臄?shù)據(jù)，去清洗它，訓(xùn)練它，使用它呢?這將涉及到下一個(gè)比較重要的趨勢(shì)：數(shù)據(jù)管理相關(guān)的趨勢(shì)。

趨勢(shì) 3：Data Fabric

Data Fabric 一個(gè)比較大的框架，這個(gè)詞我們姑且稱之為數(shù)據(jù)編織。數(shù)據(jù)編織是一個(gè)概念，不是一個(gè)產(chǎn)品， 它并不是一個(gè)自上而下，以一個(gè)非常嚴(yán)苛固定的形式給到用戶的數(shù)據(jù)結(jié)構(gòu)。它更多是基于企業(yè)用戶行為，自動(dòng)建立起元數(shù)據(jù)之后一個(gè)新興數(shù)據(jù)結(jié)構(gòu)，它是動(dòng)態(tài)變化的。

 

 

數(shù)據(jù)編織這個(gè)概念在 Gartner 的數(shù)據(jù)管理組經(jīng)常被討論，每當(dāng)討論到這個(gè)概念，就同時(shí)會(huì)提到數(shù)據(jù)虛擬化，以及如何去平衡?要么把數(shù)據(jù)從 A 移到 B ，B 移到 C，或者把數(shù)據(jù)全部連在一起，用虛擬化形式實(shí)現(xiàn)，這個(gè)平衡在企業(yè)里是非常難實(shí)現(xiàn)的，所以我們需要一個(gè)數(shù)據(jù)編織形式去管理這樣的平衡，并不是所有的數(shù)據(jù)結(jié)構(gòu)。

同時(shí)我們也會(huì)看到這樣的一種新興數(shù)據(jù)結(jié)構(gòu)涵蓋了很多東西，有數(shù)據(jù)湖，數(shù)據(jù)庫(kù)，分布式的存儲(chǔ)關(guān)系還有傳統(tǒng)的數(shù)據(jù)庫(kù)等。在這里元數(shù)據(jù)驅(qū)動(dòng)了一切，我們希望花更多時(shí)間了解用戶行為，搭建這樣一個(gè)更靈活的數(shù)據(jù)編織。

從 usecase 角度看我們可以看見(jiàn)無(wú)論是數(shù)據(jù)倉(cāng)庫(kù)，分布式流程，多樣式的數(shù)據(jù)來(lái)源都會(huì)以更新的形式、更符合業(yè)務(wù)訴求的形式，混合所有的數(shù)據(jù)存儲(chǔ)的 porfolio，而不是單純用單一技術(shù)，所以我會(huì)看見(jiàn)更多的廠商去做 datahub 的產(chǎn)品用來(lái)編織所有的數(shù)據(jù)。這樣的形式也能夠更方便符合現(xiàn)在不停變化的業(yè)務(wù)訴求。用更靈活的數(shù)據(jù)編織形式，我們建立一個(gè)統(tǒng)一的數(shù)據(jù)框架，管理所有數(shù)據(jù)。

 

 

那在這個(gè)背后支撐我們是什么呢?真正幫助我們做到一個(gè)非常好的管理應(yīng)用是什么呢?這將涉及到下一個(gè)重點(diǎn)趨勢(shì)，今天大會(huì)最大的主題：增強(qiáng)數(shù)據(jù)管理。

趨勢(shì) 4：數(shù)據(jù)增強(qiáng)管理

“增強(qiáng)”這個(gè)詞，我們希望把數(shù)據(jù)分析背后機(jī)器學(xué)習(xí)和人工智能的能力，它真正體現(xiàn)在幫助用戶上，而不是取代用戶。增強(qiáng)型數(shù)據(jù)管理涵蓋數(shù)據(jù)管理方方面面，元數(shù)據(jù)管理，數(shù)據(jù)庫(kù)管理，還有數(shù)據(jù)整合，數(shù)據(jù)質(zhì)量都涵蓋在內(nèi)，它并不是一個(gè)單純的數(shù)據(jù)管理范式。它可以有效地依賴我們企業(yè)里用戶的行為，我們?cè)獢?shù)據(jù)的學(xué)習(xí)，去自動(dòng)地生成行為數(shù)據(jù)。

過(guò)去，我們是非常被動(dòng)做這樣的數(shù)據(jù)管理的。當(dāng)我們我們做數(shù)據(jù)質(zhì)量管理的時(shí)候，把所有數(shù)據(jù)拉出來(lái)，看數(shù)據(jù)有哪些異同點(diǎn)和趨勢(shì)，這個(gè)是非常消耗時(shí)間;同樣做數(shù)據(jù)庫(kù)管理的時(shí)候，我們要做優(yōu)化數(shù)據(jù)庫(kù)，建立索引，刪除索引，建立一個(gè)分區(qū)，刪除一個(gè)分區(qū)，這可能是用戶為我們提出的需求，DBA 需要花費(fèi)特別大量的時(shí)間。

 

 

由“增強(qiáng)”技術(shù)帶來(lái)的減少的任務(wù)量是為了幫助我們而不是為了取代任何人，“增強(qiáng)”是為了使我們的工作更容易、更創(chuàng)新，更主動(dòng)。

在進(jìn)行數(shù)據(jù)運(yùn)維時(shí)，很多時(shí)候是用到元數(shù)據(jù)的，但元數(shù)據(jù)的生成和學(xué)習(xí)是需要花時(shí)間的。應(yīng)用到機(jī)器學(xué)習(xí)、AI 技術(shù)，我們希望最終能實(shí)現(xiàn)的是，看見(jiàn)數(shù)據(jù)，學(xué)習(xí)用戶行為，創(chuàng)造元數(shù)據(jù)，整合數(shù)據(jù)管理工具 ， 創(chuàng)建數(shù)據(jù)質(zhì)量規(guī)則，最后在數(shù)據(jù)上建立 Scheme，讓數(shù)據(jù)真正被業(yè)務(wù)用戶使用，這將是一個(gè)完整的“增強(qiáng)型數(shù)據(jù)管理”希望實(shí)現(xiàn)的效果。

 

 

增強(qiáng)型數(shù)據(jù)管理涵蓋面更廣，用一個(gè)自動(dòng)駕駛的例子來(lái)說(shuō)，自動(dòng)駕駛并不是為了學(xué)習(xí)這個(gè)車怎么開(kāi)，更多是為了學(xué)習(xí)外部路況、環(huán)境，道面交通擁堵?tīng)顩r，這是我們初衷。跟增強(qiáng)型數(shù)據(jù)管理也一樣，我們更希望從用戶行為，從元數(shù)據(jù)當(dāng)中獲取真知，去創(chuàng)造元數(shù)據(jù)，幫助我們更好做數(shù)據(jù)管理，涵蓋數(shù)據(jù)質(zhì)量管理，主數(shù)據(jù)管理，數(shù)據(jù)集成，數(shù)據(jù)庫(kù)管理，元數(shù)據(jù)管理方方面面。

今天圍繞著“增強(qiáng)型分析”給大家?guī)��?lái)了這樣一些總結(jié)和分析，云是在這張圖背后的，這些趨勢(shì)緊密相連。這些趨勢(shì)固然都很好，但是大家不要盲目地順從某些趨勢(shì)，作為企業(yè)管理者，更應(yīng)該看到業(yè)務(wù)中痛點(diǎn)和欠缺的地方，查找整個(gè)系統(tǒng)中欠缺的部分，再運(yùn)用這些技術(shù)。我們這些趨勢(shì)是最近三五年發(fā)現(xiàn)的，可以幫助我們企業(yè)快速應(yīng)用，但是這個(gè)順序和重點(diǎn)依舊取決于你們企業(yè)自身業(yè)務(wù)重點(diǎn)。

 

 

演講嘉賓：

Julian Sun (孫鑫)先生在 Gartner 擔(dān)任研究總監(jiān)，負(fù)責(zé)商業(yè)智能及數(shù)據(jù)科學(xué)領(lǐng)域。他主要建議數(shù)據(jù)分析領(lǐng)導(dǎo)者架構(gòu)，部署并演化現(xiàn)代化商業(yè)智能平臺(tái)。其主要研究方向集中在可以幫助業(yè)務(wù)用戶提升數(shù)據(jù)分析能力的新興分析技術(shù)，由 AI 驅(qū)動(dòng)的增強(qiáng)型分析，數(shù)據(jù)分析最大化業(yè)務(wù)價(jià)值的方法及簡(jiǎn)化企業(yè)員工使用數(shù)據(jù)科學(xué)流程的最佳實(shí)踐。他同時(shí)對(duì)管理企業(yè)級(jí)分析平臺(tái)的技術(shù)架構(gòu)有所研究。

標(biāo)簽： 數(shù)據(jù)分析 大數(shù)據(jù)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。