eBay，這家在國內(nèi)非常低調(diào)的老牌電商，以其深厚的技術(shù)基礎(chǔ)在業(yè)內(nèi)廣受關(guān)注。熟悉 Kylin 的朋友也都知道，Kylin 項目最初也正是在 eBay 內(nèi)部孵化并完成。eBay 全球研發(fā)副總裁、中國研發(fā)中心總經(jīng)理田衛(wèi)女士的主旨演講，主題是：增強分析在 eBay 的實踐。

增強分析

Gartner 在今年 2 月的數(shù)據(jù)分析峰會上提出了十項數(shù)據(jù)發(fā)展的趨勢，其中“增強分析 Augmented Analytics ”被列在第一條, 被 Gartner 譽為“數(shù)據(jù)和分析的未來”。

在數(shù)據(jù)可以被分析前，數(shù)據(jù)工程師需要對數(shù)據(jù)進行抽取、清洗、融合等準(zhǔn)備工作，以提高數(shù)據(jù)分析的效率和準(zhǔn)確性。增強分析 Augmented Analytics 能夠幫助普通用戶在沒有數(shù)據(jù)科學(xué)專家或 IT 人員協(xié)助的情況下，訪問有效數(shù)據(jù)，并對理論和假設(shè)情況展開測試與驗證。增強分析作為數(shù)據(jù)分析的高級增強階段，能為分析計劃帶來更多自動化動能以及創(chuàng)新洞察力。(點擊此處，查看 Gartner 對于增強分析的解讀)

 

 

田衛(wèi)，eBay 全球研發(fā)副總裁、中國研發(fā)中心總經(jīng)理

eBay 的大數(shù)據(jù)歷程

eBay 始于 1994 年，由 eBay 公司發(fā)展歷史我們也可以窺見整個電商行業(yè)的演變。

eBay 保存了世界上第一筆電商交易數(shù)據(jù)，一直發(fā)展到今天，整個世界電商的發(fā)展史都能在 eBay 找到它的痕跡。此外，eBay 橫跨了全世界 180 多個國家，eBay 的數(shù)據(jù)不僅僅局限于某一個地區(qū)、市場，是包括北美、歐洲、亞太，整個一條完整的數(shù)據(jù)鏈。

 

 

通過上圖，我們可以對 eBay 的大數(shù)據(jù)平臺有一個快速的了解。eBay 現(xiàn)在處理的數(shù)據(jù)量涵蓋 700PB 數(shù)據(jù)， 每天查詢量在 120 萬左右，這對 eBay 大數(shù)據(jù)系統(tǒng)有著很高的要求。

目前參與這個系統(tǒng)的數(shù)據(jù)工程師有 6 千余人。Gartner 一份報告顯示，在高科技公司內(nèi)，使用數(shù)據(jù)來驅(qū)動業(yè)務(wù)增長的人數(shù)占 32 % 的人。反過來看 68% 的人還沒有真正應(yīng)用數(shù)據(jù)，eBay 現(xiàn)在 1 萬 4 千人，整個應(yīng)用數(shù)據(jù)的人大概達(dá)到將近 40% 左右。這個數(shù)據(jù)也不是一蹴而就的，在 2015 年時，大概只有 200 個數(shù)據(jù)工程師和數(shù)據(jù)分析師在應(yīng)用數(shù)據(jù);隨著增強型數(shù)據(jù)平臺的推出，用戶人數(shù)有了大幅增長。

 

 

eBay 的大數(shù)據(jù)生態(tài)，以 Data Fabric 為核心。支持以 API 為基礎(chǔ)的數(shù)據(jù)服務(wù)。

 

 

eBay 的大數(shù)據(jù)演進之路

從上圖可以看到，2005 年 eBay 的數(shù)據(jù)平臺主要是基于 SQL，record report 系統(tǒng)。到 2010 年，轉(zhuǎn)向了 Visual Based Discovery 階段。2015 年開始， eBay 從 Teradata 向 Hadoop 大數(shù)據(jù)平臺的遷移，Real-time Streaming 也在那一年出現(xiàn)，進入了一個更為高級的 Visual Based Discovery 階段。2018 年，eBay 大面積開始應(yīng)用 Hadoop、Spark;以及基于會話式的、NLU 等增強式數(shù)據(jù)分析解決方案。這其中還包括圖譜的元數(shù)據(jù)管理系統(tǒng)，以及自動商業(yè)洞察等新技術(shù)， eBay 從 2018 年開始真正意義上向增強分析邁進了一步。

 

 

客戶角度的演變

從客戶角度看 eBay 大數(shù)據(jù)的演進，最早是專職的數(shù)據(jù)分析師，現(xiàn)在隨著增強分析平臺推出，可以延展到每一位 eBay 的員工。即使用戶不了解數(shù)據(jù)在什么地方，不了解整個數(shù)據(jù)背后復(fù)雜業(yè)務(wù)邏輯，也能夠非常簡便地去做一些基本數(shù)據(jù)分析和查詢。

從商業(yè)決策的流程來看，從過去靜態(tài)的商業(yè)決策，提前通過一些 SQL、dashboard，延展到現(xiàn)在是一個動態(tài)的 data dashboard。以前公司領(lǐng)導(dǎo)們在做商業(yè)討論和決策時，都是由分析師拿一些數(shù)據(jù)報表，現(xiàn)在直接通過 eBay 的增強數(shù)據(jù)平臺，能夠直接通過實時 dashboard，快速地進行商業(yè)決策。

數(shù)據(jù)邏輯非常復(fù)雜，而且數(shù)據(jù)本身也是孤立的，eBay 現(xiàn)在通過 data fabric, 把一個從單個部門孤立的分析視角延展到不同的部門，不同業(yè)務(wù)之間，能夠大家共同協(xié)作完成一個商業(yè)的決定。這是從客戶層面我們看到的一個進化，從過去一小部分的核心決策人，延展到每一個人都在使用數(shù)據(jù)進行分析，以及通過數(shù)據(jù)來輔助商業(yè)決策的用戶。

產(chǎn)品角度的演變

從產(chǎn)品層面，eBay 以前依賴于 Teradata，現(xiàn)在發(fā)展到了一個自研的基于開源的一整套解決方案。從使用到的技術(shù)上來講，非常契合 Gartner 的預(yù)測，有 Data Fabric，智能化數(shù)據(jù)運維、Ad-hoc OLAP 查詢;以及基于 NLP，機器學(xué)習(xí)等技術(shù)的對話式的交互分析。還有 open metadata, 這是整個大數(shù)據(jù)智能化很重要很重要的一個核心。eBay 做了一個 open metadata framework 去賦能大數(shù)據(jù)的演進。

 

 

上圖是 Gartner 在 2019 年提出的十個大數(shù)據(jù)領(lǐng)域的趨勢，eBay 中國研發(fā)中心已經(jīng)在標(biāo)黃色的五個方面取得了顯著的成績。eBay 的技術(shù)人員會繼前行，通過實時分析，與業(yè)務(wù)部門的深度整合，為 eBay 業(yè)務(wù)部門提供實時、自動化的，可以進一步提升業(yè)務(wù)能力的建議。

 

 

eBay 數(shù)據(jù)分析生態(tài)

iDo

從數(shù)據(jù)管理這個角度來看，eBay 有一套完整的 intelligent data operation, iDo，它能夠自動化地計劃、部署所有的作業(yè)，然后自動化進行監(jiān)測。當(dāng)有一些作業(yè)發(fā)生問題的時候，可以進行自動修復(fù)。Gartner 預(yù)測到 2020 年，增強技術(shù)可以降低大概 45% 數(shù)據(jù)運維人員和數(shù)據(jù) IT 人員的投入。在 eBay 當(dāng)這個 iDo 產(chǎn)品推出以后，eBay 數(shù)據(jù)運維人員減少了 60%。

Open Metadata

這是一個跨平臺，跨領(lǐng)域的平臺�？梢灾С� Teradata， Hadoop，以及其他不同的數(shù)據(jù)源;能夠做自動發(fā)現(xiàn)，同時通過圖譜把不同數(shù)據(jù)之間的關(guān)系、血緣，以及業(yè)務(wù)邏輯，數(shù)據(jù)邏輯整合起來。

Zeta

這個平臺相當(dāng)于數(shù)據(jù)開發(fā)工程師的集成開發(fā)環(huán)境 IDE，它面向所有的數(shù)據(jù)開發(fā)工程師，當(dāng)數(shù)據(jù)工程師需要開發(fā)一個數(shù)據(jù)產(chǎn)品時，這個平臺能夠幫助工程師有效地構(gòu)建、部署以及調(diào)度作業(yè)，并幫助數(shù)據(jù)工程師進行調(diào)優(yōu);平臺也可以自動分析用戶的 SQL，幫助用戶診斷其性能瓶頸在什么地方，很方便地幫助用戶進行 debug 和調(diào)優(yōu)，以及一鍵式發(fā)布;同時還可幫助數(shù)據(jù)科學(xué)家在這個平臺進行 ad-hoc 的查詢和基本的分析工作。

MMD

MMD, Moving Metrics Detection，這個平臺通過無監(jiān)督機器學(xué)習(xí)，去發(fā)現(xiàn)數(shù)據(jù)的 pattern，在哪些地方有瓶頸，然后還可以自動地預(yù)測數(shù)據(jù) pattern 有可能發(fā)生的一些趨勢變化，重新找到它的 change point，在新的 pattern 下面再進行進一步發(fā)現(xiàn)。

GRO

Global Retail Automation，它是通過機器學(xué)習(xí)理解市場趨勢以及幫助銷售人員有效地做他們的庫存的管理。做這種定位的管理，能夠更好地幫助他們驅(qū)動他們在 eBay 上的業(yè)務(wù)增長。

Nous

Nous 是 eBay 的增強分析產(chǎn)品的代表之一，背后是基于 bot 的技術(shù)，用戶可以跟它進行交互式的數(shù)據(jù)查詢和報表分析。這個產(chǎn)品體現(xiàn)了三個核心價值：

容易，任何一個人可以容易到像在谷歌上搜索一個普通的關(guān)鍵詞一樣，去搜索要做的數(shù)據(jù)分析，或者感興趣的一些商業(yè)上的點。

智能，它取代了傳統(tǒng)報表，不但能夠產(chǎn)生報表，還可做一些具體定位的分析，可能是因為什么原因造成了現(xiàn)在數(shù)據(jù)上的一些偏差。

快，無論后臺是使用 Teradata 還是用 Hadoop，能夠?qū)崿F(xiàn)非�？旆浅＜皶r的數(shù)據(jù)分析的結(jié)果。

 

 

NOUS - 操作簡便的查詢

 

 

iBot- 對話式查看數(shù)據(jù)

eBay 在增強分析數(shù)據(jù)上剛剛邁了第一步，未來還會繼續(xù)不斷地加快在增強型數(shù)據(jù)分析和數(shù)據(jù)管理上步伐;eBay 中國研發(fā)中心也期待能進一步跟業(yè)務(wù)部門集成在一起，為業(yè)務(wù)部門提供更加實時、便捷的分析服務(wù)，助力 eBay 創(chuàng)造更多經(jīng)濟價值;同時 eBay 將秉承一貫作風(fēng)，把好的技術(shù)、實踐、產(chǎn)品貢獻(xiàn)到開源社區(qū)，帶動整個大數(shù)據(jù)業(yè)界的發(fā)展。

標(biāo)簽： 大數(shù)據(jù)平臺 數(shù)據(jù)分析

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。