前言

隨著大數(shù)據技術的不斷更新和迭代，數(shù)據管理工具得到了飛速的發(fā)展，相關概念如雨后春筍一般應運而生，如從最初決策支持系統(tǒng)(DSS)到商業(yè)智能(BI)、數(shù)據倉庫、數(shù)據湖、數(shù)據中臺等，這些概念特別容易混淆，本文對這些名詞術語及內涵進行系統(tǒng)的解析，便于讀者對數(shù)據平臺相關的概念有全面的認識。

一、數(shù)據倉庫

數(shù)據倉庫平臺逐步從 BI 報表為主到分析為主、到預測為主、再到操作智能為目標。

 

 

數(shù)據倉庫發(fā)展階段劃分

商務智能(BI，Business Intelligence)是一種以提供決策分析性的運營數(shù)據為目的而建立的信息系統(tǒng)。是屬于在線分析處理：On Line Analytical Processing (OLAP)，將預先計算完成的匯總數(shù)據，儲存于魔方數(shù)據庫(Cube) 之中，針對復雜的分析查詢，提供快速的響應。在前 10 年，BI 報表項目比較多，是數(shù)據倉庫項目的前期預熱項目(主要分析為主的階段，是數(shù)據倉庫的初級階段)，制作一些可視化報表展現(xiàn)給管理者。

它利用信息科技，將分散于企業(yè)內、外部各種數(shù)據加以整合并轉換成知識，并依據某些特定的主題需求，進行決策分析和運算;

用戶則通過報表、圖表、多維度分析的方式，尋找解決業(yè)務問題所需要的方案;

這些結果將呈報給決策者，以支持策略性的決策和定義組織績效，或者融入智能知識庫自動向客戶推送。

1. 1 數(shù)據倉庫基本定義

數(shù)據倉庫(Data Warehouse)是一個面向主題的(Subject Oriented)、集成的(Integrated)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化的(Time Variant)數(shù)據集合，用于支持管理決策和信息的全局共享。其主要功能是將組織透過資訊系統(tǒng)之聯(lián)機事務處理(OLTP)經年累月所累積的大量資料，透過數(shù)據倉庫理論所特有的資料儲存架構，作一有系統(tǒng)的分析整理，以利各種分析方法如聯(lián)機分析處理(OLAP)、數(shù)據挖掘(Data Mining)之進行，并進而支持如決策支持系統(tǒng)(DSS)、主管資訊系統(tǒng)(EIS)之創(chuàng)建，幫助決策者能快速有效的自大量資料中，分析出有價值的資訊，以利決策擬定及快速回應外在環(huán)境變動，幫助建構商業(yè)智能(BI)。

所謂主題：是指用戶使用數(shù)據倉庫進行決策時所關心的重點方面，如：收入、客戶、銷售渠道等;所謂面向主題，是指數(shù)據倉庫內的信息是按主題進行組織的，而不是像業(yè)務支撐系統(tǒng)那樣是按照業(yè)務功能進行組織的。

所謂集成：是指數(shù)據倉庫中的信息不是從各個業(yè)務系統(tǒng)中簡單抽取出來的，而是經過一系列加工、整理和匯總的過程，因此數(shù)據倉庫中的信息是關于整個企業(yè)的一致的全局信息。

所謂隨時間變化：是指數(shù)據倉庫內的信息并不只是反映企業(yè)當前的狀態(tài)，而是記錄了從過去某一時點到當前各個階段的信息。通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預測。

 

 

數(shù)據倉庫邏輯架構

1. 2 數(shù)據倉庫系統(tǒng)作用和定位

數(shù)據倉庫系統(tǒng)的作用能實現(xiàn)跨業(yè)務條線、跨系統(tǒng)的數(shù)據整合，為管理分析和業(yè)務決策提供統(tǒng)一的數(shù)據支持。數(shù)據倉庫能夠從根本上幫助你把公司的運營數(shù)據轉化成為高價值的可以獲取的信息(或知識)，并且在恰當?shù)臅r候通過恰當?shù)姆绞桨亚‘數(shù)男畔�傳遞給恰當?shù)娜恕?/p>

 

 

數(shù)據倉庫的作用

是面向企業(yè)中、高級管理進行業(yè)務分析和績效考核的數(shù)據整合、分析和展現(xiàn)的工具;

是主要用于歷史性、綜合性和深層次數(shù)據分析;

數(shù)據來源是 ERP(例:SAP)系統(tǒng)或其他業(yè)務系統(tǒng);

能夠提供靈活、直觀、簡潔和易于操作的多維查詢分析;

不是日常交易操作系統(tǒng)，不能直接產生交易數(shù)據;

數(shù)據倉庫針對實時數(shù)據處理，非結構化數(shù)據處理能力較弱，以及在業(yè)務在預警預測方面應用相對有限。

1. 3 數(shù)據倉庫能提供什么

 

 

數(shù)據倉庫提供價值

1. 4 數(shù)據倉庫系統(tǒng)構成

數(shù)據倉庫系統(tǒng)除了包含分析產品本身之外，還包含數(shù)據集成、數(shù)據存儲、數(shù)據計算、門戶展現(xiàn)、平臺管理等其它一系列的產品。

 

 

數(shù)據倉庫產品構成

 

 

數(shù)據倉庫產品構成

二、數(shù)據湖

數(shù)據湖(Data Lake)是 Pentaho 的 CTO James Dixon 提出來的(Pentaho 作為一家 BI 公司在理念上是挺先進的)，是一種數(shù)據存儲理念——即在系統(tǒng)或存儲庫中以自然格式存儲數(shù)據的方法。

2. 1 維基百科對數(shù)據湖的定義

數(shù)據湖(Data Lake)是一個存儲企業(yè)的各種各樣原始數(shù)據的大型倉庫，其中的數(shù)據可供存取、處理、分析及傳輸。數(shù)據湖是以其自然格式存儲的數(shù)據的系統(tǒng)或存儲庫，通常是對象 blob 或文件。數(shù)據湖通常是企業(yè)所有數(shù)據的單一存儲，包括源系統(tǒng)數(shù)據的原始副本，以及用于報告、可視化、分析和機器學習等任務的轉換數(shù)據。數(shù)據湖可以包括來自關系數(shù)據庫(行和列)的結構化數(shù)據，半結構化數(shù)據(CSV，日志，XML，JSON)，非結構化數(shù)據(電子郵件，文檔，PDF)和二進制數(shù)據(圖像，音頻，視頻)。來源：維基百科。

目前，Hadoop 是最常用的部署數(shù)據湖的技術，所以很多人會覺得數(shù)據湖就是 Hadoop 集群。數(shù)據湖是一個概念，而 Hadoop 是用于實現(xiàn)這個概念的技術。

 

 

數(shù)據湖的處理架構

 

 

數(shù)據湖示意圖

2. 2 數(shù)據湖能給企業(yè)帶來多種能力

數(shù)據湖能給企業(yè)帶來多種能力，例如，能實現(xiàn)數(shù)據的集中式管理，在此之上，企業(yè)能挖掘出很多之前所不具備的能力。另外，數(shù)據湖結合先進的數(shù)據科學與機器學習技術，能幫助企業(yè)構建更多優(yōu)化后的運營模型，也能為企業(yè)提供其他能力，如預測分析、推薦模型等，這些模型能刺激企業(yè)能力的后續(xù)增長。數(shù)據湖能從以下方面幫助到企業(yè)：

實現(xiàn)數(shù)據治理(data governance)。

通過應用機器學習與人工智能技術實現(xiàn)商業(yè)智能。

預測分析，如領域特定的推薦引擎。

信息追蹤與一致性保障。

根據對歷史的分析生成新的數(shù)據維度。

有一個集中式的能存儲所有企業(yè)數(shù)據的數(shù)據中心，有利于實現(xiàn)一個針對數(shù)據傳輸優(yōu)化的數(shù)據服務。

幫助組織或企業(yè)做出更多靈活的關于企業(yè)增長的決策。

2. 3 數(shù)據倉庫與數(shù)據湖差異

在儲存方面上，數(shù)據湖中數(shù)據為非結構化的，所有數(shù)據都保持原始形式。存儲所有數(shù)據，并且僅在分析時再進行轉換。數(shù)據倉庫就是數(shù)據通常從事務系統(tǒng)中提取。

在將數(shù)據加載到數(shù)據倉庫之前，會對數(shù)據進行清理與轉換。在數(shù)據抓取中數(shù)據湖就是捕獲半結構化和非結構化數(shù)據。而數(shù)據倉庫則是捕獲結構化數(shù)據并將其按模式組織。

數(shù)據湖的目的就是數(shù)據湖非常適合深入分析的非結構化數(shù)據。數(shù)據科學家可能會用具有預測建模和統(tǒng)計分析等功能的高級分析工具。而數(shù)據倉庫就是數(shù)據倉庫非常適用于月度報告等操作用途，因為它具有高度結構化。

在架構中數(shù)據湖通常，在存儲數(shù)據之后定義架構。使用較少的初始工作并提供更大的靈活性。在數(shù)據倉庫中存儲數(shù)據之前定義架構。

表 1. 數(shù)據倉庫、數(shù)據湖和數(shù)據湖的區(qū)別如下：

 

 

三、數(shù)據中臺

3. 1 產生的背景

企業(yè)在過去信息化的歷程中形成了大量生產經營及專業(yè)業(yè)務應用成果，同時也累積了大量的企業(yè)數(shù)據資產。限于傳統(tǒng)的數(shù)據倉庫技術手段，數(shù)據管理和分析能力成為信息化工作中的短板。企業(yè)信息系統(tǒng)眾多，系統(tǒng)管理獨立，數(shù)據存儲分散，橫向的數(shù)據共享和分析應用僅由具體業(yè)務驅動，難以對全局數(shù)據開展價值挖掘，從規(guī)模上和效果上都無法真正體現(xiàn)集團龐大數(shù)據資產的價值。市場競爭和產業(yè)鏈日益全球化，企業(yè)不只滿足于內部數(shù)據的分析，更要通過互聯(lián)網、微信、APP 等新技術手段結合外部市場數(shù)據進行整體分析。

(1)傳統(tǒng)的數(shù)據倉庫不能滿足數(shù)據分析需求。

企業(yè)在數(shù)據分析應用方面呈現(xiàn)“五大轉變”(從統(tǒng)計分析向預測分析轉變、從單領域分析向跨領域轉變、從被動分析向主動分析轉變、從非實時向實時分析轉變、從結構化數(shù)據向多元化轉變)，并且對統(tǒng)一的數(shù)據中臺平臺訴求強烈，對數(shù)據中臺的運算能力、核心算法、及數(shù)據全面性提出了更高的要求。

(2)數(shù)據中臺的處理架構發(fā)生了變化。

一是以 Hadoop、Spark 等分布式技術和組件為核心的“計算&存儲混搭”的數(shù)據處理架構，能夠支持批量和實時的數(shù)據加載以及靈活的業(yè)務需求。二是數(shù)據的預處理流程正在從傳統(tǒng)的 ETL 結構向 ELT 轉變。傳統(tǒng)的數(shù)據倉庫集成處理架構是 ETL 結構，這是構建數(shù)據倉庫的重要一環(huán)，即用戶從數(shù)據源抽取出所需的數(shù)據，經過數(shù)據清洗，將數(shù)據加載到數(shù)據倉庫中去。而大數(shù)據背景下的架構體系是 ELT 結構，其根據上層的應用需求，隨時從數(shù)據中臺中抽取想要的原始數(shù)據進行建模分析。

3. 2 數(shù)據中臺建設是數(shù)字化轉型的關鍵支撐

數(shù)據中臺成為熱點，“中臺”這個概念，是相對于前臺和后臺而生，是前臺和后臺的鏈接點，將業(yè)務共同的工具和技術予以沉淀。數(shù)據中臺是指數(shù)據采集交換、共享融合、組織處理、建模分析、管理治理和服務應用于一體的綜合性數(shù)據能力平臺，在大數(shù)據生態(tài)中處于承上啟下的功能，提供面向數(shù)據應用支撐的底座能力。

廣義上來給數(shù)據中臺一個企業(yè)級的定義：“聚合和治理跨域數(shù)據，將數(shù)據抽象封裝成服務，提供給前臺以業(yè)務價值的邏輯概念”。

 

 

數(shù)據中臺建設是數(shù)字化轉型的關鍵支撐

中臺戰(zhàn)略核心是數(shù)據服務的共享。中臺戰(zhàn)略并不是搭建一個數(shù)據平臺，但是中臺的大部分服務都是圍繞數(shù)據而生，數(shù)據中臺是圍繞向上層應用提供數(shù)據服務構建的，中臺戰(zhàn)略讓數(shù)據在數(shù)據平臺和業(yè)務系統(tǒng)之間形成了一個良性的閉環(huán)，也就是實現(xiàn)應用與數(shù)據之間解藕，并實現(xiàn)緊密交互。

敏捷前臺：一線作戰(zhàn)單元，強調敏捷交互及穩(wěn)定交付的組織能力建設。

業(yè)務中臺：能力固化與賦能，固化通用能力，賦能前線部隊，提升配置效率，加快前線響應，產品化業(yè)務化，開辟全新生態(tài)。

數(shù)據中臺：資產整合與共享，整合多維數(shù)據，統(tǒng)一資產管理，連通數(shù)據孤島，共享數(shù)據資源，深入挖掘數(shù)據，盤活資產價值。

穩(wěn)定后臺：以共享中心建設為核心，為前中臺提供專業(yè)的內部服務支撐。

3. 3 數(shù)據中臺定義及處理架構

數(shù)據中臺是指通過企業(yè)內外部多源異構的數(shù)據采集、治理、建模、分析，應用，使數(shù)據對內優(yōu)化管理提高業(yè)務，對外可以數(shù)據合作價值釋放，成為企業(yè)數(shù)據資產管理中樞。數(shù)據中臺建立后，會形成數(shù)據 API，為企業(yè)和客戶提供高效各種數(shù)據服務。

 

 

數(shù)據中臺架構圖

數(shù)據中臺整體技術架構上采用云計算架構模式，將數(shù)據資源、計算資源、存儲資源充分云化，并通過多租戶技術進行資源打包整合，并進行開放，為用戶提供“一站式”數(shù)據服務。

利用大數(shù)據技術，對海量數(shù)據進行統(tǒng)一采集、計算、存儲，并使用統(tǒng)一的數(shù)據規(guī)范進行管理，將企業(yè)內部所有數(shù)據統(tǒng)一處理形成標準化數(shù)據，挖掘出對企業(yè)最有價值的數(shù)據，構建企業(yè)數(shù)據資產庫，提供一致的、高可用大 數(shù)據服務。

數(shù)據中臺不是一套軟件，也不是一個信息系統(tǒng)，而是一系列數(shù)據組件的集合，企業(yè)基于自身的信息化建設基礎、數(shù)據基礎以及業(yè)務特點對數(shù)據中臺的能力進行定義，基于能力定義利用數(shù)據組件搭建自己的數(shù)據中臺。

3. 4 數(shù)據中臺帶來價值

數(shù)據中臺對一個企業(yè)的數(shù)字化轉型和可持續(xù)發(fā)展起著至關重要的作用。數(shù)據中臺為解耦而生，企業(yè)建設數(shù)據中臺的最大意義就是應用與數(shù)據解藕。這樣企業(yè)就可以不受限制地按需構建滿足業(yè)務需求的數(shù)據應用。

構建了開放、靈活、可擴展的企業(yè)級統(tǒng)一數(shù)據管理和分析平臺， 將企業(yè)內、外部數(shù)據隨需關聯(lián)，打破了數(shù)據的系統(tǒng)界限。

利用大數(shù)據智能分析、數(shù)據可視化等技術，實現(xiàn)了數(shù)據共享、日常報表自動生成、快速和智能分析，滿足集團總部和各分子公司各級數(shù)據分析應用需求。

深度挖掘數(shù)據價值，助力企業(yè)數(shù)字化轉型落地。實現(xiàn)了數(shù)據的目錄、模型、標準、認責、安全、可視化、共享等管理，實現(xiàn)數(shù)據集中存儲、處理、分類與管理，建立大數(shù)據分析工具庫、算法服務庫，實現(xiàn)報表生成自動化、數(shù)據分析敏捷化、數(shù)據挖掘可視化，實現(xiàn)數(shù)據質量評估、落地管理流程。

四、傳統(tǒng)數(shù)據倉庫與數(shù)據中臺的差異點

 

 

數(shù)據中臺與傳統(tǒng)數(shù)據倉庫比較

 

 

技術路線對比表

作為工業(yè)企業(yè)，一般采用混搭架構

 

 

技術路線選型比較表

結論

本文對數(shù)據倉庫、數(shù)據湖、數(shù)據中臺等內涵作了詳細說明，便于讀者更好的理解和掌握數(shù)據領域相關概念。

最后總結一點：數(shù)據中臺更好的支撐數(shù)據預測分析、跨領域分析、主動分析、實時分析、多元化結構化數(shù)據分析，數(shù)據中臺建設是我們企業(yè)數(shù)據服務和共享奠定重要的基礎，可以加速從數(shù)據到價值的過程，打造相應業(yè)務能力。

標簽： 數(shù)據倉 

版權申明：本站文章部分自網絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。