在上周舉行的數(shù)據(jù)架構(gòu)2018年峰會上，William McKnight就使用不同的數(shù)據(jù)平臺創(chuàng)建現(xiàn)代數(shù)據(jù)架構(gòu)做了主旨演講。

他以討論組織的數(shù)據(jù)成熟度和業(yè)務(wù)成功之間的高度相關(guān)性開始了他的演講。組織的數(shù)據(jù)架構(gòu)越成熟，業(yè)務(wù)就越成功。成熟度較低的組織往往會把數(shù)據(jù)分散于不同的信息孤島中。他分享了一些來自2018年“互聯(lián)網(wǎng)分鐘（Internet Minute）”中所發(fā)生的事情的統(tǒng)計(jì)數(shù)據(jù)，在互聯(lián)網(wǎng)上每分鐘發(fā)送1億8700萬封電子郵件和1800萬條短信，進(jìn)行370萬次搜索查詢等等。

人工智能（AI）是一股顛覆性的力量，而數(shù)據(jù)則是這場革命的基石。行業(yè)中出現(xiàn)了新的數(shù)據(jù)集：生物數(shù)據(jù)（Bio Data）。如果將生物數(shù)據(jù)和環(huán)境數(shù)據(jù)（如位置等）結(jié)合在一起，那么你將擁有進(jìn)行數(shù)據(jù)分析的所有信息。

他談到了數(shù)據(jù)培養(yǎng)和像數(shù)據(jù)倉庫（data warehouse）和數(shù)據(jù)湖（Data Lake）這樣的解決方案如何幫助完成數(shù)據(jù)工作。數(shù)據(jù)架構(gòu)師也需要在HDFS和云存儲之間做出選擇。HDFS具有更好的查詢性能，而云存儲的擴(kuò)展性、持久性和可用性更好，并且成本更低。

通過比較關(guān)系數(shù)據(jù)庫和nosql數(shù)據(jù)庫的數(shù)據(jù)大小和工作負(fù)載復(fù)雜性，McKnight討論了即可使用的大數(shù)據(jù)平臺的選擇。

另外，他也談到了NewSQL數(shù)據(jù)庫，該數(shù)據(jù)庫可擴(kuò)展、兼容ACID并支持分片。這些數(shù)據(jù)庫正被用于資本市場數(shù)據(jù)輸入、金融交易、電信記錄流和欺詐檢測。

數(shù)據(jù)庫的云部署提供了一些好處，包括按需和自助服務(wù)數(shù)據(jù)管理、廣泛的網(wǎng)絡(luò)訪問、資源匯集、快速彈性和可測量的服務(wù)。

傳統(tǒng)的ETL技術(shù)不足以用于企業(yè)范圍內(nèi)運(yùn)行的數(shù)據(jù)平臺。有各種各樣的數(shù)據(jù)源，并且數(shù)據(jù)是實(shí)時(shí)流式傳輸?shù)摹��?shù)據(jù)架構(gòu)應(yīng)該考慮這些需求的流處理。

企業(yè)數(shù)據(jù)虛擬化提供了對所有結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)持續(xù)及時(shí)的訪問，這些數(shù)據(jù)來自組織內(nèi)不同的數(shù)據(jù)源，如數(shù)據(jù)倉庫、市場、多維數(shù)據(jù)集、操作數(shù)據(jù)存儲（operational data stores，簡稱ODS）、事務(wù)源和文件系統(tǒng)。

他建議，數(shù)據(jù)專業(yè)人員在這次數(shù)據(jù)架構(gòu)轉(zhuǎn)型旅程中進(jìn)行他們的挑戰(zhàn)，應(yīng)該做好進(jìn)行長期戰(zhàn)役的準(zhǔn)備，可能會失敗幾次才能最終獲得成功。將您的數(shù)據(jù)體系結(jié)構(gòu)工作與應(yīng)用程序預(yù)算和路線圖項(xiàng)目結(jié)合起來，以便在數(shù)據(jù)架構(gòu)實(shí)施方面取得進(jìn)展。

McKnight對其演講進(jìn)行了總結(jié)，建議數(shù)據(jù)專業(yè)人員在需要高性能的數(shù)據(jù)管理解決方案的地方考慮使用內(nèi)存數(shù)據(jù)庫，并考慮未來使用GPU數(shù)據(jù)庫和混合數(shù)據(jù)庫。

閱讀英文原文：William McKnight on Data Platforms and Creating a Modern Data Architecture

標(biāo)簽： 大數(shù)據(jù) 大數(shù)據(jù)平臺 電子郵件 互聯(lián)網(wǎng) 金融 數(shù)據(jù)分析 數(shù)據(jù)庫 搜索 網(wǎng)絡(luò) 轉(zhuǎn)型

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。