在上周舉行的數(shù)據(jù)架構2018年峰會上，William McKnight就使用不同的數(shù)據(jù)平臺創(chuàng)建現(xiàn)代數(shù)據(jù)架構做了主旨演講。

他以討論組織的數(shù)據(jù)成熟度和業(yè)務成功之間的高度相關性開始了他的演講。組織的數(shù)據(jù)架構越成熟，業(yè)務就越成功。成熟度較低的組織往往會把數(shù)據(jù)分散于不同的信息孤島中。他分享了一些來自2018年“互聯(lián)網(wǎng)分鐘（Internet Minute）”中所發(fā)生的事情的統(tǒng)計數(shù)據(jù)，在互聯(lián)網(wǎng)上每分鐘發(fā)送1億8700萬封電子郵件和1800萬條短信，進行370萬次搜索查詢等等。

人工智能（AI）是一股顛覆性的力量，而數(shù)據(jù)則是這場革命的基石。行業(yè)中出現(xiàn)了新的數(shù)據(jù)集：生物數(shù)據(jù)（Bio Data）。如果將生物數(shù)據(jù)和環(huán)境數(shù)據(jù)（如位置等）結合在一起，那么你將擁有進行數(shù)據(jù)分析的所有信息。

他談到了數(shù)據(jù)培養(yǎng)和像數(shù)據(jù)倉庫（data warehouse）和數(shù)據(jù)湖（Data Lake）這樣的解決方案如何幫助完成數(shù)據(jù)工作。數(shù)據(jù)架構師也需要在HDFS和云存儲之間做出選擇。HDFS具有更好的查詢性能，而云存儲的擴展性、持久性和可用性更好，并且成本更低。

通過比較關系數(shù)據(jù)庫和nosql數(shù)據(jù)庫的數(shù)據(jù)大小和工作負載復雜性，McKnight討論了即可使用的大數(shù)據(jù)平臺的選擇。

另外，他也談到了NewSQL數(shù)據(jù)庫，該數(shù)據(jù)庫可擴展、兼容ACID并支持分片。這些數(shù)據(jù)庫正被用于資本市場數(shù)據(jù)輸入、金融交易、電信記錄流和欺詐檢測。

數(shù)據(jù)庫的云部署提供了一些好處，包括按需和自助服務數(shù)據(jù)管理、廣泛的網(wǎng)絡訪問、資源匯集、快速彈性和可測量的服務。

傳統(tǒng)的ETL技術不足以用于企業(yè)范圍內(nèi)運行的數(shù)據(jù)平臺。有各種各樣的數(shù)據(jù)源，并且數(shù)據(jù)是實時流式傳輸?shù)�。�?shù)據(jù)架構應該考慮這些需求的流處理。

企業(yè)數(shù)據(jù)虛擬化提供了對所有結構化和半結構化數(shù)據(jù)持續(xù)及時的訪問，這些數(shù)據(jù)來自組織內(nèi)不同的數(shù)據(jù)源，如數(shù)據(jù)倉庫、市場、多維數(shù)據(jù)集、操作數(shù)據(jù)存儲（operational data stores，簡稱ODS）、事務源和文件系統(tǒng)。

他建議，數(shù)據(jù)專業(yè)人員在這次數(shù)據(jù)架構轉(zhuǎn)型旅程中進行他們的挑戰(zhàn)，應該做好進行長期戰(zhàn)役的準備，可能會失敗幾次才能最終獲得成功。將您的數(shù)據(jù)體系結構工作與應用程序預算和路線圖項目結合起來，以便在數(shù)據(jù)架構實施方面取得進展。

McKnight對其演講進行了總結，建議數(shù)據(jù)專業(yè)人員在需要高性能的數(shù)據(jù)管理解決方案的地方考慮使用內(nèi)存數(shù)據(jù)庫，并考慮未來使用GPU數(shù)據(jù)庫和混合數(shù)據(jù)庫。

閱讀英文原文：William McKnight on Data Platforms and Creating a Modern Data Architecture

標簽： 大數(shù)據(jù) 大數(shù)據(jù)平臺 電子郵件 互聯(lián)網(wǎng) 金融 數(shù)據(jù)分析 數(shù)據(jù)庫 搜索 網(wǎng)絡 轉(zhuǎn)型

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。