來源：華為IoT云服務

在物聯(lián)網(wǎng)時代，數(shù)量龐大的“物”會產(chǎn)生 PB 級的海量數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理服務的處理速度已無法跟上數(shù)據(jù)產(chǎn)生的速度。如果沒法及時分析與利用這龐大的物聯(lián)網(wǎng)設備數(shù)據(jù)，就無法將數(shù)據(jù)的價值最大化，大數(shù)據(jù)分析能力的建設對物聯(lián)網(wǎng)企業(yè)來說又成為了一個新的挑戰(zhàn)。針對這種情況，大數(shù)據(jù)處理服務應運而生。服務提供商提供大數(shù)據(jù)處理平臺，為企業(yè)消除了大數(shù)據(jù)處理的效率問題和可靠性問題，讓企業(yè)能夠?qū)Ｗ⒂谖锫?lián)網(wǎng)數(shù)據(jù)的分析與利用。

方案總覽

物聯(lián)網(wǎng)大數(shù)據(jù)根據(jù)數(shù)據(jù)類型的不同，分析方式也不同。

方式 1：有些數(shù)據(jù)的實時性很強，如果沒有及時分析處理就會失去價值，甚至可能造成損失，我們稱之為實時數(shù)據(jù)。典型的實時數(shù)據(jù)包括設備位置信息、設備實時狀態(tài)等，應用于實時監(jiān)控、實時告警等場景，例如，車輛實時上報位置數(shù)據(jù)，實時分析后呈現(xiàn)到交通監(jiān)控中心的大屏上，交通專家根據(jù)實時數(shù)據(jù)下達各種交通控制決策，如紅綠燈時間調(diào)整等。為了實現(xiàn)高實時性，我們可以采用實時流分析方案，從物聯(lián)網(wǎng)平臺對外的數(shù)據(jù)通道中實時提取流動數(shù)據(jù)，分析和處理之后再輸出至數(shù)據(jù)通道繼續(xù)流轉(zhuǎn)，保證呈現(xiàn)的數(shù)據(jù)永遠是最“新鮮”的。

方式 2：有些數(shù)據(jù)實時性沒那么強，但是和時間順序強相關(guān)，分析后的數(shù)據(jù)需要分類后按時序儲存，并提供按時序瀏覽、查詢數(shù)據(jù)的能力，我們稱之為時序數(shù)據(jù)。典型的時序數(shù)據(jù)包括設備移動軌跡、股票價格曲線等，應用于行為分析、趨勢預測等場景，例如，基于物聯(lián)網(wǎng)的公路監(jiān)控系統(tǒng)保存了近期所有車輛的行駛軌跡，警方可隨時從中提取指定嫌疑人車輛的形式的軌跡，推測出嫌疑人的目的地，從而進行包抄逮捕。時序分析一般依賴于時序數(shù)據(jù)庫，數(shù)據(jù)保存至時序數(shù)據(jù)庫進行分類與排序，再由其他應用或服務從數(shù)據(jù)庫中獲取進行進一步處理。

方式 3：還有一些數(shù)據(jù)，對于實時性和有序性的要求都沒那么強，分析時數(shù)據(jù)已經(jīng)固化，我們稱之為離線數(shù)據(jù)。典型的離線數(shù)據(jù)包括產(chǎn)品銷量數(shù)據(jù)、景點游客數(shù)據(jù)等，應用于統(tǒng)計分析，總結(jié)盤點等場景，例如，物聯(lián)網(wǎng)平臺將自動售貨機上報的銷售數(shù)據(jù)匯總后保存，然后定期使用大數(shù)據(jù)分析平臺分析銷售數(shù)據(jù)，以報表形式呈現(xiàn)給廠家，協(xié)助廠家進行銷售策略的調(diào)整。離線分析的挑戰(zhàn)主要在于龐大的數(shù)據(jù)量，一般會采用分布式處理的方案來提升海量數(shù)據(jù)分析的效率。

在本文中，我們將為您重點介紹實時分析和離線分析兩種方案，時序分析方案我們下次再分享(華為云物聯(lián)網(wǎng)時序分析服務近期上線，敬請期待)。

01 實時分析方案

 

 

首先，讓我們了解一下這個方案使用的服務。

設備接入服務： 設備接入是華為 OceanConnect 物聯(lián)網(wǎng)平臺對海量設備進行聯(lián)接、數(shù)據(jù)采集 / 轉(zhuǎn)發(fā)、遠程控制的云服務。可實現(xiàn)海量設備與云端之間雙向通信連接、設備數(shù)據(jù)采集上云，支持上層應用通過調(diào)用 API 遠程控制設備，還提供了與華為云其他云服務無縫對接的規(guī)則引擎，可應用于各種物聯(lián)網(wǎng)場景。設備接入服務還可以搭配設備管理服務使用，可實現(xiàn)產(chǎn)品模型定義、設備生命周期可視化管理，提供強大的面向行業(yè)應用開放能力，幫助企業(yè)快速構(gòu)建創(chuàng)新的物聯(lián)網(wǎng)業(yè)務。

 

 

數(shù)據(jù)接入服務(DIS)： 數(shù)據(jù)接入服務(Data Ingestion Service)為處理或分析流數(shù)據(jù)的自定義應用程序構(gòu)建數(shù)據(jù)流管道，主要解決云服務外的數(shù)據(jù)實時傳輸?shù)皆品�務�?nèi)的問題。數(shù)據(jù)接入服務每小時可從數(shù)十萬種數(shù)據(jù)源(如 IoT 數(shù)據(jù)采集、日志和定位追蹤事件、網(wǎng)站點擊流、社交媒體源等)中連續(xù)捕獲、傳送和存儲數(shù) TB 數(shù)據(jù)。

 

 

實時流計算服務(CS)： 實時流計算服務(Cloud Stream Service)，是運行在公有云上的實時流式大數(shù)據(jù)分析服務，全托管的方式用戶無需感知計算集群，只需聚焦于 Stream SQL 業(yè)務，即時執(zhí)行作業(yè)。

 

 

對象存儲服務(OBS)： 對象存儲服務(Object Storage Service)是一個基于對象的海量存儲服務，為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲能力，包括：創(chuàng)建、修改、刪除桶，上傳、下載、刪除對象等。其中對象是 OBS 中數(shù)據(jù)存儲的基本單位，用戶上傳至 OBS 的數(shù)據(jù)都以對象的形式保存在桶中，而桶是是 OBS 中存儲對象的容器。

 

 

數(shù)據(jù)倉庫服務(DWS)： 數(shù)據(jù)倉庫服務(Data Warehouse Service)是一種基于公有云基礎架構(gòu)和平臺的在線數(shù)據(jù)處理數(shù)據(jù)庫，提供即開即用、可擴展且完全托管的分析型數(shù)據(jù)庫服務。DWS 是基于華為融合數(shù)據(jù)倉庫 GaussDB 產(chǎn)品的云原生服務，兼容標準 ANSI SQL 99 和 SQL 2003，同時兼容 PostgreSQL/Oracle 數(shù)據(jù)庫生態(tài)，為各行業(yè) PB 級海量大數(shù)據(jù)分析提供有競爭力的解決方案。

數(shù)據(jù)可視化服務(DLV)： 數(shù)據(jù)可視化服務(Data Lake Visualization)是一站式數(shù)據(jù)可視化平臺，適配云上云下多種數(shù)據(jù)源，提供豐富多樣的 2D、3D 可視化組件，采用拖拽式自由布局，旨在幫助您快速定制和應用屬于您自己的數(shù)據(jù)大屏。

 

 

該方案的數(shù)據(jù)流向如下：

1. 物聯(lián)網(wǎng)平臺將設備上報的數(shù)據(jù)通過規(guī)則引擎功能轉(zhuǎn)發(fā)至數(shù)據(jù)接入服務(DIS)。

2. 實時流計算服務(CS)從 DIS 的通道中獲取實時數(shù)據(jù)，通過 SQL 語句分析并處理后，再寫入另一個 DIS 通道。

3.DIS 以對象存儲服務(OBS)為中介將分析結(jié)果轉(zhuǎn)儲至數(shù)據(jù)倉庫服務(DWS)。

4. 數(shù)據(jù)可視化服務(DLV)讀取分析結(jié)果呈現(xiàn)為可視化報表。

實現(xiàn)該方案，您需要進行以下操作：

1. 在 DWS 中創(chuàng)建一個集群并完成基本配置。

2. 創(chuàng)建兩條 DIS 通道，我們分別稱之為輸入通道和輸出通道，然后為輸出通道創(chuàng)建一個轉(zhuǎn)儲任務，將數(shù)據(jù)轉(zhuǎn)儲至 DWS 的集群。

注：轉(zhuǎn)儲時會使用 OBS 桶臨時存儲轉(zhuǎn)儲數(shù)據(jù)，若沒有 OBS 桶請創(chuàng)建一個。

3. 在設備接入服務中創(chuàng)建一條規(guī)則，將設備上報數(shù)據(jù)轉(zhuǎn)發(fā)至 DIS 的輸入通道。

4. 在 CS 中創(chuàng)建一個作業(yè)，實現(xiàn)從 DIS 輸入通道中獲取數(shù)據(jù)，分析處理后輸出至 DIS 輸出通道的功能。

5. 在 DLV 中創(chuàng)建數(shù)據(jù)連接從 DWS 中獲取數(shù)據(jù)，再創(chuàng)建數(shù)據(jù)大屏將數(shù)據(jù)可視化展示。

6. 將上報數(shù)據(jù)的設備接入物聯(lián)網(wǎng)平臺(設備接入服務)，并控制其上報數(shù)據(jù)。

詳細操作指導請參考各個服務的幫助文檔，本文不再贅述。

02 離線分析方案

 

 

首先，讓我們了解一下這個方案使用的服務，前面已經(jīng)介紹過的服務此處不再重復介紹。

MapReduce 服務(MRS)： MapReduce 服務是一個在華為云上部署和管理 Hadoop 系統(tǒng)的服務，一鍵即可部署 Hadoop 集群。MRS 提供租戶完全可控的企業(yè)級大數(shù)據(jù)集群云服務，輕松運行 Hadoop、Spark、HBase、Kafka、Storm 等大數(shù)據(jù)組件，并具備在后續(xù)根據(jù)業(yè)務需要進行定制開發(fā)的能力。

 

 

該方案的數(shù)據(jù)流向如下：

1. 物聯(lián)網(wǎng)平臺將設備上報的數(shù)據(jù)通過規(guī)則引擎功能轉(zhuǎn)發(fā)至數(shù)據(jù)接入服務(DIS)。

2.DIS 使用對象存儲服務(OBS)作為中介，再將數(shù)據(jù)轉(zhuǎn)儲至 MapReduce 服務(MRS)。

3.MRS 從 OBS 獲取用戶定制的分析程序包，運行程序分析數(shù)據(jù)，并保存分析結(jié)果(可寫入持久化數(shù)據(jù)庫或?qū)懗晌募?。

4. 數(shù)據(jù)可視化服務(DLV)讀取分析結(jié)果呈現(xiàn)為可視化報表。

實現(xiàn)該方案，您需要進行以下操作：

1. 在 MRS 中創(chuàng)建一個 Hadoop 分析集群。

2. 參考 MRS 的開發(fā)指南開發(fā)一個大數(shù)據(jù)分析程序，實現(xiàn)讀取 JSON 格式的數(shù)據(jù)分析并處理，然后寫入本地數(shù)據(jù)庫或者寫成文件存到 OBS。程序開發(fā)完成后需打包成 JAR 文件并上傳至 OBS 桶，若您沒有 OBS 桶請創(chuàng)建一個。

3. 創(chuàng)建一條 DIS 通道，然后為該通道創(chuàng)建一個轉(zhuǎn)儲任務，將數(shù)據(jù)轉(zhuǎn)儲至 MRS 的集群。

4. 在設備接入服務中創(chuàng)建一條規(guī)則，將設備上報數(shù)據(jù)轉(zhuǎn)發(fā)至 DIS 的通道。

5. 將上報數(shù)據(jù)的設備接入物聯(lián)網(wǎng)平臺(設備接入服務)，并控制其上報數(shù)據(jù)。

6. 在 MRS 中創(chuàng)建一個作業(yè)，執(zhí)行 OBS 桶中的大數(shù)據(jù)分析程序。

7. 在 DLV 中創(chuàng)建數(shù)據(jù)連接從 MRS 數(shù)據(jù)庫或 OBS 中讀取數(shù)據(jù)，再創(chuàng)建數(shù)據(jù)大屏將數(shù)據(jù)可視化展示。

詳細操作指導請參考各個服務的幫助文檔，本文不再贅述，但針對這個方案中的其中一種場景，我們提供了包含詳細操作步驟和代碼樣例的物聯(lián)網(wǎng)微認證，若您感興趣，可購買微認證快速體驗物聯(lián)網(wǎng)大數(shù)據(jù)分析流程。

本文轉(zhuǎn)載自公眾號華為 IoT 云服務(ID：hwiot0601)。

原文鏈接：https://mp.weixin.qq.com/s/PO157BqRzlLazVDEhZbQgA

標簽： 物聯(lián)網(wǎng) 大數(shù)據(jù)分析

版權(quán)申明：本站文章部分自網(wǎng)絡，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。