在人工智能時(shí)代，企業(yè)既想通過(guò)大數(shù)據(jù)分析、挖掘技術(shù)提升效率，又被大數(shù)據(jù)量分析、機(jī)器學(xué)習(xí)挖掘等相關(guān)技術(shù)門檻阻擾，需要一款數(shù)據(jù)分析挖掘產(chǎn)品跨越這個(gè)鴻溝。Jarvis在這個(gè)背景下應(yīng)運(yùn)而生。Jarvis是支撐大數(shù)據(jù)分析挖掘應(yīng)用開發(fā)的工具和平臺(tái)，定位在企業(yè)開發(fā)者和大數(shù)據(jù)分析挖掘技術(shù)之間，提供可視化交互方面的支持，使得大數(shù)據(jù)分析、挖掘技術(shù)能快速轉(zhuǎn)化為滿足企業(yè)應(yīng)用場(chǎng)景的具體產(chǎn)品。

據(jù)了解，Jarvis技術(shù)實(shí)施�？v向分層、橫向分級(jí)確�？扇�流程解決數(shù)據(jù)分析挖掘過(guò)程中的數(shù)據(jù)處理、計(jì)算資源、算子算法支持、環(huán)境部署等各環(huán)節(jié)問(wèn)題，同時(shí)針對(duì)用戶進(jìn)行功能分級(jí)、并最大限度保持可擴(kuò)展，為真正成為一款造福數(shù)據(jù)科學(xué)家、業(yè)務(wù)開發(fā)者、數(shù)據(jù)分析師、產(chǎn)品經(jīng)理、決策分析者等各類開發(fā)用戶的產(chǎn)品而努力。

 

 

可視化管理數(shù)據(jù)科學(xué)全流程

一個(gè)經(jīng)典的數(shù)據(jù)挖掘分析應(yīng)用過(guò)程包括，數(shù)據(jù)獲取、數(shù)據(jù)預(yù)期處理、特征提取、建模開發(fā)、預(yù)測(cè)部署、投入應(yīng)用。Jarvis充分調(diào)研分析開發(fā)實(shí)施人員在各環(huán)節(jié)面臨的處理場(chǎng)景、可能的高效、方便的工作方式，進(jìn)行了抽象設(shè)計(jì)實(shí)現(xiàn)：

數(shù)據(jù)連接，支持結(jié)構(gòu)化、非結(jié)構(gòu)化多類型數(shù)據(jù)接入，支持私有數(shù)據(jù)接入、支持云Bos、分布式HDFS、關(guān)系型數(shù)據(jù)庫(kù)等等多類型數(shù)據(jù)源讀取及靈活掛載。

數(shù)據(jù)準(zhǔn)備，提供支持文本、圖像類型的交互式的數(shù)據(jù)清洗、預(yù)處理工具，方便進(jìn)行數(shù)據(jù)高效準(zhǔn)備。

數(shù)據(jù)分析，支持PB級(jí)別的SQL交互式查詢分析、Spark處理;同時(shí)提供豐富的可視化數(shù)據(jù)探查工具，方便開發(fā)者獲取高價(jià)值有效樣本。

挖掘建模，內(nèi)置了豐富的基礎(chǔ)算子算法供開發(fā)者高效進(jìn)行建模開發(fā);同時(shí)預(yù)置了經(jīng)典的垂類行業(yè)解決方案，可以低成本在匹配場(chǎng)景進(jìn)行高效實(shí)施。

模型部署，生成模型可直接發(fā)布、部署，并支持動(dòng)態(tài)熱加載。提供了常用模型評(píng)價(jià)指標(biāo)的效果監(jiān)控功能供一鍵選擇監(jiān)控、支持自由擴(kuò)展。

流程監(jiān)控，開發(fā)者進(jìn)行的全工作流實(shí)現(xiàn)自動(dòng)Track，新數(shù)據(jù)可自動(dòng)觸發(fā)重跑全流程。

 

 

云原生服務(wù)

在數(shù)據(jù)分析挖掘全流程及服務(wù)過(guò)程中，不同的場(chǎng)景、不同的數(shù)據(jù)、不同的處理階段、不同的開發(fā)者對(duì)于環(huán)境的需求、對(duì)于資源的需求多種多樣，這就需要數(shù)據(jù)分析挖掘平臺(tái)的資源(包含開發(fā)環(huán)境資源)管理要能靈活接入、彈性拉伸、擴(kuò)展方便，確保穩(wěn)定及資源利用高效。Jarvis采用了云原生服務(wù)架構(gòu)的方式實(shí)現(xiàn)。

 

 

自動(dòng)機(jī)器學(xué)習(xí)AutoML

策略模型研發(fā)人員大量的時(shí)間花費(fèi)在選取不同的特征數(shù)據(jù)、進(jìn)行不同的算法選擇嘗試、參數(shù)調(diào)優(yōu)中，最終獲得一個(gè)高效的模型。AutoML理論上可通過(guò)設(shè)置自動(dòng)嘗試多數(shù)據(jù)特征、多算法、測(cè)試完全不同的模型架構(gòu)，然后與目標(biāo)相匹配，給出最終解決問(wèn)題的方案。

 

 

行業(yè)解決方案

同行業(yè)的不同企業(yè)往往存在共性的數(shù)據(jù)分析挖掘場(chǎng)景，例如:電力行業(yè)，用電量預(yù)測(cè);工業(yè)物理網(wǎng)類，設(shè)備故障檢測(cè)、故障預(yù)測(cè)等。這些同類場(chǎng)景要解決的問(wèn)題類似、要分析的數(shù)據(jù)類似，因此可以抽象通用的行業(yè)解決方案在同類場(chǎng)景下復(fù)用、快速投入應(yīng)用。對(duì)于深層次的數(shù)據(jù)挖掘開發(fā)者，同樣有大量通用的算法、算子庫(kù)可以相互復(fù)用，提升開發(fā)效率。Jarvis從基礎(chǔ)算法、通用模型、垂類解決方案分層內(nèi)置能力并不斷擴(kuò)展集成，為不同場(chǎng)景需求的開發(fā)者用戶提供了高效復(fù)用能力。

 

 

百度開發(fā)者大會(huì)期間，Jarvis通過(guò)點(diǎn)石-大數(shù)據(jù)眾智平臺(tái)(dianshi.baidu.com, DataLab板塊)邀測(cè)了第一批用戶進(jìn)行增強(qiáng)版基礎(chǔ)開發(fā)環(huán)境的使用(內(nèi)置了豐富的算子算法庫(kù)及百度AI開放接口),受到用戶的一致好評(píng)。

 

標(biāo)簽： 大數(shù)據(jù) 大數(shù)據(jù)分析 開發(fā)者 數(shù)據(jù)分析 數(shù)據(jù)庫(kù)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。