大數(shù)據(jù)作為云計算、物聯(lián)網(wǎng)之后IT行業(yè)又一大顛覆性的技術(shù)革命，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域。越來越多的政府、企業(yè)等機構(gòu)開始意識到數(shù)據(jù)正在成為組織最重要的資產(chǎn)，數(shù)據(jù)分析能力正在成為組織的核心競爭力。如何通過數(shù)據(jù)整合分析為企業(yè)提供全方位的調(diào)度、監(jiān)控、管理等功能，從而最大程度提供更加專業(yè)化和個性化的服務(wù)，已成為企業(yè)關(guān)注的焦點。作為國內(nèi)領(lǐng)先的企業(yè)數(shù)據(jù)整合解決方案提供商，北京先進數(shù)通信息技術(shù)股份公司（簡稱“先進數(shù)通”）曾獲得IBM頒發(fā)的IBM信息管理（IM）卓越解決方案全球大獎，并獲得中國建設(shè)銀行數(shù)據(jù)大集中工程主要軟件服務(wù)提供商及網(wǎng)絡(luò)系統(tǒng)集成服務(wù)商等資質(zhì)。公司參與了國有商業(yè)銀行等金融機構(gòu)和大型企事業(yè)單位的信息化工程項目，擁有眾多的成功案例及自有知識產(chǎn)權(quán)的產(chǎn)品群，并在金融渠道應(yīng)用、信息資產(chǎn)管理和分析、個人金融服務(wù)、網(wǎng)絡(luò)集成服務(wù)等領(lǐng)域保持著業(yè)界領(lǐng)先地位。

      先進數(shù)通擁有完全具備自主知識產(chǎn)權(quán)的數(shù)據(jù)管理產(chǎn)品家族IMOIA，并發(fā)布了新一代監(jiān)控調(diào)度平臺IMOIA.SMS，全面支持IBM Datastage、Informatica等ETL工具，為數(shù)據(jù)處理業(yè)務(wù)提供調(diào)度、管理、監(jiān)控等全方位的專業(yè)支持，確保數(shù)據(jù)處理業(yè)務(wù)安全、穩(wěn)定、高效地運行，幫助用戶穩(wěn)步進入大數(shù)據(jù)時代。

 

構(gòu)建數(shù)據(jù)交換平臺生態(tài)環(huán)

 

 

      長安汽車在數(shù)據(jù)交換平臺建設(shè)的過程中技術(shù)難題不斷出現(xiàn)：數(shù)據(jù)交換平臺涉及集團各業(yè)務(wù)平臺，系統(tǒng)接口繁雜，接口參數(shù)難于管理，需要及時傳輸數(shù)據(jù)，數(shù)據(jù)交換作業(yè)要循環(huán)執(zhí)行，整個平臺的任務(wù)并發(fā)量難以控制，處理服務(wù)器存在配置差異，任務(wù)的均衡分配受到挑戰(zhàn)。為此，長安汽車與先進數(shù)通公司合作，引入調(diào)度產(chǎn)品MOIA作為數(shù)據(jù)交換平臺的調(diào)度核心，采用iMOIA.SMS調(diào)度監(jiān)控管理系統(tǒng)方案。該系統(tǒng)實現(xiàn)了資料數(shù)據(jù)庫、數(shù)據(jù)交換平臺、業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫三網(wǎng)融合，最大可能的滿足數(shù)據(jù)交換平臺的高速通訊需要。

      該系統(tǒng)通過Agent實現(xiàn)對DataStage作業(yè)以及命令行等的執(zhí)行調(diào)度，借助iMOIA.SMS的調(diào)度系統(tǒng)，形成了事件服務(wù)、調(diào)度決策服務(wù)、資源分配服務(wù)等機制，實現(xiàn)對數(shù)據(jù)交換任務(wù)的準(zhǔn)實時循環(huán)調(diào)度，實現(xiàn)數(shù)據(jù)交換任務(wù)異常狀態(tài)實時短信預(yù)警，通過業(yè)務(wù)流程展現(xiàn)數(shù)據(jù)交換流程，清晰把控業(yè)務(wù)流程。

通過iMOIA.SMS產(chǎn)品應(yīng)用實施，系統(tǒng)目前已管理作業(yè)達到1200余個，實現(xiàn)了即時調(diào)度數(shù)據(jù)處理任務(wù)實現(xiàn)業(yè)務(wù)系統(tǒng)與財務(wù)系統(tǒng)間的訂單信息傳遞，保證業(yè)務(wù)的及時性和連續(xù)性，并清晰展現(xiàn)出數(shù)據(jù)傳輸作業(yè)間的關(guān)系，有效梳理出數(shù)據(jù)傳輸平臺的數(shù)據(jù)鏈路。

 

高效利用集中統(tǒng)一調(diào)度平臺

 

 

      問題同樣出現(xiàn)在使用DataStage作為其ETL工具的友邦保險，友邦保險之前的數(shù)據(jù)交換主要集中在業(yè)務(wù)系統(tǒng)到數(shù)據(jù)中心的數(shù)據(jù)加工處理，以及業(yè)務(wù)系統(tǒng)與BI系統(tǒng)間的數(shù)據(jù)傳輸和交換。但隨著ETL作業(yè)所涉及的業(yè)務(wù)種類的增加，ETL作業(yè)量開始迅速增長，系統(tǒng)間的數(shù)據(jù)交換關(guān)系也越來越復(fù)雜。首先，ETL作業(yè)較多，統(tǒng)一管理困難，其次，ETL服務(wù)器需要集中為統(tǒng)一的資源池，共同負載ETL作業(yè)，ETL作業(yè)需要動態(tài)均衡地分配到各ETL服務(wù)器上，服務(wù)器的資源管理存在一定難度，此外還需要專門針對DataStage作業(yè)進行調(diào)度，應(yīng)用接口復(fù)雜。

      為應(yīng)對復(fù)雜的ETL作業(yè)調(diào)度場景，iMOIA.SMS調(diào)度采用事件驅(qū)動機制，該機制是在調(diào)度過程中進行決策的一種策略，即跟隨當(dāng)前時間點上出現(xiàn)的事件，調(diào)動可用資源，執(zhí)行相關(guān)任務(wù)。在項目中iMOIA.SMS系統(tǒng)建立了ETL作業(yè)的調(diào)度控制核心、數(shù)據(jù)中心平臺的管理中心、資源控制中心、安全保障中心。

      隨著iMOIA.SMS引入實現(xiàn)其多臺ETL服務(wù)器資源的整合，為其3000多的ETL作業(yè)統(tǒng)一分配ETL服務(wù)器的計算資源，實現(xiàn)資源的動態(tài)負載均衡和高可用。

 

數(shù)據(jù)調(diào)度促進大數(shù)據(jù)應(yīng)用

      先進數(shù)通公司是國內(nèi)最重要的IT集成與實施廠商之一，多年來致力于為中國企業(yè)的信息化建設(shè)提供專業(yè)服務(wù)。多年來一直關(guān)注ODS/DW/BI領(lǐng)域，目前先進數(shù)通iMOIA.SMS調(diào)度監(jiān)控管理系統(tǒng)在國內(nèi)銀行、證券、保險、制造等行業(yè)均有大量的用戶，受到了行業(yè)用戶的認可。

      在零售行業(yè)大數(shù)據(jù)領(lǐng)域，先進數(shù)通參與李寧體育ODS ETL數(shù)據(jù)調(diào)度統(tǒng)一管理的建設(shè)工作，通過將先進數(shù)通iMOIA.SMS調(diào)度監(jiān)控管理系統(tǒng)部署在李寧體育ODS ETL等系統(tǒng)之上，實現(xiàn)了對零售系統(tǒng)、庫存系統(tǒng)的每日數(shù)據(jù)抽取控制，以及對ETL服務(wù)器進行資源整合，實現(xiàn)資源的充分應(yīng)用。

      在證券行業(yè)大數(shù)據(jù)領(lǐng)域，先進數(shù)通參與華泰證券收購聯(lián)合證券后，數(shù)據(jù)中心系統(tǒng)已實現(xiàn)各業(yè)務(wù)系統(tǒng)間的信息整合建設(shè)工作。華泰證券使用MOIA調(diào)度平臺以實現(xiàn)其多臺ETL服務(wù)器資源的整合，為其2000多的ETL作業(yè)統(tǒng)一分配ETL服務(wù)器的計算資源，實現(xiàn)資源的動態(tài)負載均衡和高可用。

      在銀行業(yè)大數(shù)據(jù)領(lǐng)域，先進數(shù)通參與平安銀行企業(yè)級的ETL平臺建設(shè)工作，平安銀行的ETL平臺，需要一個功能全面、高擴展性、高穩(wěn)定性的企業(yè)級調(diào)度平臺，從2008年至今平安銀行的MOIA系統(tǒng)中已經(jīng)部署了55000個作業(yè)，成為整個數(shù)據(jù)線建設(shè)最為重要的運行平臺。通過MOIA產(chǎn)品的實施，平安銀行取得如下效果；穩(wěn)定、擴展性高的復(fù)雜集群管理;快捷、簡便的調(diào)度開發(fā)；統(tǒng)一的作業(yè)調(diào)度監(jiān)控。

      隨著中國各行業(yè)信息化水平不斷攀升，越來越多的用戶開始面臨著大量的、復(fù)雜的數(shù)據(jù)調(diào)度難題。而先進數(shù)通的行業(yè)大數(shù)據(jù)調(diào)度則抓住了這個切口，為以上這些用戶的大數(shù)據(jù)價值挖掘提供了產(chǎn)品和技術(shù)的支持。

標(biāo)簽： 安全 大數(shù)據(jù) 大數(shù)據(jù)時代 大數(shù)據(jù)應(yīng)用 服務(wù)器 服務(wù)商 金融 企業(yè) 數(shù)據(jù)分析 數(shù)據(jù)庫 通信 網(wǎng)絡(luò) 問題 信息化 信息技術(shù) 行業(yè) 行業(yè)大數(shù)據(jù) 用戶 云計算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。