大數(shù)據(jù)技術在近些年得到了長足發(fā)展，大數(shù)據(jù)軟件框架Hadoop的快速興起引領了大數(shù)據(jù)的行業(yè)潮流。作為一種類Hadoop的新計算框架，Spark自2014年從Apache中孵化出來后，在短短兩年的時間中為大數(shù)據(jù)技術賦予了新的活力，這一基于內(nèi)存的分布式計算框架已經(jīng)在眾多行業(yè)得到應用。

隨著2.0版本的新近發(fā)布，Spark向大數(shù)據(jù)市場展現(xiàn)了其性能提升空間，其在Streaming概念上的進一步強化為實時流處理及查詢加載了更強的保障。在大數(shù)據(jù)領域，Spark逐漸成熟，正在走向更多行業(yè)、更多企業(yè)。

面對這一逐漸強大的數(shù)據(jù)計算架構，IBM著力發(fā)展Spark項目，將其定位于數(shù)據(jù)分析的操作系統(tǒng)，并基于Spark構建IBM數(shù)據(jù)分析產(chǎn)品的整個體系。IBM對Spark的“押寶”，可以從社區(qū)貢獻、產(chǎn)品搭建、人才教育、創(chuàng)新應用四個維度予以解讀。

貢獻社區(qū)、搭建產(chǎn)品  IBM與Spark互利共進

2015年，IBM成立了Spark技術中心（STC，Spark Technology Center），專注于Spark解決方案的提升及技術交流，針對Spark內(nèi)核、Spark Streaming、SparkML和SparkR打造集合專家、提交者和貢獻者的社區(qū)。在短短的1年時間里，IBM通過這一技術中心為Spark社區(qū)貢獻約800個JIRA，并提供了Spark認證，進一步鼓勵基于Spark的開發(fā)。目前，IBM在Spark社區(qū)致力于推進Spark SQL、SparkML，Benchmark及Swift對象存儲。此外，IBM將其機器學習框架SystemML貢獻于Apache社區(qū)，使其作為Apache的孵化器項目，為機器學習用戶快速優(yōu)化算法和模型。

開源領域新興成果層出不窮，然而從技術代碼到企業(yè)級應用、從開發(fā)成果到企業(yè)級產(chǎn)品的歷程，仍然存在著一段距離。除貢獻于Spark社區(qū)，IBM同時基于Spark構建自身的產(chǎn)品及服務，輔助企業(yè)將開源成果轉(zhuǎn)化為其能夠良好應用的IT產(chǎn)品和服務，提升企業(yè)對開源的應用體驗。

基于Spark組件，IBM提供了多方面的大數(shù)據(jù)解決方案，包括BigInsights、數(shù)據(jù)科學體驗(Data Science Experience)、dashDB數(shù)據(jù)倉庫及Spark即服務（Spark as a Service）等。Spark即服務將Spark產(chǎn)品以云服務的方式直接交付，并在此過程中賦予其更高的安全性、數(shù)據(jù)存儲能力及多租戶特性。在IBM自身的解決方案上，IBM基于Spark提供面向分析的數(shù)據(jù)引擎，將傳統(tǒng)的單機核心引擎通過Spark改造成分布式，并在Watson分析等領域以更高的性能、更分布的方式對數(shù)據(jù)進行分析和處理。在針對Spark的集成方面，IBM將數(shù)據(jù)直接復制到Spark上開展分析，提供了SPSS建模模塊和分析服務器、Cloudant NoSQL數(shù)據(jù)庫、InfoSphere Streams流分析等解決方案。

除在軟件和服務層面實現(xiàn)對Spark的支持，IBM在硬件架構層面也利用Power Systems提升Spark的性能�；�于內(nèi)存的Spark采用數(shù)據(jù)集中式的分析，能夠充分利用Power芯片的優(yōu)勢。在實際測試與應用案例中，運行在Power上的Spark性能達到了x86方案的兩倍。未來，IBM將以更多Spark相關的產(chǎn)品，服務更多企業(yè)客戶的大數(shù)據(jù)分析需求。

培養(yǎng)人才、創(chuàng)新應用  IBM推進大數(shù)據(jù)的社會利用

大數(shù)據(jù)領域，人才是最為重要的資產(chǎn)。面向市場對數(shù)據(jù)科學家、數(shù)據(jù)分析師、數(shù)據(jù)工程師、數(shù)據(jù)架構師等不同角色的大數(shù)據(jù)人才的需求，IBM成立了數(shù)據(jù)科學學院，從大數(shù)據(jù)專業(yè)技能、社區(qū)互動、聯(lián)合項目和大數(shù)據(jù)創(chuàng)業(yè)孵化器幾個方面推進大數(shù)據(jù)人才的培養(yǎng)、成長。這一公益組織在IBM發(fā)起的“大數(shù)據(jù)大學”平臺上提供免費的課程，通過開設Hadoop、Spark、R、機器學習等課程，提升大數(shù)據(jù)人才專業(yè)技能。大數(shù)據(jù)大學針對不同的學習目標配備了專門的學習路徑，在全球網(wǎng)站和中文網(wǎng)站上提供數(shù)據(jù)工程、數(shù)據(jù)分析學習的免費課程。在這一平臺上，學習者、數(shù)據(jù)科學家、數(shù)據(jù)工程師不僅可以增進自身的理論知識，還可以通過利用R語言、Spark集群，開展數(shù)據(jù)清洗、分析、可視化操作等實踐，以實踐檢驗真理。

此外，在大數(shù)據(jù)社區(qū)中，IBM發(fā)起了多樣的交互活動，包括大數(shù)據(jù)峰會、Spark大賽等。以Spark大賽為例，IBM目前正在開展的全球Spark大賽得到了中國區(qū)的近20個參賽方案，激發(fā)了本地的創(chuàng)新火花。通過免費的方式和合作伙伴、孵化器企業(yè)合作，為提供技術支持，從而使得Spark等大數(shù)據(jù)解決方案在各行各業(yè)落地，開展服務。

最近，IBM正在基于Spark開展創(chuàng)新項目，充分發(fā)揮Spark的作用。在智能交通領域，IBM通過采集物聯(lián)網(wǎng)數(shù)據(jù)，并在Spark Streaming上對大眾出行數(shù)據(jù)進行處理過濾、去噪、數(shù)據(jù)標準化等，建立了基于Spark的數(shù)據(jù)模型，實時分析人口聚集、流動情況，以預測交通擁堵情況，為交通管理部門和運維部門采取管制措施提供參考，并進一步提高公眾的出行體驗。此外，IBM對Spark的創(chuàng)新應用還為天氣預測提供了提升的解決方案。未來，IBM將繼續(xù)結合Spark的大數(shù)據(jù)能力及多方參與的互動機制，為大數(shù)據(jù)在企業(yè)的應用搭建橋梁。

——作者：IBM大數(shù)據(jù)分析架構師、Spark社區(qū)專家曾勇華

標簽： 安全 標準 大數(shù)據(jù) 大數(shù)據(jù)分析 大數(shù)據(jù)技術 大數(shù)據(jù)軟件 大數(shù)據(jù)社區(qū) 大數(shù)據(jù)專業(yè) 代碼 服務器 企業(yè) 數(shù)據(jù)分析 數(shù)據(jù)庫 網(wǎng)站 行業(yè) 用戶 云服務

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。