越來越多的企業(yè)已經(jīng)開始摸索Hadoop技術(shù)，目的就是為處理博客、點擊所帶來的數(shù)據(jù)流和社交媒體所帶來的數(shù)據(jù)。Hadoop可以供存儲和分析的能力，以便在大數(shù)據(jù)中為客戶提升業(yè)務(wù)洞察力。

目前相關(guān)人才短缺的問題相當嚴重。來自JP摩根大通公司以及eBay的IT高管們在本月于紐約舉行的Hadoop全球大會都表達了同樣的觀點。eBay公司搜索與平臺部門副總裁Hugh Williams就在大會上表示目前他們正在誠招Hadoop專業(yè)人員。而JP摩根大通公司總經(jīng)理Larry Feinsmith則半開玩笑的表示，他們不僅愿意聘用合格的專業(yè)人士，還會提供比eBay高出10%的優(yōu)厚待遇。

Larry Feinsmith表示現(xiàn)今JP摩根大通仍然嚴重的依賴傳統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)進行事務(wù)處理。但隨著越來越多的欺詐檢測以及IT風(fēng)險管理和自我服務(wù)等，過去的系統(tǒng)已經(jīng)不能滿足現(xiàn)有的需求，而Hadoop技術(shù)的特性恰好能夠適應(yīng)當今企業(yè)的業(yè)務(wù)。

Hadoop的優(yōu)勢就是適合存儲海量的非結(jié)構(gòu)數(shù)據(jù)，這使得企業(yè)能夠有效收集和存儲網(wǎng)絡(luò)日志，以及交易數(shù)據(jù)和社交媒體的數(shù)據(jù)。Larry Feinsmith說到。

而eBay搜索和平臺副總裁Hugh Williams表示eBay現(xiàn)在正在使用Hadoop技術(shù)和HBase數(shù)據(jù)庫。以便進行實時的數(shù)據(jù)分析。同時還利用Hadoop技術(shù)為其網(wǎng)站構(gòu)建了新的搜索引擎。據(jù)他透露

Forrester研究公司分析師James Kobielus認為在當今的企業(yè)中，比起當今傳統(tǒng)關(guān)系數(shù)據(jù)庫管理系統(tǒng)，Hadoop使企業(yè)具有存儲、管理海量結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)卷的能力。

James Kobielus表示越來越多的企業(yè)對諸如Hadoop分析技術(shù)需求的增加導(dǎo)致Hadoop相關(guān)從業(yè)人員炙手可熱。Hadoop需要從業(yè)者具備高級分析領(lǐng)域的相關(guān)工作經(jīng)驗，例如像具備使用MapReduce及R語言等新一代技術(shù)解決方案處理預(yù)測及統(tǒng)計建模的能力。

Hadoop受到企業(yè)廣泛的同時也帶來了對Hadoop平臺專業(yè)管理人員的硬性需求。他們的工作職責(zé)包括Hadoop集群、安全及管理，并對其進行優(yōu)化以確保集群對企業(yè)的可用性。之前負責(zé)管理Teradata及Oracle Exadata的數(shù)據(jù)庫管理員現(xiàn)在正試圖向Hadoop集群管理的角色轉(zhuǎn)變。他們會意識到這是一個全新的天地。同時，

Karmasphere公司總裁 Martin Hall表示目前對Karmasphere現(xiàn)主要經(jīng)營項目正是為Hadoop環(huán)境開發(fā)軟件產(chǎn)品。

Martin Hall認為，數(shù)據(jù)管理專家的職責(zé)在于選擇、安裝、管理、規(guī)范以及擴展大規(guī)模的Hadoop集群。這些專業(yè)人員決定了Hadoop是否應(yīng)立足于云還是采取預(yù)置模式，包括供應(yīng)商該如何選擇以及使用那款Hadoop分布方案、集群規(guī)模以及被用于運行生產(chǎn)應(yīng)用程序還是用于進行質(zhì)量測試等。此職位應(yīng)具備的技能與以往負責(zé)傳統(tǒng)關(guān)系數(shù)據(jù)庫與數(shù)據(jù)庫環(huán)境類的任務(wù)頗為相似。

同時，Hadoop數(shù)據(jù)工程師還要負責(zé)創(chuàng)建數(shù)據(jù)處理工作以及建立分布式MapReduce算法，以便數(shù)據(jù)分析師使用。從事Java和C++等領(lǐng)域技能水平能力較為突出的專業(yè)人士更便于在企業(yè)大規(guī)模部署Hadoop的浪潮中得到更多的機會。

而第三類專業(yè)需求則是在SAS、SPSS以及以R語言為代表的編程語言等方面具備豐富經(jīng)驗的數(shù)據(jù)科學(xué)家。這些專業(yè)人士能夠?qū)⒔�立、分析、共享以及智能整合加以集中，并存儲于Hadoop環(huán)境中。

就目前來看，Hadoop領(lǐng)域的人才短缺意味著企業(yè)會更加依賴于服務(wù)供應(yīng)商提供的部署技術(shù)。支撐這一論點的一大跡象是在專業(yè)的咨詢及系統(tǒng)集成行業(yè)內(nèi)，專攻Hadoop實際應(yīng)用帶來的收入要遠遠大于Hadoop產(chǎn)品銷售所帶來的收入。

如今Cloudera、MapR、Hortonworks以及IBM這樣的企業(yè)如今已經(jīng)在提供Hadoop的相關(guān)培訓(xùn)課程，人們應(yīng)該充分利用這些資源，通過建立Hadoop卓越中心使自己的企業(yè)獲得最大收益。

在不久的將來，云計算一定會徹底走入我們的生活，有興趣入行未來前沿產(chǎn)業(yè)的朋友，可以收藏云計算，及時獲取人工智能、大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識，讓我們一起攜手，引領(lǐng)人工智能的未來！

標簽： 安全 大數(shù)據(jù) 大數(shù)據(jù)技術(shù) 媒體 數(shù)據(jù)分析 數(shù)據(jù)庫 搜索 搜索引擎 網(wǎng)絡(luò) 云計算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。