記者注意到，此次大會(huì)邀請(qǐng)了Yahoo!、Facebook、百度、中國(guó)移動(dòng)研究院、淘寶、EMC、VMware、Intel、IBM、eBay等國(guó)內(nèi)外著名IT企業(yè)到會(huì)分享交流技術(shù)內(nèi)容，其中大部分是互聯(lián)網(wǎng)企業(yè)。而且，聽眾當(dāng)中也有很多人來自互聯(lián)網(wǎng)、SNS、電子商務(wù)等領(lǐng)域。對(duì)于Hadoop為什么受到互聯(lián)網(wǎng)等企業(yè)的追捧，查禮在接受采訪時(shí)談到，Hadoop作為一種支撐大規(guī)模互聯(lián)網(wǎng)服務(wù)的軟件平臺(tái)和工具集，可以用來解決分布式計(jì)算中的很多問題，跟商業(yè)軟件相比，有兩大主要優(yōu)勢(shì)：一是實(shí)用，效率較高，能夠處理許多商業(yè)軟件如傳統(tǒng)數(shù)據(jù)庫(kù)不能做的事情，特別是在大規(guī)模數(shù)據(jù)處理和計(jì)算方面，Hadoop的優(yōu)勢(shì)非常明顯;二是開源，成本低，而且容易修改，便于做二次開發(fā)，這尤其對(duì)于那些新興互聯(lián)網(wǎng)業(yè)務(wù)非常適用。

據(jù)了解，Hadoop的軟件工具非常豐富，主要提供了一套名為HDFS的分布式文件系統(tǒng)以及支持Map-Reduce的計(jì)算框架。此外，還提供構(gòu)建在HDFS 和Map/Reduce之上的可擴(kuò)展的數(shù)據(jù)倉(cāng)庫(kù)Hive，結(jié)構(gòu)化數(shù)據(jù)庫(kù)HBase，數(shù)據(jù)流高層語言Pig，高性能分布式協(xié)同服務(wù)ZooKeeper，以及面向大規(guī)模分布式系統(tǒng)的數(shù)據(jù)收集軟件Chukwa等。

自2002年Apache設(shè)置相關(guān)項(xiàng)目以來，源于互聯(lián)網(wǎng)的Hadoop也漸漸在互聯(lián)網(wǎng)領(lǐng)域扎下了根。如Yahoo!使用4000節(jié)點(diǎn)的機(jī)群運(yùn)行Hadoop，支持廣告系統(tǒng)和 Web搜索的研究;Facebook使用1000節(jié)點(diǎn)的機(jī)群運(yùn)行Hadoop，存儲(chǔ)日志數(shù)據(jù)，支持其上的數(shù)據(jù)分析和機(jī)器學(xué)習(xí);百度用Hadoop每天處理1PB的數(shù)據(jù)，進(jìn)行搜索日志分析和網(wǎng)頁(yè)數(shù)據(jù)挖掘工作;中移動(dòng)研究院基于Hadoop開發(fā)了“大云”(Big Cloud)系統(tǒng)，不但用于相關(guān)數(shù)據(jù)分析，還對(duì)外提供服務(wù);淘寶的Hadoop系統(tǒng)用于存儲(chǔ)并處理電子商務(wù)的交易相關(guān)數(shù)據(jù)。

Hadoop技術(shù)除已經(jīng)在互聯(lián)網(wǎng)領(lǐng)域得到廣泛應(yīng)用之外，同時(shí)也受到了學(xué)術(shù)界的普遍。國(guó)內(nèi)的高校和科研院所基于Hadoop在數(shù)據(jù)存儲(chǔ)、資源管理、作業(yè)調(diào)度、 性能優(yōu)化、系統(tǒng)高可用性和安全性方面進(jìn)行研究，相關(guān)研究成果多以開源形式貢獻(xiàn)給Hadoop社區(qū)。在此次大會(huì)上，中科院計(jì)算所、江南計(jì)算所、清華大學(xué)、中國(guó)人民大學(xué)等科研院所專家到會(huì)報(bào)告了最新研究進(jìn)展。畢竟，只要有大規(guī)模數(shù)據(jù)處理的地方，就可能有Hadoop的生存之地。

▲計(jì)算所展示Hadoop研究成果

如同Hadoop技術(shù)本身，Hadoop社區(qū)也還處于發(fā)展當(dāng)中。談到當(dāng)前Hadoop的生態(tài)系統(tǒng)，查禮將其定位于“正在發(fā)展”當(dāng)中，但已經(jīng)過了“初創(chuàng)過渡”那個(gè)階段。他告訴記者，現(xiàn)在Hadoop已經(jīng)有了比較暢通的溝通渠道，比如Hadoop in China大會(huì)就是一個(gè)典型平臺(tái)，而且也有很多企業(yè)參與其中，大家在不同的點(diǎn)上做開源式的創(chuàng)新。計(jì)算所本身也在做Hadoop的研究，查禮所在的系統(tǒng)軟件組主要從事的是Hadoop的系統(tǒng)優(yōu)化研究。

不過，查禮也談到，國(guó)內(nèi)Hadoop生態(tài)系統(tǒng)的運(yùn)作機(jī)制還不夠完善，比如在國(guó)外有專門的基金會(huì)支持開源，而且有企業(yè)愿意掏錢資助，但在國(guó)內(nèi)這樣的機(jī)制還不成熟，Hadoop開源社區(qū)運(yùn)作起來就顯得比較松散。計(jì)算所希望通過Hadoop in China 志愿者社區(qū)和相關(guān)會(huì)議平臺(tái)，能夠推動(dòng)Hadoop在中國(guó)的發(fā)展，促進(jìn)它成為更加完整、更加有效的開源軟件。

在不久的將來，云計(jì)算一定會(huì)徹底走入我們的生活，有興趣入行未來前沿產(chǎn)業(yè)的朋友，可以收藏云計(jì)算，及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識(shí)，讓我們一起攜手，引領(lǐng)人工智能的未來！

標(biāo)簽： 安全 大數(shù)據(jù) 電子商務(wù) 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)服務(wù) 互聯(lián)網(wǎng)企業(yè) 互聯(lián)網(wǎng)業(yè)務(wù) 數(shù)據(jù)分析 數(shù)據(jù)庫(kù) 搜索 云計(jì)算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。