Hadoop架構(gòu)的人氣在下滑，這可能歸咎于幾個(gè)不同的因素，尤其是機(jī)器學(xué)習(xí)的興起。

過(guò)去這幾年，HDFS的使用量一直在下降，這種基于Java的文件系統(tǒng)已幾乎成為所謂的大數(shù)據(jù)革命的代名詞。這主要?dú)w因于市場(chǎng)對(duì)Hadoop普遍缺乏興趣。但是導(dǎo)致Hadoop被大規(guī)模拋棄的Hadoop架構(gòu)方面又如何呢?要知道，就在不久前Hadoop還大有希望。

 

 

坦率地說(shuō)，Hadoop走下坡路似乎找不到一個(gè)最根本的理由。相反，Hadoop架構(gòu)人氣下滑可能歸咎于幾個(gè)不同的因素。

一些IT專業(yè)人員對(duì)于自己無(wú)法在Hadoop集群上執(zhí)行任何有意義的數(shù)據(jù)分析頗為沮喪。一種常見(jiàn)的觀點(diǎn)是，Hadoop非常適合存儲(chǔ)大量數(shù)據(jù)，但是對(duì)于需要最終用戶可以直接處理這些數(shù)據(jù)的那些企業(yè)來(lái)說(shuō)，它又往往不是最佳解決方案。

幾家供應(yīng)商已經(jīng)開(kāi)發(fā)了SQL on Hadoop解決方案，讓客戶可以針對(duì)駐留在Hadoop上的數(shù)據(jù)運(yùn)行SQL查詢。即便如此，這些工具也不是天生一模一樣，每家SQL on Hadoop供應(yīng)商都似乎為特定的使用場(chǎng)合設(shè)計(jì)其工具。不難想象眾多企業(yè)組織痛苦地發(fā)現(xiàn)：它們購(gòu)買的SQL on Hadoop引擎其實(shí)并不是很適合自己的大數(shù)據(jù)項(xiàng)目。

不僅僅是很難讓Hadoop完成企業(yè)組織需要它完成的任務(wù)這個(gè)因素導(dǎo)致Hadoop的使用量減少。導(dǎo)致Hadoop日漸式微的偶爾提到的另一個(gè)原因是，Hadoop與目前的IT趨勢(shì)不相合拍。

大數(shù)據(jù)革命似乎在一夜之間就立穩(wěn)了腳跟;大數(shù)據(jù)蔚然成風(fēng)時(shí)，Hadoop完全準(zhǔn)備好了響應(yīng)號(hào)召。畢竟，據(jù)Hortonworks聲稱，HDFS文件系統(tǒng)“已表明了它具有在生產(chǎn)環(huán)境下支持200 PB存儲(chǔ)的可擴(kuò)展性”，而4500臺(tái)服務(wù)器組成的單單一個(gè)集群就能支持“近10億個(gè)文件和塊”。很顯然，HDFS處理得了大數(shù)據(jù)。

可問(wèn)題是，大數(shù)據(jù)潮流似乎已翻篇了。盡管IT部門仍然在搞可能歸屬大數(shù)據(jù)這個(gè)大類的項(xiàng)目，但這個(gè)術(shù)語(yǔ)用得越來(lái)越少。相反，當(dāng)下的IT潮流似乎是機(jī)器學(xué)習(xí);當(dāng)然，Hadoop并不直接支持機(jī)器學(xué)習(xí)。市面上有一些第三方工具(比如Apache Mahout)能夠做到讓Hadoop支持機(jī)器學(xué)習(xí)，但可能數(shù)量太少、動(dòng)作太晚。

然而，Hadoop使用量下降的最大原因可能是亞馬遜AWS和微軟Azure等IaaS云日漸成熟。公共云對(duì)于企業(yè)組織遠(yuǎn)離Hadoop起到了重要的作用，這出于幾個(gè)不同的原因。

第一個(gè)原因是純粹的感知或看法。我們生活在一個(gè)云優(yōu)先的世界。公共云提供商在說(shuō)服人們相信在云端運(yùn)行工作負(fù)載比在本地運(yùn)行同樣那些工作負(fù)載要省錢得多這方面做得很到位。

另外，外頭往往認(rèn)為繼續(xù)在本地環(huán)境部署新工作負(fù)載的企業(yè)多少落后于時(shí)代。

公共云提供商慢慢促使Hadoop衰落的第二個(gè)原因是，云提供商實(shí)際上構(gòu)建了一個(gè)更管用的捕鼠器。雖然值得一提的是，亞馬遜確實(shí)通過(guò)亞馬遜EMR支持Hadoop和Spark，但對(duì)于需要大數(shù)據(jù)分析功能的企業(yè)組織而言，EMR并非亞馬遜的唯一解決方案。亞馬遜還提供Athena和Elasticsearch，前者可用于分析存儲(chǔ)在亞馬遜S3中PB級(jí)的數(shù)據(jù)，后者支持PB級(jí)的日志分析、文本搜索和應(yīng)用程序監(jiān)控功能。

我料想，Hadoop和HDFS文件系統(tǒng)根本不會(huì)完全消失，至少在短期內(nèi)不會(huì)消失。我認(rèn)為，將來(lái)可能總是需要使用商用硬件的大容量存儲(chǔ)。此外，將大量數(shù)據(jù)上傳到公共云可能成本過(guò)高，還可能帶來(lái)購(gòu)置、維護(hù)和運(yùn)輸?shù)缺Ｕ戏矫娴膯?wèn)題。

話雖如此，新的大數(shù)據(jù)項(xiàng)目誕生于云端顯得越來(lái)越常見(jiàn)，IT專業(yè)人員日益發(fā)現(xiàn)云原生大數(shù)據(jù)工具比Hadoop來(lái)得更易于使用、更有效。

作者：Brien Posey是Relevant Technologies主管研究開(kāi)發(fā)的副總裁，為多家刊物和網(wǎng)站撰寫技術(shù)文章。

標(biāo)簽： 大數(shù)據(jù) 大數(shù)據(jù)分析 大數(shù)據(jù)項(xiàng)目 服務(wù)器 數(shù)據(jù)分析 搜索

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。