雖然大數(shù)據(jù)依然如日中天，但該領(lǐng)域曾經(jīng)的領(lǐng)頭羊 Cloudera、Hortonworks 和 MapR 三家公司最近步履蹣跚，多少掩蓋了其幾分風(fēng)光。作為曾經(jīng)的數(shù)據(jù)寵兒，過(guò)去籌集到的巨額投資源源不斷。例如，英特爾公司就曾向 Cloudera 注入 7.66 億美元，這還僅僅只是一輪投資的數(shù)額!如今，這些大數(shù)據(jù)領(lǐng)域的重量級(jí)公司紛紛被迫瘦身，Cloudera 和 Hortonworks 合并，而 MapR 開(kāi)始裁員。

與此同時(shí)，大數(shù)據(jù)領(lǐng)域的其他開(kāi)源供應(yīng)商(如 Elastic 和 MongoDB 公司)卻勢(shì)頭正猛。到底發(fā)生了什么事?當(dāng)然，這背后有種種原因，但其中一個(gè)事實(shí)是，老牌 Hadoop 供應(yīng)商把大賭注押在了錯(cuò)誤的目標(biāo)用戶(hù)上，瞄準(zhǔn)的是所謂數(shù)據(jù)中心的專(zhuān)職架構(gòu)師。然而，市場(chǎng)已經(jīng)轉(zhuǎn)向了在云計(jì)算環(huán)境中尋求自由的個(gè)體開(kāi)發(fā)人員。

 

 

此消彼長(zhǎng)

在那些靠 Hadoop 發(fā)家致富的供應(yīng)商中，MapR 是最新的犧牲品。MapR 公司一度估值超過(guò) 10 億美元，但最近披露的消息是，除非能找到新的投資者，否則公司必須裁員 122 人，這個(gè)數(shù)量約占員工總數(shù)的 25%，而且裁員名單包括其首席執(zhí)行官 John Schroeder、其他高管以及多名工程師，并且同時(shí)準(zhǔn)備關(guān)閉其總部辦公場(chǎng)所。如果真能找到投資者的話(huà)，他們必須在 6 月 14 日前簽署協(xié)議，否則 MapR 的前景將會(huì)一片黯淡。

不過(guò)，最近大數(shù)據(jù)領(lǐng)域一直都不太平。根據(jù) LinkedIn 的數(shù)據(jù)，在過(guò)去兩年中，MapR 公司已經(jīng)縮水了 29%。無(wú)獨(dú)有偶，大概是因?yàn)?Cloudera 和 Hortonworks 這兩家公司無(wú)法單獨(dú)生存，于是它們進(jìn)行了合并，但在合并之后不久，Cloudera 就宣布了其慘不忍睹的收益，預(yù)計(jì)收入比分析師預(yù)測(cè)少了 6900 萬(wàn)到 8900 萬(wàn)美元。與此同時(shí)，公司首席執(zhí)行官 Tom Reilly、聯(lián)合創(chuàng)始人兼 CSO Mike Olson 雙雙宣布辭職。該公司股價(jià)隨即暴跌 40%。

以上種種結(jié)果似乎很容易就被歸咎于一個(gè)原因：之前的大數(shù)據(jù)領(lǐng)域被過(guò)度炒作，泡沫破滅后回歸現(xiàn)實(shí)，Hadoop 領(lǐng)頭羊已經(jīng)潰不成軍。但這卻無(wú)法解釋為什么大數(shù)據(jù)領(lǐng)域的其他供應(yīng)商卻依然在蓬勃發(fā)展。例如，MongoDB 數(shù)據(jù)庫(kù)產(chǎn)品受歡迎程度一直在增長(zhǎng)，MongoDB 現(xiàn)在的受歡迎指數(shù)大約是 Oracle 和 MySQL 的三分之一，而五年前只有十分之一(https://db-engines.com/en/ranking)。這種受歡迎程度反過(guò)來(lái)良性地推動(dòng) MongoDB 公司的收入增長(zhǎng)，最近收入已經(jīng)躍升了 78%。

同樣，Elasticsearch 分布式搜索和分析引擎背后的公司 Elastic 在去年員工數(shù)量翻了一番，最近一個(gè)季度的收入增長(zhǎng)了 70%。許多公司已經(jīng)轉(zhuǎn)用 Elastic 的產(chǎn)品進(jìn)行傳統(tǒng)的文本搜索和其他更多的搜索，比如英國(guó)倫敦的 Stansted 機(jī)場(chǎng)就使用 Elastic 工具來(lái)追蹤和可視化機(jī)場(chǎng)內(nèi)的人員和行李流量，并提供實(shí)時(shí)分析。

大數(shù)據(jù)時(shí)代的劇本似乎讓人看不懂了。像 MongoDB 和 Elasticsearch 這樣的技術(shù)以及它們背后的公司從來(lái)沒(méi)有被認(rèn)為能夠挑戰(zhàn) Hadoop 和相關(guān)產(chǎn)品。然而現(xiàn)在看來(lái)，他們確實(shí)做到了。為什么會(huì)這樣?

預(yù)報(bào)：未來(lái)多云

其中一個(gè)答案是因?yàn)?ldquo;云”，但它也只是一個(gè)多方面綜合效應(yīng)的一個(gè)側(cè)面而已。正如 Anaconda 高級(jí)副總裁 Mathew Lodge 在一篇文章中所提及的，盡管 Cloudera、Hortonworks 和 MapR 這三家公司都在拼命從現(xiàn)有產(chǎn)品中尋求演進(jìn)，但 AWS、微軟 Azure 和谷歌 Cloud 三巨頭打造的一站式云原生服務(wù)提供了“完全集成的產(chǎn)品系列，獲取成本更低，擴(kuò)容更便宜”。企業(yè)用戶(hù)的目光紛紛投向了這些服務(wù)和產(chǎn)品。雖然 Hadoop 供應(yīng)商以盡可能快的速度打造自己的云服務(wù)，但其速度根本趕不上那些云計(jì)算領(lǐng)域的重量級(jí)競(jìng)爭(zhēng)對(duì)手。

雖然 Hadoop 在當(dāng)時(shí)是頗具革命性的技術(shù)，但與云計(jì)算的替代方案相比，它的成本高得離譜。正如Clint Sharp 所指出的，“Hadoop 的主要應(yīng)用場(chǎng)景一直是廉價(jià)的存儲(chǔ)。然而，有了云之后，存儲(chǔ)變得更廉價(jià)，更何況 S3+EMR 和其他服務(wù)的用戶(hù)體驗(yàn)還提高了千倍不止。” 作為傳統(tǒng)專(zhuān)有數(shù)據(jù)倉(cāng)庫(kù)的替代品，Hadoop 曾經(jīng)是很不錯(cuò)的選擇，但它現(xiàn)在已經(jīng)遠(yuǎn)比不上更現(xiàn)代的技術(shù)(甚至是基于云的 Snowflake 數(shù)據(jù)倉(cāng)庫(kù)，等等)。

與此同時(shí)，云計(jì)算代表著處理數(shù)據(jù)的新方法。雖然它們本身不是完全同質(zhì)的替代品，但與 MongoDB 或 Elasticsearch 一樣，它們解決了與 Hadoop 相同的問(wèn)題，而且還簡(jiǎn)單易用，沒(méi)有那些令人抓狂的麻煩。正如 MongoDB 的Joe Drumgoole 所說(shuō)，“編寫(xiě)有效的分布式 Map-reduce 算法真的非常非常困難。” 更糟糕的是，Hadoop 供應(yīng)商爭(zhēng)先恐后地為他們的 Hadoop 產(chǎn)品添加各種開(kāi)源插件(例如，Impala、Pig、Hive，以及 Flume)，還發(fā)明了更累贅的“解決方案技術(shù)棧”。直到最后，終于有一位觀(guān)察者這樣評(píng)價(jià)，“沒(méi)有人知道這些 Hadoop 公司到底在做什么”。

對(duì)于一些企業(yè)用戶(hù)來(lái)說(shuō)，或許在這上面費(fèi)力地付出時(shí)間和精力還算值得。然而，對(duì)于肩負(fù)“把事情做完”任務(wù)的個(gè)體開(kāi)發(fā)人員來(lái)說(shuō)，他們?cè)絹?lái)越多傾向于選擇更簡(jiǎn)單直接的替代方案。

使用方便才是王道

Hadoop 及其衍生產(chǎn)品的開(kāi)箱即用體驗(yàn)確實(shí)不忍直視。這與 MongoDB 的用戶(hù)體驗(yàn)形成鮮明對(duì)比。前 MongoDB 高管Kelly Stirman 認(rèn)為用戶(hù)體驗(yàn)是讓 MongoDB 在同類(lèi)產(chǎn)品中脫穎而出的一個(gè)關(guān)鍵。這是一種什么體驗(yàn)?一位叫Tom Barber 的人這樣描述：

在使用 MongoDB 時(shí)，你可以容易地在一臺(tái)服務(wù)器上安裝 MongoDB，而不需要在一個(gè)糟糕的 VM 上浪費(fèi)時(shí)間。在生產(chǎn)環(huán)境中，你可以直接在一臺(tái)服務(wù)器上把它運(yùn)行起來(lái)。你不需要寫(xiě)一大堆代碼就可以把它和其他一堆東西連接起來(lái)。人人都希望使用這樣的數(shù)據(jù)庫(kù)…MongoDB 真正做到了很容易讓數(shù)據(jù)流入，也很容易就讓數(shù)據(jù)流出。

TimeScale DB 首席執(zhí)行官 Ajay Kulkarni 也表示贊同，他補(bǔ)充道：

個(gè)體開(kāi)發(fā)人員的熱愛(ài)是 MongoDB 戰(zhàn)勝 Hadoop 的原因。MongoDB 聚焦于首次用戶(hù)體驗(yàn)。而 Hadoop 的運(yùn)行過(guò)程十分繁瑣，簡(jiǎn)直臭名昭著。雖然 Hadoop 供應(yīng)商針對(duì)企業(yè)用戶(hù)提供了一套優(yōu)秀的銷(xiāo)售宣傳說(shuō)辭，但如果沒(méi)有開(kāi)發(fā)人員的熱愛(ài)和支持，它的增長(zhǎng)就會(huì)停滯，市場(chǎng)就會(huì)萎縮。

在 MongoDB 和 Elastic 擊敗 Cloudera 和 MapR 這件事上，雖然把成功因素統(tǒng)統(tǒng)歸于開(kāi)發(fā)人員的熱愛(ài)可能有些夸大其詞，但這的確是一個(gè)不爭(zhēng)的事實(shí)。

開(kāi)發(fā)人員Jake Kaldenbaugh 認(rèn)為，MongoDB 已經(jīng)開(kāi)始“融入”到各種現(xiàn)代應(yīng)用程序中。隨著時(shí)間的推移，那些一開(kāi)始將 MongoDB 應(yīng)用于并不那么重要的應(yīng)用程序的開(kāi)發(fā)人員，會(huì)將 MongoDB 應(yīng)用到那些涉及重要業(yè)務(wù)的應(yīng)用程序中，而且 MongoDB 還在不斷添加新功能(比如多文檔事務(wù)支持)，以支持更復(fù)雜的應(yīng)用場(chǎng)景，但又沒(méi)有讓這些功能變得過(guò)于復(fù)雜。

那么，之前的這些大數(shù)據(jù)巨頭公司們將何去何從呢?Mathew Lodge 已經(jīng)為他們寫(xiě)下了悼詞：

在 Cloudera 和 Hortonworks(還有 MapR)作為大數(shù)據(jù)宇宙中心長(zhǎng)達(dá) 10 年之后，這個(gè)領(lǐng)域的重心已經(jīng)轉(zhuǎn)移到其他地方。如今領(lǐng)先的云公司并不像 Cloudera 和 Hortonworks 那樣運(yùn)行大型的 Hadoop/Spark 集群，而是在容器基礎(chǔ)設(shè)施之上運(yùn)行分布式數(shù)據(jù)庫(kù)和應(yīng)用程序。他們用 Python、R 和其他非 Java 語(yǔ)言進(jìn)行機(jī)器學(xué)習(xí)。越來(lái)越多的企業(yè)正轉(zhuǎn)向類(lèi)似的技術(shù)方向，因?yàn)樗鼈円蚕Ｍ�獲得同樣的速度和規(guī)模效益。那些使用 Hadoop 和 Spark 技術(shù)的世界是該緊跟時(shí)代做出改變了。

開(kāi)源數(shù)據(jù)基礎(chǔ)設(shè)施的創(chuàng)新日新月異，這既是福，也是禍。創(chuàng)新正在以驚人的速度發(fā)生，注定會(huì)有一些供應(yīng)商將在這個(gè)飛速發(fā)展的過(guò)程中破產(chǎn)。

查看英文原文：

https://www.infoworld.com/article/3400864/hadoop-runs-out-of-gas.html?upd=1560395045502

標(biāo)簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀(guān)點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。