美東時間 6 月 6 日美股開盤后，大數(shù)據(jù)公司 Cloudera 股價暴跌 43%，在此之前該公司剛剛宣布首席執(zhí)行官 Tom Reilly 將離職，并下調(diào)了 2020 年收入預(yù)期。在與競爭對手 Hortonworks 合并五個月后，盡管 Cloudera 不斷嘗試實現(xiàn)持續(xù)增長，但現(xiàn)金仍在流失，這引發(fā)了人們對其數(shù)據(jù)分析技術(shù)未來發(fā)展前景的擔(dān)憂。在 2014 年由英特爾主導(dǎo)的融資輪中，Cloudera 估值曾高達(dá) 41 億美元，而今其市值已經(jīng)縮水為 14 億美元。

 

 

一周前，曾經(jīng)同為大數(shù)據(jù)獨角獸的 MapR 也傳出了面臨重大危機(jī)的消息。根據(jù)加州就業(yè)發(fā)展部門的一份文件，MapR 于 5 月 14 日通知加州就業(yè)發(fā)展局，計劃在其 Santa Clara 總部裁員 122 人。在工人調(diào)整及再培訓(xùn)通知 (WARN) 文件中，這次裁減被標(biāo)記為“永久性關(guān)閉”，將于 6 月 14 日生效。這些是否昭示著 Hadoop 這一生態(tài)的衰敗?

Hadoop 包括兩部分 MapReduce 和 HDFS，分別對應(yīng) Google 三架馬車論文中的 MapReduce 和 GFS。后來 Hadoop 的 MapReduce 調(diào)度框架為了實現(xiàn)抽象度更高的資源調(diào)度，將編程模式剝離出調(diào)度框架，就出現(xiàn)了 YARN(Yet Another Resource Negotiator)。所以我們現(xiàn)在常說的 Hadoop 其實就是 HDFS 和 YARN。

圍繞 Hadoop 進(jìn)行商業(yè)化有著名的三巨頭，分別是 Cloudera、Hortonworks 和 MapR，如今都不約而同地隕落了。

Cloudera

Cloudera 于 2008 年成立，創(chuàng)始人來自 Google、FaceBook 和 Yahoo!，在 2008 年還不知道大數(shù)據(jù)為何物的時候創(chuàng)辦 Cloudera，可謂非常有眼光。還有一點不得不提的是，Cloudera 的首席架構(gòu)師 Doug Cutting， 也就是 Hadoop 的第一位作者，后來被 Yahoo! 招安，再之后轉(zhuǎn)投 Cloudera。順風(fēng)順?biāo)�，后來升�?Apache 基金會主席。

 

 

Cloudera 的 Hadoop 發(fā)行版 CDH 是免費的，但是公司通過賣服務(wù)賺錢。比如 Hadoop 集群的管理軟件 Cloudera Manager 就是收費的。Cloudera Manager 的功能包括集群的管理、部署、監(jiān)控、升級等，簡單來說就是運維。而這些都是公有云要做的，畢竟云計算就是賣運維。

Cloudera 在 2014 年隨著不斷融資，投資方包括 Intel、Google，市值到達(dá)頂峰 41 億美元。之所以說是頂峰，是因為之后的三年 Cloudera 的發(fā)展并沒有如預(yù)想中的順利，也終于在 2017 年以 20 多億美元匆忙上市。

Hortonworks

Hortonworks 于 2011 年由 Yahoo! 的 Hadoop 團(tuán)隊拆分而成，和 Cloudera 不同的是，Hortonworks 的代碼是完全開源的。但是相比 Cloudera 起步晚，而且缺少了 Doug Cutting 這種領(lǐng)袖人物，亮點可謂乏善可陳。公司成立三年就于 2014 年匆忙上市，上市之初市值十多億美元。

 

 

無論是 Cloudera 還是 Hortonworks 都沒有趕上云產(chǎn)商這班車，比如著名的開源軟件吸血鬼 AWS，針對 Hadoop 生態(tài)的公有云產(chǎn)品 Elastic MapReduce 對 Cloudera 和 Hortonworks 兩家公司的影響不可謂不小。可能是疲于同行業(yè)內(nèi)耗，最終兩家公司與 2018 年 10 月份宣布合并，但是以事后的角度來看，合并并沒有什么用。

MapR

MapR 的創(chuàng)始人 M.C.Srivas 來自于 Google�？陀^來說 GFS 架構(gòu)設(shè)計其實并不是很好，HDFS 相當(dāng)于對 GFS 論文的一種拙劣的模仿。而 Google 內(nèi)部使用的分布式文件系統(tǒng)也是多方面碾壓 HDFS。所以 M.C.Srivas 創(chuàng)立 MapR 的時候就將 Hadoop 的文件系統(tǒng) HDFS 進(jìn)行了重構(gòu)，同時兼容了 Hadoop 協(xié)議，但是是閉源的。MapR 的商業(yè)化之路主打系統(tǒng)的性能等優(yōu)于開源 Hadoop 的特性，在售價上也要高于 Cloudera。MapR 一度給人一種用技術(shù)挑戰(zhàn)整個 Hadoop 社區(qū)的感覺，只不過很多人不買賬。

 

 

在 MapR 看似一切都還發(fā)展不錯的時候，M.C.Srivas 在 2016 年離開了 MapR 加入了 Uber。對于一個創(chuàng)業(yè)公司來說并不是一個好的信號，直到 2019 年 5 月底爆出消息，MapR 融資困難，可能在不久之后關(guān)閉。曾經(jīng)估值高達(dá) 10 億美元的一代梟雄或?qū)⒃诖穗E落。

啟示

Hadoop 除了這三家發(fā)行商，目前在各大云廠商上都還以 Elastic MapReduce 的形態(tài)存在，包括 AWS EMR、Aliyun EMR 等。目前來看，對于 Hadoop 的存在形態(tài)，還會在公有云上存在一段時間。但是還能存在多久，拭目以待。

Hadoop 商業(yè)化平臺的衰敗或許并不能代表整個大數(shù)據(jù)行業(yè)的衰敗，但是卻預(yù)示著 Hadoop 的失敗，對 Hadoop 的后續(xù)開發(fā)維護(hù)必然會產(chǎn)生影響。

作為 Hadoop 的替代產(chǎn)品，HDFS 在 AWS 上早已被 S3 取代。國內(nèi)的各大公有云產(chǎn)生也有自己自研的文件系統(tǒng)。YARN 或許還能存在一段時間，很早之前就有人推崇使用 Kubernetes 來替代 YARN 作為資源調(diào)度器。但是由于 Kubernetes 的調(diào)度器是一種集中式的資源調(diào)度器，而 YARN 是兩層資源調(diào)度器，目前 YARN 上面的作業(yè)并不能很容易地?zé)o縫遷移到 Kubernetes。

結(jié)語

Hadoop 本是 Google 的上一代技術(shù)三架馬車(GFS、MapReduce、BigTable)的模仿，設(shè)計不可謂優(yōu)雅，但是也發(fā)展了十年左右，借著大數(shù)據(jù)的這班車也搶盡了風(fēng)頭。如今 Google 又開源了 Kubernetes 系統(tǒng)，大家才發(fā)現(xiàn)進(jìn)程應(yīng)該結(jié)合 Namespace 和 Cgroup 來跑，然后整個社區(qū)又被 Google 帶著跑。

有的時候不得不說，號稱不做惡的 Google 有的時候還是挺壞的。

標(biāo)簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。