10 月 3 日，Hortonworks 宣布將與其主要競爭對(duì)手 Cloudera 合作創(chuàng)建一家年收入約為 7.3 億美元、擁有 2,500 名客戶、市場估值達(dá) 52 億美元的公司，這令很多人感到意外。

 

 

Splice Machine 首席執(zhí)行官 Monte Zweben 表示：“我認(rèn)為對(duì)于我們來說，這是個(gè)好消息。我們已經(jīng)看到了運(yùn)營由這兩家公司和其他公司部署的所有數(shù)據(jù)湖的巨大機(jī)會(huì)，而這樣的機(jī)會(huì)在兩年前可能連想都不敢想”。

Confluent 的首席執(zhí)行官兼 Apache Kafka 聯(lián)合創(chuàng)始人 Jay Kreps 告訴 ZDNet：“這是一個(gè)聰明的舉動(dòng)。過去，這兩家公司在同一產(chǎn)品上展開競爭，但具有諷刺意味的是，這卻讓競爭變得更加激烈”。

Unravel Data 首席執(zhí)行官 Kunal Agarwal 說：“我認(rèn)為這是件好事。我認(rèn)為這兩家公司在將他們的技術(shù)整合在一起，而不是試圖相互攻擊。他們現(xiàn)在可以專注于提供合適的機(jī)器學(xué)習(xí)工具、物聯(lián)網(wǎng)平臺(tái)和 AI 工具”。

但并非所有的反應(yīng)都是積極正向的。自由科技記者 Virginia Backaitis 在他的一片文章中寫道：“我比較擔(dān)心新的 Cloudera(或者可能是單獨(dú)的 Cloudera 和 Hortonworks)是否會(huì)像管理團(tuán)隊(duì)和投資人所期望的那樣快速增長”。

Bloomberg Opinion 專欄作家 Shira Ovide 同樣不看好，他將這兩家公司的合并說成是“兩家水下公司的航海聯(lián)盟”。

Teradata 首席運(yùn)營官 Oliver Ratzesberger 告訴 Datanami：“這是一種 Sears-K-Mart 式的合并，這是他們能夠生存下來的方式。Hadoop 本身就變得無關(guān)緊要了”。

Anaconda 產(chǎn)品和營銷高級(jí)副總裁 Mathew Lodge 在 VentureBeat 上發(fā)布的一篇文章中指出，大數(shù)據(jù)的中心已經(jīng)從 Hadoop 轉(zhuǎn)移到了云端，在對(duì)象存儲(chǔ)系統(tǒng)(如亞馬遜 S3、微軟 Azure Blob Storage 和 Google Cloud Storage)中存儲(chǔ)數(shù)據(jù)比在 HDFS 中便宜了五倍。

“領(lǐng)先的云計(jì)算公司并沒有在 Cloudera 和 Hortonworks 上運(yùn)行大型的 Hadoop/Spark 集群，相反，他們在容器基礎(chǔ)設(shè)施上運(yùn)行分布式云規(guī)模數(shù)據(jù)庫和應(yīng)用程序。現(xiàn)在是時(shí)候讓 Hadoop 和 Spark 與時(shí)俱進(jìn)了”。

讓 Hadoop 更像云

事實(shí)上，Apache Hadoop 社區(qū)一直都在積極應(yīng)對(duì)來自公有云供應(yīng)商的威脅，包括像 Databricks 和 Snowflake 這樣的初創(chuàng)公司。它們通過采用對(duì)象存儲(chǔ)和容器技術(shù)讓云端的大數(shù)據(jù)分析變得更便宜和更容易，并在上周獲得了來自風(fēng)險(xiǎn)資本的 4.5 億投資，

在今年早些時(shí)候發(fā)布的 Hadoop 3 中，用戶可以選擇使用擦除編碼(erasure coding)，這是 S3 等對(duì)象存儲(chǔ)系統(tǒng)使用的數(shù)據(jù)保護(hù)技術(shù)，可將存儲(chǔ)效率提高 50%。Hadoop 3.1 將為 YARN 中的 Docker 帶來更強(qiáng)勁的支持。在宣布合并之前，Cloudera 和 Hortonworks 都在努力讓他們的 Hadoop 發(fā)行版支持 Kubernetes。

但是，對(duì)于 Hadoop 社區(qū)來說，他們還有很多工作要做。上個(gè)月，Cloudera 首席戰(zhàn)略官 Mike Olson 告訴 Datanami，社區(qū)還需要 12 到 24 個(gè)月才能在開源的 Apache Hadoop 項(xiàng)目中提供 Kubernetes 支持。

Olson 說：“YARN 擅長長期運(yùn)行的批次作業(yè)調(diào)度，但要作為通用的集群資源管理框架，它還需要精心的設(shè)計(jì)和改進(jìn)。未來 Kubernetes 將會(huì)入駐，并接管其中的一大部分內(nèi)容”。

于是問題來了：當(dāng) YARN 被 Kubernetes 取代，并且 HDFS 被替換為任何兼容 S3 的對(duì)象存儲(chǔ)系統(tǒng)時(shí)，Hadoop 還會(huì)是原來的 Hadoop 嗎? 如果你認(rèn)為 Hadoop 只是 40 個(gè)開源項(xiàng)目的集合——HBase、Spark、Hive、Impala、Kafka、Flink、MapReduce、Presto、Drill、Pig、Kudu，等等——那么也許這個(gè)問題就問得沒有什么實(shí)際意義……

從實(shí)際角度來看，客戶不可能因?yàn)閮蓚�(gè)較大的 Hadoop 發(fā)行商的整合而突然關(guān)閉多年來部署的數(shù)百萬個(gè) Hadoop 節(jié)點(diǎn)。對(duì)于已經(jīng)建立了 Hadoop 數(shù)據(jù)湖的數(shù)千家公司而言，它們的重點(diǎn)將保持不變：從數(shù)據(jù)中獲取價(jià)值。

盡管 Hadoop 可能已經(jīng)變成了一項(xiàng)傳統(tǒng)技術(shù)，但社區(qū)仍然有動(dòng)力去調(diào)整它，以便支持新興的需求，就像 IBM 對(duì)其大型機(jī)平臺(tái)所做的那樣。問題是它是否能夠以足夠快的速度讓已部署的基礎(chǔ)設(shè)施不斷增長。

簡化 Hadoop

 

 

自從十多年前第一個(gè) MapReduce 程序上線以來，開發(fā)人員一直對(duì) Hadoop 的復(fù)雜性頗有微詞。即使像 Facebook 這樣大的公司在使用 Hadoop 時(shí)也感到不便，特別是當(dāng)他們需要通過底層的 Java 編程技能從 Hadoop 中及時(shí)獲取信息時(shí)。

從那時(shí)起的一個(gè)發(fā)展趨勢，就是消除這種復(fù)雜性，但 Hadoop 社區(qū)沒能及時(shí)取得進(jìn)展，因此未能阻止云供應(yīng)商通過推出更簡單的產(chǎn)品搶走市場份額。

Splice Machine 的 Zweben 表示：“我認(rèn)為這是 Hadoop 的一次轉(zhuǎn)型。軟件供應(yīng)商會(huì)使用越來越多的引擎，但從長遠(yuǎn)來看，不會(huì)有普通的企業(yè)會(huì)用它們……對(duì)于全球 2000 大企業(yè)來說，在背負(fù) Hadoop 的重壓之下很難做到這點(diǎn)”。

Unravel Data 公司的 Agarawal 表示，現(xiàn)在 Cloudera 和 Hortonworks 的工程師將齊心協(xié)力，以更好地應(yīng)對(duì)構(gòu)建系統(tǒng)方面的挑戰(zhàn)，這些系統(tǒng)可以以本地、云端和混合的方式運(yùn)行。“這是一個(gè)巨大的項(xiàng)目，仍然需要大量的工程師投入時(shí)間，把它打造成 Kubernetes 之上的一個(gè)成功的平臺(tái)。他們還有很多開發(fā)工作要做”。

如果說在隧道盡頭有一盞燈，那它就是：如果新 Cloudera 可以將 Hadoop 重新打造成一個(gè)混合的容器化平臺(tái)，位于 Kubernetes 之上，并且可以將數(shù)據(jù)存儲(chǔ)在任何與 S3 兼容的對(duì)象存儲(chǔ)中，那么它就有可能實(shí)現(xiàn)部分目標(biāo)，并占領(lǐng)一部分市場。IDC 認(rèn)為這是一個(gè)價(jià)值 650 億美元的機(jī)會(huì)。

Agarwal 說：“我認(rèn)為 Cloudera 手里握有一張?jiān)乒��?yīng)商所沒有的王牌，那就是他們的混合策略。根據(jù)我們與這些財(cái)富 1000 強(qiáng)公司合作的經(jīng)驗(yàn)來看，他們不會(huì)直接進(jìn)入云端。他們想要的是這種混合策略。因此，我認(rèn)為這將成為為這些客戶創(chuàng)造價(jià)值的一條可行之路”。

從幻滅到生產(chǎn)力

 

 

從一開始，Hadoop 基本上就是大數(shù)據(jù)的代名詞。如果你遇到需要用大數(shù)據(jù)來解決的問題，那么答案肯定就是 Hadoop。

這當(dāng)然是不對(duì)的，很多人都這么說——但這卻是 Hadoop 多年來的一個(gè)營銷口號(hào)。

Teradata 首席技術(shù)官史 Steven Brobst 說，為解決復(fù)雜問題而尋找銀彈是人類的天性。“人們傾向于相信新技術(shù)將解決他們所有的問題，它會(huì)為你做所有的事情，甚至包括在早上給你端來一杯咖啡”。

Hadoop 曾經(jīng)是被過度熱炒的一項(xiàng)技術(shù)，而到了今天，這個(gè)頭銜被 AI 拿走了。Brobst 說：“當(dāng)你的期望過度膨脹時(shí)，最終結(jié)果只會(huì)是失敗。當(dāng)技術(shù)被設(shè)置了不恰當(dāng)?shù)念A(yù)期，就會(huì)跌落到幻滅的低谷”。

Brobst 繼續(xù)說道：“我們現(xiàn)在所看到的 Hadoop 就正在經(jīng)歷這樣的一個(gè)過程。Hadoop 正處于幻滅的低谷。‘放棄它吧，它已經(jīng)不管用了!’其實(shí)它之所以不管用，是因?yàn)槲覀兤谕�它能夠完成所有的事情。�?duì)于這樣不切實(shí)際的期望，除了失望之外，沒有其他可能性”。

Brobst 說，雖然人們一直在 Hadoop 上掙扎，但這并不意味著 Hadoop 沒有價(jià)值。相反，它意味著組織和用戶應(yīng)該要重新設(shè)置他們的期望，并問問自己它應(yīng)該用在什么地方會(huì)更好。

他說：“Hadoop 和大數(shù)據(jù)終將走出 Gartner 炒作周期的幻滅低谷，然后進(jìn)入生產(chǎn)力高原。這不是一個(gè)大數(shù)據(jù)戰(zhàn)略，而是一個(gè)數(shù)據(jù)戰(zhàn)略……它將成為生態(tài)系統(tǒng)的一部分，但不會(huì)解決所有問題”。

英文原文：

https://www.datanami.com/2018/10/18/is-hadoop-officially-dead/

標(biāo)簽： Google idc 大數(shù)據(jù) 大數(shù)據(jù)分析 公有云 數(shù)據(jù)分析 數(shù)據(jù)庫 云計(jì)算 云計(jì)算公司 轉(zhuǎn)型

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。