10 月 3 日，Hortonworks 宣布將與其主要競爭對手 Cloudera 合作創(chuàng)建一家年收入約為 7.3 億美元、擁有 2,500 名客戶、市場估值達 52 億美元的公司，這令很多人感到意外。

 

 

Splice Machine 首席執(zhí)行官 Monte Zweben 表示：“我認為對于我們來說，這是個好消息。我們已經(jīng)看到了運營由這兩家公司和其他公司部署的所有數(shù)據(jù)湖的巨大機會，而這樣的機會在兩年前可能連想都不敢想”。

Confluent 的首席執(zhí)行官兼 Apache Kafka 聯(lián)合創(chuàng)始人 Jay Kreps 告訴 ZDNet：“這是一個聰明的舉動。過去，這兩家公司在同一產(chǎn)品上展開競爭，但具有諷刺意味的是，這卻讓競爭變得更加激烈”。

Unravel Data 首席執(zhí)行官 Kunal Agarwal 說：“我認為這是件好事。我認為這兩家公司在將他們的技術(shù)整合在一起，而不是試圖相互攻擊。他們現(xiàn)在可以專注于提供合適的機器學(xué)習(xí)工具、物聯(lián)網(wǎng)平臺和 AI 工具”。

但并非所有的反應(yīng)都是積極正向的。 自由科技記者 Virginia Backaitis 在他的一片文章中寫道：“我比較擔(dān)心新的 Cloudera(或者可能是單獨的 Cloudera 和 Hortonworks)是否會像管理團隊和投資人所期望的那樣快速增長”。

Bloomberg Opinion 專欄作家 Shira Ovide 同樣不看好，他將這兩家公司的合并說成是“兩家水下公司的航海聯(lián)盟”。

Teradata 首席運營官 Oliver Ratzesberger 告訴 Datanami：“這是一種 Sears-K-Mart 式的合并，這是他們唯一能夠生存下來的方式。Hadoop 本身就變得無關(guān)緊要了”。

Anaconda 產(chǎn)品和營銷高級副總裁 Mathew Lodge 在 VentureBeat 上發(fā)布的一篇文章中指出，大數(shù)據(jù)的中心已經(jīng)從 Hadoop 轉(zhuǎn)移到了云端，在對象存儲系統(tǒng)(如亞馬遜 S3、微軟 Azure Blob Storage 和 Google Cloud Storage)中存儲數(shù)據(jù)比在 HDFS 中便宜了五倍。

“領(lǐng)先的云計算公司并沒有在 Cloudera 和 Hortonworks 上運行大型的 Hadoop/Spark 集群，相反，他們在容器基礎(chǔ)設(shè)施上運行分布式云規(guī)模數(shù)據(jù)庫和應(yīng)用程序�，F(xiàn)在是時候讓 Hadoop 和 Spark 與時俱進了”。

讓 Hadoop 更像云

事實上，Apache Hadoop 社區(qū)一直都在積極應(yīng)對來自公有云供應(yīng)商的威脅，包括像 Databricks 和 Snowflake 這樣的初創(chuàng)公司。它們通過采用對象存儲和容器技術(shù)讓云端的大數(shù)據(jù)分析變得更便宜和更容易，并在上周獲得了來自風(fēng)險資本的 4.5 億投資，

在今年早些時候發(fā)布的 Hadoop 3 中，用戶可以選擇使用擦除編碼(erasure coding)，這是 S3 等對象存儲系統(tǒng)使用的數(shù)據(jù)保護技術(shù)，可將存儲效率提高 50%。Hadoop 3.1 將為 YARN 中的 Docker 帶來更強勁的支持。在宣布合并之前，Cloudera 和 Hortonworks 都在努力讓他們的 Hadoop 發(fā)行版支持 Kubernetes。

但是，對于 Hadoop 社區(qū)來說，他們還有很多工作要做。上個月，Cloudera 首席戰(zhàn)略官 Mike Olson 告訴 Datanami，社區(qū)還需要 12 到 24 個月才能在開源的 Apache Hadoop 項目中提供 Kubernetes 支持。

Olson 說：“YARN 擅長長期運行的批次作業(yè)調(diào)度，但要作為通用的集群資源管理框架，它還需要精心的設(shè)計和改進。未來 Kubernetes 將會入駐，并接管其中的一大部分內(nèi)容”。

于是問題來了：當(dāng) YARN 被 Kubernetes 取代，并且 HDFS 被替換為任何兼容 S3 的對象存儲系統(tǒng)時，Hadoop 還會是原來的 Hadoop 嗎? 如果你認為 Hadoop 只是 40 個開源項目的集合——HBase、Spark、Hive、Impala、Kafka、Flink、MapReduce、Presto、Drill、Pig、Kudu，等等——那么也許這個問題就問得沒有什么實際意義……

從實際角度來看，客戶不可能因為兩個最大的 Hadoop 發(fā)行商的整合而突然關(guān)閉多年來部署的數(shù)百萬個 Hadoop 節(jié)點。對于已經(jīng)建立了 Hadoop 數(shù)據(jù)湖的數(shù)千家公司而言，它們的重點將保持不變：從數(shù)據(jù)中獲取價值。

盡管 Hadoop 可能已經(jīng)變成了一項傳統(tǒng)技術(shù)，但社區(qū)仍然有動力去調(diào)整它，以便支持新興的需求，就像 IBM 對其大型機平臺所做的那樣。問題是它是否能夠以足夠快的速度讓已部署的基礎(chǔ)設(shè)施不斷增長。

簡化 Hadoop

 

 

自從十多年前第一個 MapReduce 程序上線以來，開發(fā)人員一直對 Hadoop 的復(fù)雜性頗有微詞。即使像 Facebook 這樣大的公司在使用 Hadoop 時也感到不便，特別是當(dāng)他們需要通過底層的 Java 編程技能從 Hadoop 中及時獲取信息時。

從那時起的一個發(fā)展趨勢，就是消除這種復(fù)雜性，但 Hadoop 社區(qū)沒能及時取得進展，因此未能阻止云供應(yīng)商通過推出更簡單的產(chǎn)品搶走市場份額。

Splice Machine 的 Zweben 表示：“我認為這是 Hadoop 的一次轉(zhuǎn)型。軟件供應(yīng)商會使用越來越多的引擎，但從長遠來看，不會有普通的企業(yè)會用它們……對于全球 2000 大企業(yè)來說，在背負 Hadoop 的重壓之下很難做到這點”。

Unravel Data 公司的 Agarawal 表示，現(xiàn)在 Cloudera 和 Hortonworks 的工程師將齊心協(xié)力，以更好地應(yīng)對構(gòu)建系統(tǒng)方面的挑戰(zhàn)，這些系統(tǒng)可以以本地、云端和混合的方式運行。“這是一個巨大的項目，仍然需要大量的工程師投入時間，把它打造成 Kubernetes 之上的一個成功的平臺。他們還有很多開發(fā)工作要做”。

如果說在隧道盡頭有一盞燈，那它就是：如果新 Cloudera 可以將 Hadoop 重新打造成一個混合的容器化平臺，位于 Kubernetes 之上，并且可以將數(shù)據(jù)存儲在任何與 S3 兼容的對象存儲中，那么它就有可能實現(xiàn)部分目標(biāo)，并占領(lǐng)一部分市場。 IDC 認為這是一個價值 650 億美元的機會。

Agarwal 說：“我認為Cloudera 手里握有一張云供應(yīng)商所沒有的王牌，那就是他們的混合策略。 根據(jù)我們與這些財富 1000 強公司合作的經(jīng)驗來看，他們不會直接進入云端。他們想要的是這種混合策略。因此，我認為這將成為為這些客戶創(chuàng)造價值的一條可行之路”。

從幻滅到生產(chǎn)力

 

 

從一開始，Hadoop 基本上就是大數(shù)據(jù)的代名詞。如果你遇到需要用大數(shù)據(jù)來解決的問題，那么答案肯定就是 Hadoop。

這當(dāng)然是不對的，很多人都這么說——但這卻是 Hadoop 多年來的一個營銷口號。

Teradata 首席技術(shù)官史 Steven Brobst 說，為解決復(fù)雜問題而尋找銀彈是人類的天性。“人們傾向于相信新技術(shù)將解決他們所有的問題，它會為你做所有的事情，甚至包括在早上給你端來一杯咖啡”。

Hadoop 曾經(jīng)是被過度熱炒的一項技術(shù)，而到了今天，這個頭銜被 AI 拿走了。 Brobst 說：“當(dāng)你的期望過度膨脹時，最終結(jié)果只會是失敗。當(dāng)技術(shù)被設(shè)置了不恰當(dāng)?shù)念A(yù)期，就會跌落到幻滅的低谷”。

Brobst 繼續(xù)說道：“我們現(xiàn)在所看到的 Hadoop 就正在經(jīng)歷這樣的一個過程。Hadoop 正處于幻滅的低谷。‘放棄它吧，它已經(jīng)不管用了!’其實它之所以不管用，是因為我們期望它能夠完成所有的事情。對于這樣不切實際的期望，除了失望之外，沒有其他可能性”。

Brobst 說，雖然人們一直在 Hadoop 上掙扎，但這并不意味著 Hadoop 沒有價值。相反，它意味著組織和用戶應(yīng)該要重新設(shè)置他們的期望，并問問自己它應(yīng)該用在什么地方會更好。

他說：“Hadoop 和大數(shù)據(jù)終將走出 Gartner 炒作周期的幻滅低谷，然后進入生產(chǎn)力高原。這不是一個大數(shù)據(jù)戰(zhàn)略，而是一個數(shù)據(jù)戰(zhàn)略……它將成為生態(tài)系統(tǒng)的一部分，但不會解決所有問題”。

另外，InfoQ 在兩年前策劃過“Hadoop 十年”的迷你書，迷你書以 Hadoop 十年發(fā)展為主線，系統(tǒng)梳理了 Hadoop 這十年的變化以及技術(shù)圈的生態(tài)狀況。

同時，如果你對大數(shù)據(jù)感興趣，或者想進一步了解學(xué)習(xí)大數(shù)據(jù)，可以關(guān)注極客時間 App 出品的《從 0 開始學(xué)大數(shù)據(jù)》專欄。

英文原文：https://www.datanami.com/2018/10/18/is-hadoop-officially-dead/

標(biāo)簽： Google idc 大數(shù)據(jù) 大數(shù)據(jù)分析 公有云 數(shù)據(jù)分析 數(shù)據(jù)庫 學(xué)大數(shù)據(jù) 云計算 云計算公司 轉(zhuǎn)型

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。