在實時數據世界里，為什么我們還這么執(zhí)著于Hadoop? 根據451 Research調查數據顯示，圍繞批處理架構的Hadoop仍然是大數據的代表技術，盡管其聲譽仍然超過實際部署情況。下面我們來具體了解一下。

批處理不是重點

Cloudera的Doug Cutting是一個非常聰明的人，也是開源開發(fā)人員，Hadoop、Lucene等大數據工具的開發(fā)都有他的功勞。

雖然Cutting承認實時流媒體技術的重要性，但他并沒有否認面向批處理的Hadoop的價值，他表示：

并不是因為我們覺得批處理是最好的，所以Hadoop圍繞批處理而構建。批處理(特別是MapReduce)很自然是第一步，因為它相對容易部署，并提供很重要的價值。在Hadoop之前，沒有辦法使用開源軟件在商品硬件存儲和處理千兆字節(jié)。Hadoop的MapReduce是很大的進步。

我們很難說清楚大數據的商品化對這個世界的重要性。這并不是說在Hadoop之前我們沒有存儲和分析大量數據，而是Hadoop讓我們非常廉價地實現這個過程。

總之，Hadoop民主化了大數據。 轉向流數據? 然而，Hadoop并沒有讓大數據分析變得容易。正如DataStax首席布道者Patrick McFadin表示，從企業(yè)數據挖掘價值并沒有那么簡單：

我們都聽說過存儲和分析PB級數據的投資回報率的問題。谷歌、雅虎和Facebook都在從中創(chuàng)造驚人的價值，而大部分企業(yè)都在試圖研究如何分析所有數據，第一：收集所有數據;第二：……;第三：利潤! 在數據收集和利潤之間有很多麻煩的步驟。隨著企業(yè)試圖加快對實時數據的分析能力，新技術為他們提供了可能。

McFadin發(fā)現了這個新大數據堆棧的關鍵要素。首先是一個排隊系統(tǒng)，Kafka、RabbitMQ和Kinesis等。然后是流處理層，這可能包括Storm、Spark Streaming或者Samza。對于高速存儲，企業(yè)經常轉向Cassandra、HBase、MongoDB或者MySQL等關系型數據庫。

最有趣的是批處理仍然有用武之地。McFadin表示，批處理現在可用于處理，即匯總和更深入的分析。批處理和實時的融合被稱為“Lambda架構”，這涉及讓三個元素和諧地共處：批處理、速度和服務。

換句話說，批處理仍然有用。

淘汰批處理

但并不是每個人都同意。Zoomdata公司首席執(zhí)行官和聯合創(chuàng)始人Justin Langseth認為Lambda是“不必要的”，并稱，“現在有端到端工具可以從采購、運輸、存儲到分析和可視化來處理數據，而不需要批處理”。

在他看來，批處理是大數據過去的遺留物：

實時數據顯然最好應該作為流來處理，而且還可以加載歷史數據，正如你的DVR可以加載電影《飄》或者上周的電視節(jié)目《美國偶像》到你的電視。這種區(qū)別很重要，Zoomdata認為將數據作為流來分析可以增加可擴展性和靈活性，而無論數據是實時還是歷史數據。

然而，超越可擴展性和靈活性好處的可能是將批處理從大數據過程移除所帶來的簡單性。Langseth認為，“當你不需要擔心批處理窗口以及從批處理故障中恢復時，這可以極大地簡化大數據架構。”

流分析取代Hadoop?

Cutting稱，還沒有那么快。

Cutting認為未來Hadoop等技術并不會完全被淘汰，流分析會得以發(fā)展，Cloudera的Enterprise Data Hub也是一樣。事實上，他不認為會廣泛轉向流分析，而是為大家?guī)�來了又一種選擇。 更有趣的是，大數據的大爆炸會讓行業(yè)催生出一些好方法來應對數據處理。

我認為我們不會再那么頻繁地看到Spark這樣的主要技術增加，隨著時間的推移，我們將會標準化這些工具，為大多數人提供功能來滿足其大數據應用需求。Hadoop帶來了技術爆炸，但我們可能會進入比較正常的演化過程，在各行業(yè)廣泛使用這些技術。

DataStax社區(qū)經理Scott Hirleman同意說：“批處理并不會消失，總是會需要對大量數據的大規(guī)模分析。”現在大家對流分析有極大的興趣，但稱現在還不清楚這種趨勢對大數據計劃的影響。

總之，流分析完全是關于“和”，而不是“或者”，這是對圍繞批處理系統(tǒng)(例如Hadoop)的很好的補充，但這肯定不會完全取代Hadoop。

標簽： Hadoop 大數據技術

版權申明：本站文章部分自網絡，如有侵權，請聯系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯系。