1、Hadoop生態(tài)概況

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)集成架構(gòu)，用戶可以在不了解分布式底層細(xì)節(jié)情況下，開發(fā)分布式程序，充分利用集群的威力來進(jìn)行高速運(yùn)算與存儲，具有可靠、高效、可伸縮的特點：

• 高可靠性：提供按位處理的存儲和計算能力值得用戶信賴。

• 高擴(kuò)展性：可以輕松地從小量集群擴(kuò)展到數(shù)以千計的節(jié)點中。

• 高效性：提供并發(fā)的分布式計算框架，處理速度非常快。

• 高容錯性：即使在少量節(jié)點宕機(jī)的情況下，也能自動完成任務(wù)。

Hadoop的核心是YARN,HDFS,Mapreduce。

2、HDFS

源自谷歌的GFS論文，發(fā)表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop體系中數(shù)據(jù)存儲管理的基礎(chǔ)，它是一個高度容錯的系統(tǒng)，能檢測和應(yīng)對硬件故障。

HDFS簡化了文件一致性模型，通過流式數(shù)據(jù)訪問，提供高吞吐量應(yīng)用程序數(shù)據(jù)訪問功能，適合帶有大型數(shù)據(jù)集的應(yīng)用程序，它提供了一次寫入多次讀取的機(jī)制，數(shù)據(jù)以塊的形式，同時分布在集群不同物理機(jī)器。

3、Mapreduce

源自于谷歌的MapReduce論文，"Hadoop Map/Reduce是一個使用簡易的軟件框架，基于它寫出來的應(yīng)用程序能夠運(yùn)行在由上千個商用機(jī)器組成的大型集群上，并以一種可靠容錯的方式并行處理上T級別的數(shù)據(jù)集。"Hadoop將MapReduce高度抽象為兩個階段：Map階段和Reduce階段，每個階段都以Key/Value對作為過程的輸入和輸出，并可以由程序員自己選擇他們的類型。

4、HBASE(分布式列存數(shù)據(jù)庫)

源自谷歌的Bigtable論文，是一個建立在HDFS之上，面向列的針對結(jié)構(gòu)化的數(shù)據(jù)可伸縮，高可靠，高性能分布式和面向列的動態(tài)模式數(shù)據(jù)庫。HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)(File System)所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。

5、ZooKeeper

ZooKeeper是一個分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個開源的實現(xiàn)，它是集群的管理者，監(jiān)視著集群中各個節(jié)點的狀態(tài)根據(jù)節(jié)點提交的反饋進(jìn)行下一步合理操作。最終，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。ZooKeeper為其提供：文件系統(tǒng)與通知機(jī)制。

6、HIVE

Hive是基于Hadoop的一個數(shù)據(jù)倉庫，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張表，并提供類sql查詢功能，Hive底層將sql語句轉(zhuǎn)化為mapreduce任務(wù)運(yùn)行。相對于用java代碼編寫mapreduce來說，Hive的優(yōu)勢明顯：快速開發(fā)，人員成本低，可擴(kuò)展性(自由擴(kuò)展集群規(guī)模)，延展性(支持自定義函數(shù))。

7、Flume

Flume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制)的能力。

當(dāng)前Flume有兩個版本Flume 0.9X版本的統(tǒng)稱Flume-og，F(xiàn)lume1.X版本的統(tǒng)稱Flume-ng。由于Flume-ng經(jīng)過重大重構(gòu)，與Flume-og有很大不同，使用時請注意區(qū)分。

8、Yarn分布式資源管理器

YARN(Yet Another Resource Negotiator, a framework for job scheduling and cluster resource management)，Yarn是下一代mapreduce，主要解決原始的Hadoop擴(kuò)展性較差，不支持多種計算框架而提出的，YARN的優(yōu)秀點是什么，踐行分布式框架設(shè)計和并行化開發(fā)時有什么啟發(fā)。希望這能加深Hadoop理解和算法開發(fā)思路擴(kuò)展，如TensorFlow的多核任務(wù)分配機(jī)制、分布式任務(wù)分配機(jī)制等。

9、spark

Spark是一個用來實現(xiàn)快速而通用的集群計算的平臺。擴(kuò)展了廣泛使用的MapReduce計算模型，而且高效地支持更多的計算模式，包括交互式查詢和流處理。在處理大規(guī)模數(shù)據(jù)集的時候，速度是非常重要的。Spark的一個重要特點就是能夠在內(nèi)存中計算，因而更快。即使在磁盤上進(jìn)行的復(fù)雜計算，Spark依然比MapReduce更加高效。

10、Kafka

Kafka is a distributed,partitioned,replicated commit logservice。它提供了類似于JMS的特性，但是在設(shè)計實現(xiàn)上完全不同，此外它并不是JMS規(guī)范的實現(xiàn)。kafka對消息保存時根據(jù)Topic進(jìn)行歸類，發(fā)送消息者成為Producer,消息接受者成為Consumer,此外kafka集群有多個kafka實例組成，每個實例(server)成為broker。無論是kafka集群，還是producer和consumer都依賴于zookeeper來保證系統(tǒng)可用性集群保存一些meta信息。

11、Hadoop偽分布式部署

目前而言，不收費(fèi)的Hadoop版本主要有三個，都是國外廠商，分別是

1、Apache原始版本

2、CDH版本，對于國內(nèi)用戶而言，絕大多數(shù)選擇該版本

3、HDP版本

標(biāo)簽： Google 代碼 谷歌 數(shù)據(jù)庫

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。