1.Hadoop

Hadoop是一個開源框架，它允許在整個集群使用簡單編程模型計算機的分布式環(huán)境存儲并處理大數(shù)據(jù)。它的目的是從單一的服務器到上千臺機器的擴展，每一個臺機都可以提供本地計算和存儲。

 

 

2.Druid

Druid是實時數(shù)據(jù)分析存儲系統(tǒng)，Java語言中最好的數(shù)據(jù)庫連接池。Druid能夠提供強大的監(jiān)控和擴展功能。

Druid是一個分布式的、面向列的、實時的分析數(shù)據(jù)存儲庫，通常用于為多租戶環(huán)境中的探索性儀表板供電。

Druid作為一種數(shù)據(jù)倉庫解決方案，擅長于對petabyte大小的數(shù)據(jù)集進行快速聚合查詢。Druid支持各種靈活的過濾器、精確計算、近似算法和其他有用的計算。

Druid可以同時加載流數(shù)據(jù)和批處理數(shù)據(jù)，并與Samza、Kafka、Storm、SPark和Hadoop集成。

 

 

3.Ambari

大數(shù)據(jù)平臺搭建、監(jiān)控利器;類似的還有CDH

Ambari能夠：

• 提供Hadoop集群

• Ambari為在任意數(shù)量的主機上安裝Hadoop服務提供了一個逐步向?qū)А?br /> • Ambari處理集群Hadoop服務的配置。

• 管理Hadoop集群

• Ambari為整個集群提供啟動、停止和重新配置Hadoop服務的中央管理。

• 監(jiān)視Hadoop集群

• Ambari為監(jiān)視Hadoop集群的健康狀況和狀態(tài)提供了一個儀表板。

• 安巴里杠桿Ambari度量系統(tǒng)用于度量集合。

• 安巴里杠桿Ambari警報框架用于系統(tǒng)警報，并在需要注意時通知您(例如，節(jié)點下降，剩余磁盤空間較低等)。

 

 

4.Spark

一個快速通用的集群計算系統(tǒng).它在Java、Scala、Python和R中提供了高級API，并提供了支持通用執(zhí)行圖的優(yōu)化引擎。大規(guī)模數(shù)據(jù)處理框架(可以應付企業(yè)中常見的三種數(shù)據(jù)處理場景：復雜的批量數(shù)據(jù)處理(batch data processing);基于歷史數(shù)據(jù)的交互式查詢;基于實時數(shù)據(jù)流的數(shù)據(jù)處理，Ceph:Linux分布式文件系統(tǒng)。

 

 

5.Storm

Storm是一個免費開源、分布式、高容錯的實時計算系統(tǒng)。Storm令持續(xù)不斷的流計算變得容易，彌補了Hadoop批處理所不能滿足的實時要求。Storm經(jīng)常用于在實時分析、在線機器學習、持續(xù)計算、分布式遠程調(diào)用和ETL等領域。Storm的部署管理非常簡單，而且，在同類的流式計算工具，Storm的性能也是非常出眾的。

 

標簽： linux 處理大數(shù)據(jù) 大數(shù)據(jù) 大數(shù)據(jù)平臺 大數(shù)據(jù)平臺搭建 服務器 數(shù)據(jù)分析 數(shù)據(jù)庫

版權(quán)申明：本站文章部分自網(wǎng)絡，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。