Hypertable(C++)吞吐率測試完勝HBase(Java)
2019-02-26 來源：多智時代
近日，Hypertable和HBase進行了類似隨機讀取統(tǒng)一的測試， 結果表明Hypertable在吞吐量測試中以2倍的性能優(yōu)勢壓倒HBase。HBase在410億和1670億的數(shù)據(jù)插入測試中不堪重負（垃圾數(shù)據(jù)收集）。在此次測試中Hypertable選用了0.9.5.5版，而HBase版本為0.90.4（CDH3u2運行于Zookeeper）。
Hypertable高可用改進架構示意圖
| Hypertable系統(tǒng)主要包括Hyperspace、Master和Range Server三大組件。Hyperspace是一個鎖服務，地位相當于Google的Chubby，主要用于同步、檢測節(jié)點是否發(fā)生故障和存放頂層位置信息；Master主要用于完成任務分配，未來會有負載均衡以及災后重建（Range Server失效后自動恢復服務）等其他作用；Range Server是Hypertable的實際工作者，主要負責對一個Range中的數(shù)據(jù)提供服務，此外它還肩負起災后重建的責任，即重放本地日志恢復自身故障前狀態(tài)；另外，還有訪問Hypertable的客戶端Client等組件。 |
Hypertable和HBase都是開源的可擴展的數(shù)據(jù)庫產品，它們的設計藍本同時基于Google BigTable。兩者的主要區(qū)別是Hypertable依靠C++語言實現(xiàn)，而HBase則基于Java編寫。 本次測試的環(huán)境為16臺服務器，這16臺服務器通過千兆網絡連接在一起。
操作系統(tǒng)：CentOS 6.1
CPU：2X AMD C32 Six Core Model 4170 HE 2.1Ghz
內存：24GB 1333MHz DDR3
硬盤：4X 2TB SATA Western Digital RE4-GP WD2002FYPS
Hypertable和HBase在HDFS的NameNode運行在1號測試機之上。而DataNodes則運行在4號測試機到15測試機之上。與此同時RangeServer和RegionServers運行在同一組計算機之中，并且配置使之可用所有的內存資源。三個Zookeeper和Hyperspace副本運行在1號測試機在3號測試機。在測試中，表被配置使用Snappy壓縮，同時使用Bloom filters加載Row Key。
在隨機寫入測試中，Hypertable和HBase分別測試寫入4個不同的5TB數(shù)據(jù)。 使用的值大小分別為10000、1000、100和10。同時固定為20字節(jié)并將范圍內的隨機整數(shù)（隨機值的數(shù)據(jù)段取自英文Wiki百科XML頁面的200MB樣本）格式化為零填充（0..number_of_keys_submitted*10）。
從圖中我們可以看出HBase在410億以及1670億的鍵測試中由于HBase的RegionServers并發(fā)模式失敗而拋出異常。無論如何配置當RegionServer產生無用數(shù)據(jù)的速度超過Java垃圾收集器就會發(fā)生如上的故障。為了解決這一問題，建造新的垃圾回收計劃以克服問題，但這也會為運行時的性能帶來沉重的代價。
在2005年的OOPSLA會議上Matthew Hertz和Emery D. Berger公布了《Garbage Collection vs. Explicit Memory Management》的研究文檔，這為相關研究提供堅實的信念。
在不久的將來，云計算一定會徹底走入我們的生活，有興趣入行未來前沿產業(yè)的朋友，可以收藏云計算，及時獲取人工智能、大數(shù)據(jù)、云計算和物聯(lián)網的前沿資訊和基礎知識，讓我們一起攜手，引領人工智能的未來！
標簽： CentOS Google 大數(shù)據(jù) 服務器 數(shù)據(jù)庫 網絡 云計算
版權申明：本站文章部分自網絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。
上一篇:混合云計算面臨哪些安全問題
