云存儲和大數(shù)據(jù)背景下，數(shù)據(jù)呈現(xiàn)爆炸式增長趨勢。根據(jù)研究顯示，2020年數(shù)字宇宙將達(dá)到35.2ZB，比2009年的0.8ZB猛增44倍，這其中80%以上為非結(jié)構(gòu)化數(shù)據(jù)。高性能計算、醫(yī)學(xué)影像、石油和天然氣勘探、數(shù)字媒體和社會化WEB等大量數(shù)據(jù)密集型應(yīng)用導(dǎo)致數(shù)據(jù)的井噴，不斷對存儲方法提出新的嚴(yán)峻挑戰(zhàn)。集群存儲是一種橫向擴展(Scale-out)存儲架構(gòu)，具有容量和性能線性擴展的優(yōu)勢，已經(jīng)得到市場的廣泛認(rèn)可。除了高性能、高擴展特點外，集群存儲還應(yīng)該具備高可用的特征，這對于企業(yè)核心業(yè)務(wù)系統(tǒng)尤為關(guān)鍵，保證關(guān)鍵業(yè)務(wù)的連續(xù)性。

    集群存儲高可用性

    高可用性(HA，HighAvailablity)是指通過盡量縮短系統(tǒng)停機時間(因日常的維護(hù)操作或突發(fā)的系統(tǒng)崩潰等)，以提高系統(tǒng)和應(yīng)用的可用性。企業(yè)中的關(guān)鍵應(yīng)用，如郵件服務(wù)、文件服務(wù)、數(shù)據(jù)庫服務(wù)等，通常會要求7*24小時不間斷連續(xù)提供服務(wù)并且不能表現(xiàn)出故障切換，這就要求承載服務(wù)的存儲系統(tǒng)能夠自動判斷故障，并提供故障恢復(fù)的能力。集群(Cluster)是由多個節(jié)點構(gòu)成的一種松散耦合的節(jié)點集合，協(xié)同起來對外提供服務(wù)。集群主要分為高性能集群HPC(HighPerformanceCluster)、高可用集群HAC(HighAvailablityCluster)和負(fù)載均衡集群 LBC(LoadBalancingCluster)。集群存儲系統(tǒng)是指協(xié)同多個節(jié)點提供高性能、高可用或負(fù)載均衡的存儲服務(wù)系統(tǒng)，消除單點故障和性能瓶問題，并且具有Scale-Out橫向高擴展能力，實現(xiàn)容量和性能線性擴展。集群存儲現(xiàn)有技術(shù)方案主要通過被冗余技術(shù)解決可用性問題，包括副本技術(shù)、糾刪碼技術(shù)、主備或全活HA技術(shù)。

    副本技術(shù)通過增加不同數(shù)量的副本，可以有效提高數(shù)據(jù)可用性，但是存儲利用率低(為副本數(shù)量分之一)，并增加了數(shù)據(jù)管理的復(fù)雜度。糾刪碼通過冗余編碼提高存儲可用性，并且具備較低的空間復(fù)雜度和數(shù)據(jù)冗余度，存儲利用率高，但編碼方式復(fù)雜，需要大量計算并降低業(yè)務(wù)性能，且適用集群節(jié)點數(shù)量較多的情形。主備 (Active/Standby)HA技術(shù)同樣采用冗余技術(shù)獲取高可用性，但存儲資源浪費嚴(yán)重。全活(Active/Active)HA技術(shù)通過監(jiān)控并將故障節(jié)點資源(IP、服務(wù)進(jìn)程、業(yè)務(wù)數(shù)據(jù)等)切換至正常節(jié)點上，使整個系統(tǒng)連續(xù)不間斷對外提供服務(wù)。這種HA技術(shù)不僅能夠提高可用性，而且具備負(fù)載均衡功能，資源利用率高。 HA技術(shù)的主要問題是資源切換期間會導(dǎo)致服務(wù)中斷，通常只接管IP和服務(wù)進(jìn)程資源，而業(yè)務(wù)數(shù)據(jù)或物理存儲資源需要由外部系統(tǒng)進(jìn)行管理。

    副本技術(shù)

    副本(Replication)就是對原始數(shù)據(jù)的完全拷貝。通過為系統(tǒng)中的文件增加各種不同形式的副本，保存冗余的文件數(shù)據(jù)，可以十分有效地提高文件的可用性，避免在地理上廣泛分布的系統(tǒng)節(jié)點由網(wǎng)絡(luò)斷開或機器故障等動態(tài)不可測因素而引起的數(shù)據(jù)丟失或不可獲取。一般而言，副本數(shù)量越多，文件的可靠性就越高，但是如果為所有文件都保存較多的副本數(shù)量，將消耗大量的系統(tǒng)存儲資源，并增加文件管理的復(fù)雜度。副本還可以起到提高系統(tǒng)性能的作用。通過合理的選擇存儲節(jié)點放置副本，并與適當(dāng)?shù)穆酚蓞f(xié)議配合，可以實現(xiàn)數(shù)據(jù)的就近訪問，減少訪問延遲，提高系統(tǒng)性能。另外，通過增加副本數(shù)量，將集中地文件訪問合理地分布到不同的節(jié)點和網(wǎng)絡(luò)路徑，利用其他節(jié)點和網(wǎng)絡(luò)路徑平衡節(jié)點和網(wǎng)絡(luò)的負(fù)載，可以有效地解決熱點問題。對于數(shù)據(jù)量較大的文件，還可以通過對多個副本的并行讀取，進(jìn)一步分散和平衡節(jié)點負(fù)載，提高文件讀取的效率，提高系統(tǒng)的I/O性能。典型的副本案例包括RAID1、GFS/HDFS副本(默認(rèn)三個)和Glusterfs復(fù)制卷。

在不久的將來，云計算一定會徹底走入我們的生活，有興趣入行未來前沿產(chǎn)業(yè)的朋友，可以收藏云計算，及時獲取人工智能、大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識，讓我們一起攜手，引領(lǐng)人工智能的未來！

標(biāo)簽： 大數(shù)據(jù) 媒體 數(shù)據(jù)庫 網(wǎng)絡(luò) 云計算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。