空管系統(tǒng)大數(shù)據(jù)存儲作者：未知 　　摘 要空管系統(tǒng)大數(shù)據(jù)存儲和分析是該系統(tǒng)需要關(guān)注的重要內(nèi)容，也是保證生產(chǎn)正常進(jìn)行的技能說段。本文擬在打破傳統(tǒng)的關(guān)系數(shù)據(jù)庫的存儲模式，著眼于圖數(shù)據(jù)庫的模式和相關(guān)技能論述空管系統(tǒng)大數(shù)據(jù)存儲與數(shù)據(jù)分析，從圖數(shù)據(jù)庫的原理、方法、可應(yīng)用性等方面敘述圖數(shù)據(jù)庫模式在空管系統(tǒng)中的應(yīng)用，并闡述了空管系統(tǒng)大數(shù)據(jù)的存儲與云部署以及基于圖數(shù)據(jù)的數(shù)據(jù)分析模式。主要敘述了空管系統(tǒng)圖數(shù)據(jù)庫的設(shè)計(jì)模式、大數(shù)據(jù)存儲、大數(shù)據(jù)計(jì)算和數(shù)據(jù)分析，并與關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫進(jìn)行對比，以此說明了圖數(shù)據(jù)庫應(yīng)用于空管系統(tǒng)的可行性。
　　【關(guān)鍵詞】空管系統(tǒng) 大數(shù)據(jù) 儲存
　　空中交通管制系統(tǒng)包括執(zhí)行塔臺和進(jìn)近管制的終端區(qū)管制系統(tǒng)與執(zhí)行區(qū)域和高空管制的區(qū)域管制系統(tǒng)，是國家信息化建設(shè)的重要組成局部，肩負(fù)著民航管理多架飛機(jī)起降和航行，保障飛行秩序和平安運(yùn)行的任務(wù)。隨著社會的發(fā)展和越來越多的飛機(jī)加入運(yùn)營，空管系統(tǒng)承載的功能和壓力也在逐漸增大，每天有大量的數(shù)據(jù)在系統(tǒng)中流轉(zhuǎn)，如何保障系統(tǒng)的穩(wěn)定運(yùn)行是必須要考慮的首要問題之一，這就涉及到數(shù)據(jù)存儲機(jī)制與查詢功能的改善；另外，隨著數(shù)據(jù)積累的增大，能夠通過計(jì)算機(jī)等手段對該數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和深層次挖掘其相關(guān)性以找出數(shù)據(jù)內(nèi)在的信息和業(yè)務(wù)系統(tǒng)固有的缺陷，為后續(xù)的升級改造提供數(shù)字化依據(jù)。以下將以華東空管局為背景闡述空管系統(tǒng)的大數(shù)據(jù)存儲和分析功能的構(gòu)建。
　　1 概括
　　大數(shù)據(jù)存儲和云計(jì)算是當(dāng)今計(jì)算機(jī)領(lǐng)域的熱門話題，主要應(yīng)用于零售行業(yè)和傳統(tǒng)運(yùn)輸業(yè)。其大數(shù)據(jù)存儲是云計(jì)算的基礎(chǔ)，惟有解決了大數(shù)據(jù)的存儲模式才能提供更加快捷的大數(shù)據(jù)運(yùn)算，為云計(jì)算提供基于硬件的技能支持。Hadoop的產(chǎn)生使我們可以用普通機(jī)器建立穩(wěn)定的處理TB級數(shù)據(jù)的集群，把傳統(tǒng)而昂貴的并行計(jì)算等觀念一下就拉到了我們的面前，然而Hadoop的Key-value模式和MapReduce機(jī)制的數(shù)據(jù)存儲瓶頸以及功能開發(fā)的復(fù)雜性對開發(fā)人員提出了很高的要求。簡明、高效、易用、自平衡的云存儲模式是解決當(dāng)前諸多問題的關(guān)鍵，順勢而生的圖數(shù)據(jù)庫以其簡明高效、多種易用API接口和自帶的負(fù)載均衡功能、易部署等特性越來越贏得業(yè)界的青睞。
　　任何數(shù)據(jù)存儲模式都不能解決業(yè)務(wù)系統(tǒng)所有的數(shù)據(jù)問題，目前大型系統(tǒng)每天有大量的數(shù)據(jù)產(chǎn)生和流轉(zhuǎn)，如何從上百G的數(shù)據(jù)中順暢的查詢出所需的記錄是決定系統(tǒng)可用性和功能性的關(guān)鍵；雖然增加硬件加入能夠有效緩解數(shù)據(jù)卡的現(xiàn)象，但找對數(shù)據(jù)存儲模式更能起到一舉兩得的效果。目前流行的云存儲簡而言之便是將大量的數(shù)據(jù)分而置之，將不同的數(shù)據(jù)分門別類，然后分配到不同層級的硬件上以削減查詢的復(fù)雜度，但這種分而置之的存儲架構(gòu)是基于基本的存儲模式的，所以選對基本的存儲模式是實(shí)現(xiàn)云存儲的關(guān)鍵。
　　空管數(shù)據(jù)除了基本的元信息數(shù)據(jù)外，主要包括雷達(dá)數(shù)據(jù)、電報(bào)數(shù)據(jù)、航班打算、航班運(yùn)行數(shù)據(jù)、流控信息、電子進(jìn)程單數(shù)據(jù)和航線基礎(chǔ)管理數(shù)據(jù)等。這些數(shù)據(jù)之間具有相關(guān)性，其中航班打算數(shù)據(jù)是基礎(chǔ)，電子進(jìn)程單數(shù)據(jù)是核心，其它航空器相關(guān)的運(yùn)行數(shù)據(jù)是和基礎(chǔ)數(shù)據(jù)與核心數(shù)據(jù)親密相關(guān)的。目前的空管系統(tǒng)數(shù)據(jù)的存儲大都選取ORACLE數(shù)據(jù)庫，將這些相互關(guān)聯(lián)的數(shù)據(jù)分割成離散的字段形式儲存于數(shù)據(jù)表中，當(dāng)使用時(shí)再將這些離散的數(shù)據(jù)組裝成對象呈現(xiàn)到客戶端。這種強(qiáng)行將關(guān)系打斷的存儲方式不但查詢效率低下，也沒有有效的利用數(shù)據(jù)之間的自然聯(lián)系，而是人為地將離散數(shù)據(jù)按一定準(zhǔn)則強(qiáng)行組合在一同使用。由于數(shù)據(jù)之間的自然聯(lián)系的損失，導(dǎo)致了后續(xù)的數(shù)據(jù)分析中缺少諸多自然的屬性，從而不能更好的挖掘空管數(shù)據(jù)間的相關(guān)性，不能為空管系統(tǒng)的更新?lián)Q代提供很好的技能支持。
　　2 圖數(shù)據(jù)庫
　　圖數(shù)據(jù)庫基于最基本的圖論算法，并以此為基礎(chǔ)發(fā)展。圖是定點(diǎn)和邊的聚集，是節(jié)點(diǎn)和關(guān)聯(lián)的聚集。圖數(shù)據(jù)庫管理系統(tǒng)是一種在線的數(shù)據(jù)庫管理系統(tǒng)。它支持對圖數(shù)據(jù)庫模型的增刪改查（CRUD）方法，一般用于工作（OLTP）系統(tǒng)中，并對工作本能進(jìn)行了優(yōu)化。選擇圖數(shù)據(jù)庫的一個(gè)充分的理由是因?yàn)楸灸艿娘@著提升，與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫相比，圖數(shù)據(jù)庫會隨著數(shù)據(jù)集的不時(shí)增大，查詢本能會趨于保持不變；而關(guān)系型數(shù)據(jù)庫處理密集join（join-intensive）查詢的本能會隨之變差。作為開發(fā)者和數(shù)據(jù)架構(gòu)師，我們老是希望根據(jù)問題域來決定如何連接數(shù)據(jù)，但現(xiàn)實(shí)情況往往是對問題域明白是逐步加深的。因?yàn)閳D天生是可擴(kuò)展的，這意味著我們能夠?qū)σ呀?jīng)存在的結(jié)構(gòu)添加不同種類的新聯(lián)系、新節(jié)點(diǎn)、新標(biāo)簽和新子圖，而不用擔(dān)心破壞已有的查詢或應(yīng)用程序的本能，這種靈活性決定了我們不必在項(xiàng)目首先就窮思竭慮地把領(lǐng)域中的每一個(gè)細(xì)枝末節(jié)都考慮在模型中。另外，通過使用與當(dāng)今增量和迭代的軟件交付實(shí)踐相吻合的軟件流水線技能，可以象改進(jìn)程序代碼一樣改進(jìn)數(shù)據(jù)存儲模型，現(xiàn)代圖數(shù)據(jù)庫能夠讓我們使用平滑的開發(fā)方式，配以優(yōu)雅的系統(tǒng)維護(hù)，摒棄僵化的模式限制，再加上圖數(shù)據(jù)庫人性化的API，使我們能夠用一種可控的方式來開發(fā)應(yīng)用程序。
　　以Neo4jD數(shù)據(jù)庫為例，該圖數(shù)據(jù)庫提供了嵌入式Neo4j和服務(wù)器模式，并提供了多種API和遍歷框架（Traversal Framework）以及Cypher查詢語言；同時(shí)Neo4j集群提供了復(fù)制、使用隊(duì)列寫入緩沖區(qū)和全球化集群策略來更好的支持大數(shù)據(jù)存儲和云計(jì)算。Neo4j本身沒有負(fù)載均衡功能，而是依賴于網(wǎng)絡(luò)基礎(chǔ)設(shè)施的負(fù)載均衡能力。通過分離讀寫流量，將寫操作定向到主節(jié)點(diǎn)，而讀操作分散到整個(gè)集群來提升系統(tǒng)本能；通過高速緩存分片算法，提前將查詢的局部區(qū)域放入高速緩存，借助一致性路由技能使整個(gè)集群的數(shù)據(jù)同步保持一致。
　　3 空管數(shù)據(jù)存儲模型
　　傳統(tǒng)的數(shù)據(jù)存儲模型是基于關(guān)系型數(shù)據(jù)庫的，而基于圖數(shù)據(jù)庫的數(shù)據(jù)存儲模型將改變傳統(tǒng)的思想模式，用一種面向?qū)ο蟮挠^念去設(shè)計(jì)基本的數(shù)據(jù)存儲結(jié)構(gòu)，是自上而下、自大而小的設(shè)計(jì)方法。以下就空管數(shù)據(jù)中的航班數(shù)據(jù)為例，對圖數(shù)據(jù)庫存儲實(shí)現(xiàn)做一觀念性的敘述。
　　3.1 基本數(shù)據(jù)庫結(jié)構(gòu)設(shè)計(jì)模式 　　航班數(shù)據(jù)能夠由航班號、日期和位置唯一的確定該航班的狀態(tài)，其中航班號屬于元數(shù)據(jù)的范圍，日期數(shù)據(jù)屬于基礎(chǔ)數(shù)據(jù)，位置信息（經(jīng)緯度）來自于雷達(dá)數(shù)據(jù)。根據(jù)日期和航班號所關(guān)聯(lián)的屬性信息就能夠唯一的確定該航班的基礎(chǔ)數(shù)據(jù)，雷達(dá)數(shù)據(jù)中的經(jīng)緯度與時(shí)間和該基礎(chǔ)數(shù)據(jù)綁定就能夠確定該航班的即時(shí)狀態(tài)。
　　對圖數(shù)據(jù)建模主要涉及節(jié)點(diǎn)、聯(lián)系、和屬性等因素。其中用節(jié)點(diǎn)來表示事物，如圖1中的航班運(yùn)行、日期、航班和位置；用聯(lián)系來表示結(jié)構(gòu)，如上圖中的Belong_to、Flight_on、Flight_to、Positon_of、pos_to等；屬性是表示節(jié)點(diǎn)或聯(lián)系自身的具體內(nèi)容信息。圖1是對圖數(shù)據(jù)庫數(shù)據(jù)建模的一種觀念性詮釋，分4個(gè)層次：頂層是航班信息節(jié)點(diǎn)，該節(jié)點(diǎn)通過屬性限定全局屬性，如華東局、春季、民航、軍用等；第二層是日期節(jié)點(diǎn)，該節(jié)點(diǎn)沒有屬性，不過單純的日期節(jié)點(diǎn)，各日期節(jié)點(diǎn)之間通過Date_pre和Date_next聯(lián)系起來，變成自然的時(shí)間序列，該節(jié)點(diǎn)通過Belong_to和航班節(jié)點(diǎn)相聯(lián)系，以確定其歸屬；第三層節(jié)點(diǎn)是航班節(jié)點(diǎn)，該節(jié)點(diǎn)通過航班名稱、航空公司名稱和機(jī)型等屬性信息標(biāo)識，節(jié)點(diǎn)之間通過Flight_to聯(lián)系相連接，變成一個(gè)隊(duì)列來標(biāo)識航班之間的前后順序，各航班通過Flight_on聯(lián)系與日期節(jié)點(diǎn)關(guān)聯(lián)，以標(biāo)示航班的所屬日期；第四層節(jié)點(diǎn)是位置節(jié)點(diǎn)，該節(jié)點(diǎn)通過Position_of聯(lián)系與航班節(jié)點(diǎn)相關(guān)聯(lián)，以標(biāo)示該位置屬于哪一個(gè)航班，同時(shí)位置之間通過pos_to聯(lián)系關(guān)聯(lián)以標(biāo)示位置之間的先后順序。
　　數(shù)據(jù)的增刪改查操作如下所述：插入數(shù)據(jù)：日期節(jié)點(diǎn)是一個(gè)自然順序節(jié)點(diǎn)，插入是只需要按照日期節(jié)點(diǎn)的聯(lián)系找到日期的位置，然后建立前后節(jié)點(diǎn)的聯(lián)系即可；航班節(jié)點(diǎn)的插入最初找到日期節(jié)點(diǎn)，再根據(jù)日期和航班節(jié)點(diǎn)之間的聯(lián)系找到新投入的節(jié)點(diǎn)的位置，重新建立航班節(jié)點(diǎn)之間的聯(lián)系以及新投入航班節(jié)點(diǎn)與時(shí)間節(jié)點(diǎn)的聯(lián)系；位置節(jié)點(diǎn)的插入最初按照日期-航班-位置的順序找到應(yīng)該插入節(jié)點(diǎn)的位置，然后重建位置節(jié)點(diǎn)之間的聯(lián)系以及位置節(jié)點(diǎn)和航班節(jié)點(diǎn)之間的聯(lián)系。批改數(shù)據(jù)：對任何一個(gè)節(jié)點(diǎn)，只需要按照從上到下的順序，即航班運(yùn)行-日期-航班-位置找到相應(yīng)的節(jié)點(diǎn)，然后批改節(jié)點(diǎn)的屬性及關(guān)系即可。刪除數(shù)據(jù)：只需要按照從上到下的順序，即航班運(yùn)行-日期-航班-位置找到相應(yīng)的節(jié)點(diǎn)，刪除該節(jié)點(diǎn)時(shí)，如果該節(jié)點(diǎn)有下層的子節(jié)點(diǎn)時(shí)，子節(jié)點(diǎn)自動被刪除。查詢數(shù)據(jù)：只需要按照從上到下的順序，即航班運(yùn)行-日期-航班-位置找到相應(yīng)的節(jié)點(diǎn)，讀出該節(jié)點(diǎn)的屬性和聯(lián)系即可。
　　與關(guān)系型數(shù)據(jù)庫模式相比，不論是插入還是查詢都有很大的優(yōu)勢。尤其是查詢，關(guān)系型數(shù)據(jù)的查詢要想提高查詢速度，除了增加硬件外，建立主鍵索引成為不二選擇。而且隨著數(shù)據(jù)表記錄條數(shù)的增加，查詢速度會越來越慢；而圖數(shù)據(jù)庫當(dāng)數(shù)據(jù)達(dá)到一定的數(shù)量級后，其查詢速度趨向于平穩(wěn)，再增加記錄查詢時(shí)間也不會增加；這對數(shù)據(jù)密集型的業(yè)務(wù)系統(tǒng)有很大的幫助。圖數(shù)據(jù)庫與Hadoop相比，其設(shè)計(jì)模式更趨向于人性化，很容易將客觀實(shí)體轉(zhuǎn)形成數(shù)據(jù)結(jié)構(gòu)因素；其開發(fā)模式也對程序員提出了較低的要求，對后續(xù)的快捷開發(fā)和快速應(yīng)用提供支撐。
　　3.2 空管大數(shù)據(jù)存儲實(shí)現(xiàn)
　　企業(yè)級大數(shù)據(jù)存儲增容的實(shí)現(xiàn)分為垂直擴(kuò)展和水平擴(kuò)展，垂直擴(kuò)展是升級數(shù)據(jù)庫服務(wù)器以提供更加魯棒的硬件本能，水平擴(kuò)展是通過互聯(lián)網(wǎng)技能，將大量的數(shù)據(jù)分門別類分散到不同的地方的不同級別的數(shù)據(jù)庫服務(wù)器上以提供更加有效的數(shù)據(jù)服務(wù)。水平擴(kuò)展技能是當(dāng)前的熱點(diǎn)，空管數(shù)據(jù)的存儲也不例外，隨著空管數(shù)據(jù)量的日趨增加和復(fù)雜化，將空管數(shù)據(jù)分散存儲、就近查詢以削減網(wǎng)絡(luò)占用和硬件損耗是空管系統(tǒng)發(fā)展的趨勢。
　　圖數(shù)據(jù)庫通過集群技能，使用主從復(fù)制實(shí)現(xiàn)高可用性和水平讀擴(kuò)展。通過將絕大局部寫入操作直接在主節(jié)點(diǎn)長進(jìn)行、從節(jié)點(diǎn)主要進(jìn)行讀操作的模式將讀請求和寫請求分開，并通過負(fù)載均衡器將寫流量定向到主節(jié)點(diǎn)，而讀流量分散到整個(gè)集群。而主從節(jié)點(diǎn)的數(shù)據(jù)同步是依靠圖數(shù)據(jù)庫的底層模塊（配置選項(xiàng)）自動完成并通過內(nèi)部的與或機(jī)制將數(shù)據(jù)延遲降低到最小的程度。通過高速緩存分片技能將每個(gè)請求路由到HA（高可用性）集群的特定實(shí)例上。如果應(yīng)用程序的大多數(shù)查詢都是部分圖查詢，即從圖的一個(gè)或多個(gè)特定點(diǎn)起初，然后遍歷周圍的子圖。那么這種一致地從一族節(jié)點(diǎn)起初查詢，隨后路由到同一數(shù)據(jù)庫實(shí)例繼續(xù)查詢的機(jī)制將增加每個(gè)查詢在熱高速緩存中的命中可能性。
　　如圖2所示，空管運(yùn)行數(shù)據(jù)的存儲選取主從節(jié)點(diǎn)的大數(shù)據(jù)存儲模式，通過網(wǎng)絡(luò)將主從節(jié)點(diǎn)互聯(lián)，從節(jié)點(diǎn)之間相對隔絕；主節(jié)點(diǎn)存儲實(shí)時(shí)運(yùn)行的實(shí)際業(yè)務(wù)數(shù)據(jù)，通過策略將數(shù)據(jù)分門別類的復(fù)制到從節(jié)點(diǎn)長進(jìn)行存儲。這就要求在主從節(jié)點(diǎn)上分辨建立有差異的圖數(shù)據(jù)庫結(jié)構(gòu)，主數(shù)據(jù)庫節(jié)點(diǎn)除了具備數(shù)據(jù)存儲和數(shù)據(jù)寫入讀取功能外，還具備整個(gè)集群的主節(jié)點(diǎn)管理的功能；同樣從節(jié)點(diǎn)除了存儲數(shù)據(jù)外，還具備數(shù)據(jù)備份和提供查詢服務(wù)的功能。
　　集群中數(shù)據(jù)的同步要求一致性，即保證使得主節(jié)點(diǎn)的寫入是立即同步的，而整個(gè)集群的數(shù)據(jù)同步是最后一致的。要保證直接向主節(jié)點(diǎn)的寫入能反映到下一個(gè)經(jīng)過負(fù)載均衡的讀請求上，圖數(shù)據(jù)庫選取一致性路由技能將寫入操作定向到將用于響應(yīng)后續(xù)的讀取請求的從節(jié)點(diǎn)上。寫入和讀取基于請求中的一些領(lǐng)域條件被一致地路由。
　　3.3 空管大數(shù)據(jù)云計(jì)算
　　空管系統(tǒng)運(yùn)行過程中產(chǎn)生的數(shù)據(jù)，比如航班打算、實(shí)時(shí)航班運(yùn)行數(shù)據(jù)、雷達(dá)數(shù)據(jù)、電子進(jìn)程單數(shù)據(jù)等，通過客戶端生成后通過寫入負(fù)載均衡器寫入主節(jié)點(diǎn)數(shù)據(jù)庫服務(wù)器，主節(jié)點(diǎn)服務(wù)器通過計(jì)算選取一致性路由技能將數(shù)據(jù)分門別類地同步到集群中的從節(jié)點(diǎn)上；客戶端查詢數(shù)據(jù)時(shí)，讀出負(fù)載均衡器根據(jù)客戶端的請求將請求分配到相應(yīng)的從節(jié)點(diǎn)或主節(jié)點(diǎn)上。要保證云計(jì)算的順利實(shí)施，底層數(shù)據(jù)同步策略的構(gòu)建是關(guān)鍵，主要包括合理的規(guī)劃主從數(shù)據(jù)庫節(jié)點(diǎn)上的數(shù)據(jù)庫結(jié)構(gòu)，制定準(zhǔn)確的一致性路由策略和同步機(jī)制，數(shù)據(jù)的區(qū)域分塊技能，數(shù)據(jù)緩存和備份，以及存儲網(wǎng)絡(luò)的選擇、帶寬分配、硬件基礎(chǔ)設(shè)施的合理配置等。同時(shí)，要盡量避免從節(jié)點(diǎn)的數(shù)據(jù)寫入，因?yàn)閺墓?jié)點(diǎn)的寫入比主節(jié)點(diǎn)慢一個(gè)數(shù)量級，從節(jié)點(diǎn)寫入后，數(shù)據(jù)最初要路由到主節(jié)點(diǎn)上，然后再由主節(jié)點(diǎn)同步到各從節(jié)點(diǎn)上；同樣的，主節(jié)點(diǎn)盡量避免數(shù)據(jù)的讀取，以騰出資源讓主節(jié)點(diǎn)有效地管理集群保持稻蕕募詞蓖步。
轉(zhuǎn)載請注明來源。原文地址：https://www.7428.cn/page/2018/1205/51391/

在不久的將來，云計(jì)算一定會徹底走入我們的生活，有興趣入行未來前沿產(chǎn)業(yè)的朋友，可以收藏云計(jì)算，及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識，讓我們一起攜手，引領(lǐng)人工智能的未來！

標(biāo)簽： 大數(shù)據(jù) 大數(shù)據(jù)云計(jì)算 代碼 服務(wù)器 互聯(lián)網(wǎng) 開發(fā)者 數(shù)據(jù)分析 數(shù)據(jù)庫 網(wǎng)絡(luò) 信息化 云計(jì)算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。