空管系統(tǒng)大數(shù)據(jù)存儲作者：未知 　　摘 要空管系統(tǒng)大數(shù)據(jù)存儲和分析是該系統(tǒng)需要關注的重要內容，也是保證生產正常進行的技能說段。本文擬在打破傳統(tǒng)的關系數(shù)據(jù)庫的存儲模式，著眼于圖數(shù)據(jù)庫的模式和相關技能論述空管系統(tǒng)大數(shù)據(jù)存儲與數(shù)據(jù)分析，從圖數(shù)據(jù)庫的原理、方法、可應用性等方面敘述圖數(shù)據(jù)庫模式在空管系統(tǒng)中的應用，并闡述了空管系統(tǒng)大數(shù)據(jù)的存儲與云部署以及基于圖數(shù)據(jù)的數(shù)據(jù)分析模式。主要敘述了空管系統(tǒng)圖數(shù)據(jù)庫的設計模式、大數(shù)據(jù)存儲、大數(shù)據(jù)計算和數(shù)據(jù)分析，并與關系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫進行對比，以此說明了圖數(shù)據(jù)庫應用于空管系統(tǒng)的可行性。
　　【關鍵詞】空管系統(tǒng) 大數(shù)據(jù) 儲存
　　空中交通管制系統(tǒng)包括執(zhí)行塔臺和進近管制的終端區(qū)管制系統(tǒng)與執(zhí)行區(qū)域和高空管制的區(qū)域管制系統(tǒng)，是國家信息化建設的重要組成局部，肩負著民航管理多架飛機起降和航行，保障飛行秩序和平安運行的任務。隨著社會的發(fā)展和越來越多的飛機加入運營，空管系統(tǒng)承載的功能和壓力也在逐漸增大，每天有大量的數(shù)據(jù)在系統(tǒng)中流轉，如何保障系統(tǒng)的穩(wěn)定運行是必須要考慮的首要問題之一，這就涉及到數(shù)據(jù)存儲機制與查詢功能的改善；另外，隨著數(shù)據(jù)積累的增大，能夠通過計算機等手段對該數(shù)據(jù)進行統(tǒng)計分析和深層次挖掘其相關性以找出數(shù)據(jù)內在的信息和業(yè)務系統(tǒng)固有的缺陷，為后續(xù)的升級改造提供數(shù)字化依據(jù)。以下將以華東空管局為背景闡述空管系統(tǒng)的大數(shù)據(jù)存儲和分析功能的構建。
　　1 概括
　　大數(shù)據(jù)存儲和云計算是當今計算機領域的熱門話題，主要應用于零售行業(yè)和傳統(tǒng)運輸業(yè)。其大數(shù)據(jù)存儲是云計算的基礎，惟有解決了大數(shù)據(jù)的存儲模式才能提供更加快捷的大數(shù)據(jù)運算，為云計算提供基于硬件的技能支持。Hadoop的產生使我們可以用普通機器建立穩(wěn)定的處理TB級數(shù)據(jù)的集群，把傳統(tǒng)而昂貴的并行計算等觀念一下就拉到了我們的面前，然而Hadoop的Key-value模式和MapReduce機制的數(shù)據(jù)存儲瓶頸以及功能開發(fā)的復雜性對開發(fā)人員提出了很高的要求。簡明、高效、易用、自平衡的云存儲模式是解決當前諸多問題的關鍵，順勢而生的圖數(shù)據(jù)庫以其簡明高效、多種易用API接口和自帶的負載均衡功能、易部署等特性越來越贏得業(yè)界的青睞。
　　任何數(shù)據(jù)存儲模式都不能解決業(yè)務系統(tǒng)所有的數(shù)據(jù)問題，目前大型系統(tǒng)每天有大量的數(shù)據(jù)產生和流轉，如何從上百G的數(shù)據(jù)中順暢的查詢出所需的記錄是決定系統(tǒng)可用性和功能性的關鍵；雖然增加硬件加入能夠有效緩解數(shù)據(jù)卡的現(xiàn)象，但找對數(shù)據(jù)存儲模式更能起到一舉兩得的效果。目前流行的云存儲簡而言之便是將大量的數(shù)據(jù)分而置之，將不同的數(shù)據(jù)分門別類，然后分配到不同層級的硬件上以削減查詢的復雜度，但這種分而置之的存儲架構是基于基本的存儲模式的，所以選對基本的存儲模式是實現(xiàn)云存儲的關鍵。
　　空管數(shù)據(jù)除了基本的元信息數(shù)據(jù)外，主要包括雷達數(shù)據(jù)、電報數(shù)據(jù)、航班打算、航班運行數(shù)據(jù)、流控信息、電子進程單數(shù)據(jù)和航線基礎管理數(shù)據(jù)等。這些數(shù)據(jù)之間具有相關性，其中航班打算數(shù)據(jù)是基礎，電子進程單數(shù)據(jù)是核心，其它航空器相關的運行數(shù)據(jù)是和基礎數(shù)據(jù)與核心數(shù)據(jù)親密相關的。目前的空管系統(tǒng)數(shù)據(jù)的存儲大都選取ORACLE數(shù)據(jù)庫，將這些相互關聯(lián)的數(shù)據(jù)分割成離散的字段形式儲存于數(shù)據(jù)表中，當使用時再將這些離散的數(shù)據(jù)組裝成對象呈現(xiàn)到客戶端。這種強行將關系打斷的存儲方式不但查詢效率低下，也沒有有效的利用數(shù)據(jù)之間的自然聯(lián)系，而是人為地將離散數(shù)據(jù)按一定準則強行組合在一同使用。由于數(shù)據(jù)之間的自然聯(lián)系的損失，導致了后續(xù)的數(shù)據(jù)分析中缺少諸多自然的屬性，從而不能更好的挖掘空管數(shù)據(jù)間的相關性，不能為空管系統(tǒng)的更新?lián)Q代提供很好的技能支持。
　　2 圖數(shù)據(jù)庫
　　圖數(shù)據(jù)庫基于最基本的圖論算法，并以此為基礎發(fā)展。圖是定點和邊的聚集，是節(jié)點和關聯(lián)的聚集。圖數(shù)據(jù)庫管理系統(tǒng)是一種在線的數(shù)據(jù)庫管理系統(tǒng)。它支持對圖數(shù)據(jù)庫模型的增刪改查（CRUD）方法，一般用于工作（OLTP）系統(tǒng)中，并對工作本能進行了優(yōu)化。選擇圖數(shù)據(jù)庫的一個充分的理由是因為本能的顯著提升，與傳統(tǒng)的關系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫相比，圖數(shù)據(jù)庫會隨著數(shù)據(jù)集的不時增大，查詢本能會趨于保持不變；而關系型數(shù)據(jù)庫處理密集join（join-intensive）查詢的本能會隨之變差。作為開發(fā)者和數(shù)據(jù)架構師，我們老是希望根據(jù)問題域來決定如何連接數(shù)據(jù)，但現(xiàn)實情況往往是對問題域明白是逐步加深的。因為圖天生是可擴展的，這意味著我們能夠對已經存在的結構添加不同種類的新聯(lián)系、新節(jié)點、新標簽和新子圖，而不用擔心破壞已有的查詢或應用程序的本能，這種靈活性決定了我們不必在項目首先就窮思竭慮地把領域中的每一個細枝末節(jié)都考慮在模型中。另外，通過使用與當今增量和迭代的軟件交付實踐相吻合的軟件流水線技能，可以象改進程序代碼一樣改進數(shù)據(jù)存儲模型，現(xiàn)代圖數(shù)據(jù)庫能夠讓我們使用平滑的開發(fā)方式，配以優(yōu)雅的系統(tǒng)維護，摒棄僵化的模式限制，再加上圖數(shù)據(jù)庫人性化的API，使我們能夠用一種可控的方式來開發(fā)應用程序。
　　以Neo4jD數(shù)據(jù)庫為例，該圖數(shù)據(jù)庫提供了嵌入式Neo4j和服務器模式，并提供了多種API和遍歷框架（Traversal Framework）以及Cypher查詢語言；同時Neo4j集群提供了復制、使用隊列寫入緩沖區(qū)和全球化集群策略來更好的支持大數(shù)據(jù)存儲和云計算。Neo4j本身沒有負載均衡功能，而是依賴于網絡基礎設施的負載均衡能力。通過分離讀寫流量，將寫操作定向到主節(jié)點，而讀操作分散到整個集群來提升系統(tǒng)本能；通過高速緩存分片算法，提前將查詢的局部區(qū)域放入高速緩存，借助一致性路由技能使整個集群的數(shù)據(jù)同步保持一致。
　　3 空管數(shù)據(jù)存儲模型
　　傳統(tǒng)的數(shù)據(jù)存儲模型是基于關系型數(shù)據(jù)庫的，而基于圖數(shù)據(jù)庫的數(shù)據(jù)存儲模型將改變傳統(tǒng)的思想模式，用一種面向對象的觀念去設計基本的數(shù)據(jù)存儲結構，是自上而下、自大而小的設計方法。以下就空管數(shù)據(jù)中的航班數(shù)據(jù)為例，對圖數(shù)據(jù)庫存儲實現(xiàn)做一觀念性的敘述。
　　3.1 基本數(shù)據(jù)庫結構設計模式 　　航班數(shù)據(jù)能夠由航班號、日期和位置唯一的確定該航班的狀態(tài)，其中航班號屬于元數(shù)據(jù)的范圍，日期數(shù)據(jù)屬于基礎數(shù)據(jù)，位置信息（經緯度）來自于雷達數(shù)據(jù)。根據(jù)日期和航班號所關聯(lián)的屬性信息就能夠唯一的確定該航班的基礎數(shù)據(jù)，雷達數(shù)據(jù)中的經緯度與時間和該基礎數(shù)據(jù)綁定就能夠確定該航班的即時狀態(tài)。
　　對圖數(shù)據(jù)建模主要涉及節(jié)點、聯(lián)系、和屬性等因素。其中用節(jié)點來表示事物，如圖1中的航班運行、日期、航班和位置；用聯(lián)系來表示結構，如上圖中的Belong_to、Flight_on、Flight_to、Positon_of、pos_to等；屬性是表示節(jié)點或聯(lián)系自身的具體內容信息。圖1是對圖數(shù)據(jù)庫數(shù)據(jù)建模的一種觀念性詮釋，分4個層次：頂層是航班信息節(jié)點，該節(jié)點通過屬性限定全局屬性，如華東局、春季、民航、軍用等；第二層是日期節(jié)點，該節(jié)點沒有屬性，不過單純的日期節(jié)點，各日期節(jié)點之間通過Date_pre和Date_next聯(lián)系起來，變成自然的時間序列，該節(jié)點通過Belong_to和航班節(jié)點相聯(lián)系，以確定其歸屬；第三層節(jié)點是航班節(jié)點，該節(jié)點通過航班名稱、航空公司名稱和機型等屬性信息標識，節(jié)點之間通過Flight_to聯(lián)系相連接，變成一個隊列來標識航班之間的前后順序，各航班通過Flight_on聯(lián)系與日期節(jié)點關聯(lián)，以標示航班的所屬日期；第四層節(jié)點是位置節(jié)點，該節(jié)點通過Position_of聯(lián)系與航班節(jié)點相關聯(lián)，以標示該位置屬于哪一個航班，同時位置之間通過pos_to聯(lián)系關聯(lián)以標示位置之間的先后順序。
　　數(shù)據(jù)的增刪改查操作如下所述：插入數(shù)據(jù)：日期節(jié)點是一個自然順序節(jié)點，插入是只需要按照日期節(jié)點的聯(lián)系找到日期的位置，然后建立前后節(jié)點的聯(lián)系即可；航班節(jié)點的插入最初找到日期節(jié)點，再根據(jù)日期和航班節(jié)點之間的聯(lián)系找到新投入的節(jié)點的位置，重新建立航班節(jié)點之間的聯(lián)系以及新投入航班節(jié)點與時間節(jié)點的聯(lián)系；位置節(jié)點的插入最初按照日期-航班-位置的順序找到應該插入節(jié)點的位置，然后重建位置節(jié)點之間的聯(lián)系以及位置節(jié)點和航班節(jié)點之間的聯(lián)系。批改數(shù)據(jù)：對任何一個節(jié)點，只需要按照從上到下的順序，即航班運行-日期-航班-位置找到相應的節(jié)點，然后批改節(jié)點的屬性及關系即可。刪除數(shù)據(jù)：只需要按照從上到下的順序，即航班運行-日期-航班-位置找到相應的節(jié)點，刪除該節(jié)點時，如果該節(jié)點有下層的子節(jié)點時，子節(jié)點自動被刪除。查詢數(shù)據(jù)：只需要按照從上到下的順序，即航班運行-日期-航班-位置找到相應的節(jié)點，讀出該節(jié)點的屬性和聯(lián)系即可。
　　與關系型數(shù)據(jù)庫模式相比，不論是插入還是查詢都有很大的優(yōu)勢。尤其是查詢，關系型數(shù)據(jù)的查詢要想提高查詢速度，除了增加硬件外，建立主鍵索引成為不二選擇。而且隨著數(shù)據(jù)表記錄條數(shù)的增加，查詢速度會越來越慢；而圖數(shù)據(jù)庫當數(shù)據(jù)達到一定的數(shù)量級后，其查詢速度趨向于平穩(wěn)，再增加記錄查詢時間也不會增加；這對數(shù)據(jù)密集型的業(yè)務系統(tǒng)有很大的幫助。圖數(shù)據(jù)庫與Hadoop相比，其設計模式更趨向于人性化，很容易將客觀實體轉形成數(shù)據(jù)結構因素；其開發(fā)模式也對程序員提出了較低的要求，對后續(xù)的快捷開發(fā)和快速應用提供支撐。
　　3.2 空管大數(shù)據(jù)存儲實現(xiàn)
　　企業(yè)級大數(shù)據(jù)存儲增容的實現(xiàn)分為垂直擴展和水平擴展，垂直擴展是升級數(shù)據(jù)庫服務器以提供更加魯棒的硬件本能，水平擴展是通過互聯(lián)網技能，將大量的數(shù)據(jù)分門別類分散到不同的地方的不同級別的數(shù)據(jù)庫服務器上以提供更加有效的數(shù)據(jù)服務。水平擴展技能是當前的熱點，空管數(shù)據(jù)的存儲也不例外，隨著空管數(shù)據(jù)量的日趨增加和復雜化，將空管數(shù)據(jù)分散存儲、就近查詢以削減網絡占用和硬件損耗是空管系統(tǒng)發(fā)展的趨勢。
　　圖數(shù)據(jù)庫通過集群技能，使用主從復制實現(xiàn)高可用性和水平讀擴展。通過將絕大局部寫入操作直接在主節(jié)點長進行、從節(jié)點主要進行讀操作的模式將讀請求和寫請求分開，并通過負載均衡器將寫流量定向到主節(jié)點，而讀流量分散到整個集群。而主從節(jié)點的數(shù)據(jù)同步是依靠圖數(shù)據(jù)庫的底層模塊（配置選項）自動完成并通過內部的與或機制將數(shù)據(jù)延遲降低到最小的程度。通過高速緩存分片技能將每個請求路由到HA（高可用性）集群的特定實例上。如果應用程序的大多數(shù)查詢都是部分圖查詢，即從圖的一個或多個特定點起初，然后遍歷周圍的子圖。那么這種一致地從一族節(jié)點起初查詢，隨后路由到同一數(shù)據(jù)庫實例繼續(xù)查詢的機制將增加每個查詢在熱高速緩存中的命中可能性。
　　如圖2所示，空管運行數(shù)據(jù)的存儲選取主從節(jié)點的大數(shù)據(jù)存儲模式，通過網絡將主從節(jié)點互聯(lián)，從節(jié)點之間相對隔絕；主節(jié)點存儲實時運行的實際業(yè)務數(shù)據(jù)，通過策略將數(shù)據(jù)分門別類的復制到從節(jié)點長進行存儲。這就要求在主從節(jié)點上分辨建立有差異的圖數(shù)據(jù)庫結構，主數(shù)據(jù)庫節(jié)點除了具備數(shù)據(jù)存儲和數(shù)據(jù)寫入讀取功能外，還具備整個集群的主節(jié)點管理的功能；同樣從節(jié)點除了存儲數(shù)據(jù)外，還具備數(shù)據(jù)備份和提供查詢服務的功能。
　　集群中數(shù)據(jù)的同步要求一致性，即保證使得主節(jié)點的寫入是立即同步的，而整個集群的數(shù)據(jù)同步是最后一致的。要保證直接向主節(jié)點的寫入能反映到下一個經過負載均衡的讀請求上，圖數(shù)據(jù)庫選取一致性路由技能將寫入操作定向到將用于響應后續(xù)的讀取請求的從節(jié)點上。寫入和讀取基于請求中的一些領域條件被一致地路由。
　　3.3 空管大數(shù)據(jù)云計算
　　空管系統(tǒng)運行過程中產生的數(shù)據(jù)，比如航班打算、實時航班運行數(shù)據(jù)、雷達數(shù)據(jù)、電子進程單數(shù)據(jù)等，通過客戶端生成后通過寫入負載均衡器寫入主節(jié)點數(shù)據(jù)庫服務器，主節(jié)點服務器通過計算選取一致性路由技能將數(shù)據(jù)分門別類地同步到集群中的從節(jié)點上；客戶端查詢數(shù)據(jù)時，讀出負載均衡器根據(jù)客戶端的請求將請求分配到相應的從節(jié)點或主節(jié)點上。要保證云計算的順利實施，底層數(shù)據(jù)同步策略的構建是關鍵，主要包括合理的規(guī)劃主從數(shù)據(jù)庫節(jié)點上的數(shù)據(jù)庫結構，制定準確的一致性路由策略和同步機制，數(shù)據(jù)的區(qū)域分塊技能，數(shù)據(jù)緩存和備份，以及存儲網絡的選擇、帶寬分配、硬件基礎設施的合理配置等。同時，要盡量避免從節(jié)點的數(shù)據(jù)寫入，因為從節(jié)點的寫入比主節(jié)點慢一個數(shù)量級，從節(jié)點寫入后，數(shù)據(jù)最初要路由到主節(jié)點上，然后再由主節(jié)點同步到各從節(jié)點上；同樣的，主節(jié)點盡量避免數(shù)據(jù)的讀取，以騰出資源讓主節(jié)點有效地管理集群保持稻蕕募詞蓖步。
轉載請注明來源。原文地址：https://www.7428.cn/page/2018/1205/51391/

在不久的將來，云計算一定會徹底走入我們的生活，有興趣入行未來前沿產業(yè)的朋友，可以收藏云計算，及時獲取人工智能、大數(shù)據(jù)、云計算和物聯(lián)網的前沿資訊和基礎知識，讓我們一起攜手，引領人工智能的未來！

標簽： 大數(shù)據(jù) 大數(shù)據(jù)云計算 代碼 服務器 互聯(lián)網 開發(fā)者 數(shù)據(jù)分析 數(shù)據(jù)庫 網絡 信息化 云計算

版權申明：本站文章部分自網絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。