2019北京網(wǎng)絡安全大會期間，奇安信集團發(fā)布了面向?qū)崙?zhàn)化的態(tài)勢感知與安全運營平臺NGSOC(下文簡稱NGSOC)，NGSOC搭載了國內(nèi)首款分布式流式關(guān)聯(lián)分析引擎Sabre。本文將詳細闡述如何基于事件關(guān)聯(lián)，還原網(wǎng)絡攻擊的全貌，從而讓網(wǎng)絡攻擊無所遁形。

Sabre是什么？

Sabre是一個項目代號，即分布式流是關(guān)聯(lián)分析引引擎的一個代號。嚴格的說是CEP技術(shù)在大數(shù)據(jù)領(lǐng)域的一個實現(xiàn)，CEP（復雜事件處理）是流式事件分析的一種通用技術(shù)。

網(wǎng)絡攻擊是復雜的、多階段、持續(xù)相當長時間、跨多節(jié)點的動態(tài)過程，獨立的日志源無法看到攻擊的全貌，而只能看到完整攻擊的一個片段，不進行關(guān)聯(lián)，就無法把大量的片段組合起來完成全景拼圖。在實際使用場景中，用戶經(jīng)常會淹沒在多個設備頻繁告警中，無法通過智能手段將這些告警集中并進行關(guān)聯(lián)處理。

 

什么是事件？

我們這里所說的事件跟日常生活中的事件是不一樣的，它是計算機世界中的事件，指的是由計算機系統(tǒng)在運行中所生成的一組數(shù)據(jù)。

舉個例子，右面是個防火墻生成的事件，這是json的表現(xiàn)形式，整個事件是完全結(jié)構(gòu)化的，由兩部分組成。Key跟Value，Key叫做字段，Value叫做值，這是一個標準的結(jié)構(gòu)化事件。對于計算機系統(tǒng)來說這樣一條完全結(jié)構(gòu)化的數(shù)據(jù)才可以被處理、被分析。一般情況下，從非結(jié)構(gòu)化數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的過程，叫做事件的歸一化。事件歸一化之后，就會變成這種形式。

對海量的結(jié)構(gòu)化日志數(shù)據(jù)做分析，目的是發(fā)現(xiàn)難以琢磨的攻擊模式的技術(shù)，稱之為事件關(guān)聯(lián)技術(shù)。

在網(wǎng)絡安全中，溯源一個攻擊事件的全貌，就像現(xiàn)實生活中的警察破案，以一般典型案例的偵查為例（指須綜合運用多種偵查措施、手段的專案偵查），其一般程序如下：
 
1.初步收集與案件有關(guān)的各種線索，如現(xiàn)場痕跡、遺留物品、被害人基本情況、作案手法工具特征等。

2.匯總案情，綜合分析，作出判斷（提出假說）

這是整個偵查工作中很關(guān)鍵的一個環(huán)節(jié)，是確定偵查方向，制訂正確偵查計劃的前提。

3.確定偵查方向、劃定偵查范圍，安排分配偵查力量展開進一步地具體偵查，直到找到真兇，破案。
 
事件關(guān)聯(lián)技術(shù)就是這里面的匯總案情進行綜合分析的環(huán)節(jié)。

在網(wǎng)絡安全世界為什么要做事件關(guān)聯(lián)？

因為在我們現(xiàn)在這個世界，現(xiàn)實中的網(wǎng)絡攻擊是非常復雜的一個過程，它不是某個瞬間發(fā)生的一個事件，而是一個漫長的過程，一般來說，跨越非常長的時間段、非常多的網(wǎng)絡節(jié)點，它在這個過程中會從A節(jié)點移動到B節(jié)點，再移動到C節(jié)點。比如，通過外部的系統(tǒng)漏洞，攻擊進來之后，要做提權(quán)，做橫向移動，拿下你的域控，接著偷你的數(shù)據(jù)，最后留下后門。在整個過程中從網(wǎng)絡角度看涉及到非常多的節(jié)點，而這個過程也不是在瞬間完成，往往要持續(xù)幾個小時到幾天甚至更長，而且是一個動態(tài)的過程，這會導致什么結(jié)果？

我們現(xiàn)有所有的檢測體系，包括網(wǎng)絡邊界的防火墻、WAF、IPS、終端，分別只能看到整個攻擊過程中的某一個片段。那么怎么能從一系列的片段中，把整個攻擊過程完整的還原出來，這就是事件關(guān)聯(lián)分析的作用，也是NGSOC的核心功能。

事件關(guān)聯(lián)分析用什么技術(shù)來實現(xiàn)？用CEP技術(shù)。
 
什么是CEP？

CEP標準的學術(shù)名稱叫復雜事件處理，如圖是一個事件的生產(chǎn)和消費的處理模型和關(guān)系。左邊是事件的生產(chǎn)者，右邊是事件的消費者，而中間的就是事件處理。CEP的主要應用領(lǐng)域就是在事件處理上，這個事件處理會非常復雜，包括模式發(fā)現(xiàn)，驗證，數(shù)據(jù)富化及路由等等各種比較復雜的處理，在生產(chǎn)者跟消費者之間進行的很多計算都是要由CEP來完成。

CEP可以做實時的事件處理，但是這個事件處理，還有點特殊，這是四種典型的應用技術(shù)，每個技術(shù)應用的領(lǐng)域不太一樣。從這個橫軸上看，把處理速度分為兩類，人類速度和機器速度。從縱軸上來看，把事件分為簡單事件和復雜事件。嚴格定義的話，CEP技術(shù)的應用領(lǐng)域是用機器速度來生成復雜事件。

那么什么是簡單事件呢？

舉一個很簡單的例子，房間里有一個溫度傳感器，溫度傳感器的作用是每隔一分鐘報告即時溫度，它會不停的報，這是簡單事件。但是如果根據(jù)簡單事件做一個長期的分析，例如房間溫度已經(jīng)持續(xù)30分鐘上升，接近火警警戒線，這個屋子里面可能存在著火的隱患，這種就是簡單事件經(jīng)過分析后生成復雜事件的典型例子。

傳統(tǒng)的商業(yè)智能技術(shù)（BI）最常用于做企業(yè)的財務分析，CFO要看財務報表，在看的時候，他會得出一些結(jié)論，比如這個月的財務數(shù)據(jù)是平穩(wěn)的，這就是一條復雜事件產(chǎn)生。

關(guān)系型數(shù)據(jù)庫，在查詢數(shù)據(jù)的時候，一般的以秒為單位返回數(shù)據(jù)，這個速度實際上是人類可以接受的速度。同理，BI也是這個意思，當CFO在看到報表的時候，要在一毫秒內(nèi)得出結(jié)論，那基本不可能。人類速度是以秒為單位是可以的，但是對于消息隊列來說，處理消息要考慮到低延時，不可能說是這個消息一秒鐘之后再轉(zhuǎn)發(fā)出去，復雜事件處理同樣也是這個道理，就是技術(shù)要求實時或者是準實時。

復雜事件處理技術(shù)兩個最常應用領(lǐng)域，一個是金融反欺詐及程序化交易。程序化交易指的是由電腦來做自動交易，它的決策速度非常非常快。因為如果晚一秒鐘交易價格就會出現(xiàn)巨大的波動，一筆買賣就會從賺錢變成虧錢。同樣金融機構(gòu)的風控系統(tǒng)必須要快速得出結(jié)論，以阻止惡意交易的發(fā)生。

第二個比較典型的應用領(lǐng)域是物聯(lián)網(wǎng)IoT領(lǐng)域。在萬物互聯(lián)的時代，整個世界上的傳感器比人類的總數(shù)要多上幾十倍，每個傳感器都會生成大量的簡單事件。那么這些簡單事件如何處理？答案是主要依賴CEP技術(shù)。CEP在物聯(lián)網(wǎng)時代，是一個核心的、關(guān)鍵的、決定性的技術(shù)。

在NGSOC中，會輸入海量的告警和日志，對于NGSOC來說都是簡單事件，CEP技術(shù)的應用場景是從這些簡單事件中分析出復雜事件，還原攻擊的全景拼圖。

那么CEP技術(shù)跟數(shù)據(jù)庫技術(shù)有什么區(qū)別？

如果非要把數(shù)據(jù)庫技術(shù)和CEP技術(shù)做對比的話，可以認為數(shù)據(jù)庫技術(shù)是一個水庫，CEP技術(shù)是一個水管，水管里的水是不停流動的，不能停。數(shù)據(jù)庫技術(shù)相對簡單多了，先把水倒進來，保存下來之后再來做查詢跟分析，這是數(shù)據(jù)庫技術(shù)的原理。但是對于CEP來說，它這個水不停流動不能停，數(shù)據(jù)是動態(tài)，它是把數(shù)據(jù)直接推到查詢，打個比方說，CEP技術(shù)類似SQL on Stream, 但這個比方也不完全合適。因為其實本質(zhì)上CEP這里不是用的SQL，是EPL事件處理語言，要比SQL強大的多。

在大數(shù)據(jù)場景下，CEP技術(shù)是比較有歷史的，已經(jīng)發(fā)展很多年了。但是為什么說大數(shù)據(jù)場景下，CEP關(guān)聯(lián)分析會不太一樣，是因為我們在目前的大數(shù)據(jù)場景下遇到了更多的困難。

首先從場景上來看，大數(shù)據(jù)時代，數(shù)據(jù)要比原來單設備的數(shù)據(jù)要多上一到兩個數(shù)量級，擁有更海量的數(shù)據(jù)、更大量的告警�，F(xiàn)在的現(xiàn)實情況下，大數(shù)據(jù)平臺建好之后，用戶也比較愿意去把所有設備產(chǎn)生的告警集中起來，但是一般一個比較好的安全分析師，一天最多處理二十條告警。但是在我們實際的工作中，他可能一天要處理幾十萬，甚至上百萬的告警。怎么辦？

而且這些告警越來越復雜，從原來的暴力破解、掃描，現(xiàn)在已經(jīng)擴展到很多需要AI的介入做長期的基線分析，場景會越來越復雜，而且越來越廣，在一個框架里面描述的攻擊方法，其實每一種攻擊方法都可以作為一種場景來做解讀�？蛻魧Ξa(chǎn)品的需求，就是你能支持哪些場景，而這些場景后面支撐的是什么？其實就是關(guān)聯(lián)規(guī)則。

只是這個關(guān)聯(lián)規(guī)則，可能寫的很簡單，也可以寫得復雜�，F(xiàn)在檢測APT都不僅僅依賴威脅情報，還有相關(guān)的上下文、資產(chǎn)、漏洞信息、網(wǎng)絡信息，這些上下文信息都是數(shù)據(jù)，需要把它們?nèi)�部引入NGSOC，引入之后，發(fā)現(xiàn)除了正常導進來的這些日志、告警之外，上下文信息的數(shù)據(jù)量也非常大。

高級威脅一定要結(jié)合上下文信息來做分析，在這個方面仍然會遇到很多的問題。而且在那個大數(shù)據(jù)場景下，工程上也會有很多的難點。

大數(shù)據(jù)場景下的工程難點

 

 

第一、計算與存儲資源的平臺化趨勢，這使得賣傳統(tǒng)設備那個階段各個安全廠商的東西都可以獨立部署已成為過去�，F(xiàn)在的平臺化趨勢越來越明顯，用戶單位所有的計算資源、存儲資源要都在平臺上，最終交付給客戶的是跑在大數(shù)據(jù)平臺上的一個應用，這種新的交互形式帶來了工程上的問題，你拿不到獨立的設備資源，甚至虛擬機也沒有。很多客戶那里大數(shù)據(jù)平臺已經(jīng)有了，上面沒有應用，怎么把你的安全能力落到客戶的大數(shù)據(jù)平臺上去？你的檢測原理、兼容性怎么保障？

第二、很多客戶的大數(shù)據(jù)平臺的部署實施是早于安全應用采購的，如果這個大數(shù)據(jù)平臺相關(guān)的組件版本是一個非常老版本的，你會發(fā)現(xiàn)對應用的要求更高，很多API要重新調(diào)整，在工程上會這個難度會更大。
 

第三、也是最難的一點，在大數(shù)據(jù)平臺上做應用，做分析，很多互聯(lián)網(wǎng)公司走前一種路線，依賴重運維的自有系統(tǒng)，但是我們賣給客戶的產(chǎn)品必須是輕運維的。如果依賴重度運維的話，成本是非是非常高的。比如你的產(chǎn)品是互聯(lián)網(wǎng)公司的內(nèi)部系統(tǒng)，為了確保業(yè)務 24小時穩(wěn)定，可以放一個五個人團隊來進行7*24小時保障。但如果要求你的產(chǎn)品是面向企業(yè)用戶的話，為了減輕運維壓力，工程上要跨越一個鴻溝。你的產(chǎn)品的成熟度，必須要能達到完全意義上的輕運維，技術(shù)上非常困難。

 

在大數(shù)據(jù)場景下做CEP關(guān)聯(lián)分析，過程比較簡單，就三步。首先選一個流式計算框架；然后把所有的復雜邏輯做拆分，使能分布式；然后最后計算任務的生命周期管理，做完整的生命周期的創(chuàng)建、運行、監(jiān)控。簡單說，就跟把大象放冰箱里是一樣的，打開門、塞進去、關(guān)門。但是，這是目前的通用方法，必須且只能這么做。

因為前面所說的工程上的那些問題，只能按這個套路走。因為開發(fā)的不是一個設備，而是一個應用，就是前面提到的Sabre。

Sabre的特性

Sabre是一個分布式關(guān)聯(lián)分析引擎。Sabre有三項獨有的技術(shù)，我們自己定義的EPL語言、圖計算、代碼生成。通過這三項技術(shù)來支撐引擎特性，包括聚合計算、序列分析，關(guān)聯(lián)計算，時間窗口、分組去重、表計算。封裝這些特性，推出產(chǎn)品。在大數(shù)據(jù)環(huán)境下做出一個產(chǎn)品是非常困難的，把這些技術(shù)做成一個產(chǎn)品集成，這個花了我們相當長的時間。

為了保證分析結(jié)果的準確性，盡可能多類型的數(shù)據(jù)是基本前提。Sabre支持接入各種類型和維度的數(shù)據(jù)，如多源異構(gòu)日志、漏洞、資產(chǎn)信息、威脅情報以及自定義對象內(nèi)容，并支持對輸出結(jié)果進行回注分析。

在過去，從遇到問題、分析原理、尋找并確定解決方法到編程開發(fā)、測試上線是個長周期且耗時耗力的工程，而我們希望可以借助Sabre，通過類似VISIO界面的操作，進行規(guī)則配置，靈活易用。Sabre本身具備規(guī)則監(jiān)測能力，可對配置的規(guī)則進行快速精準驗證。Sabre中預置150+條規(guī)則，將專業(yè)的安全運營經(jīng)驗不斷通過規(guī)則更新傳遞給用戶。配完規(guī)則之后，可以在1到2分鐘之內(nèi)就直接上線驗證。這個可以大大節(jié)省開發(fā)的成本。

分析引擎的分布式擴展能力一直是關(guān)注的重點，在用戶規(guī)模從小變大的過程中如何適應不斷增長的數(shù)據(jù)分析訴求是設計的關(guān)鍵要素。Sabre基于流處理框架分析引擎，支持對流數(shù)據(jù)進行實時關(guān)聯(lián)分析。

支持分布式意味是可以橫向擴展的，性能可從單臺3W+EPS向擴展至數(shù)十臺集群規(guī)模，性能可達10WEPS的實時處理能力，能分析來源非常豐富的威脅。

為滿足大安全時代，企業(yè)級對云、智、物、移大數(shù)據(jù)背景下的異常威脅檢測要求，目前主流的流式數(shù)據(jù)處理和分析框架有兩個，要么Spark，要么Flink。Flink在國內(nèi)最近幾年發(fā)展比較快，在各大互聯(lián)網(wǎng)公司用得比較多，因此我們選擇了Flink。

但是Flink也有一個CEP，F(xiàn)link的CEP目前的代碼發(fā)展速度很快，代碼的成熟度欠佳。如果用這個的話，代碼會少很多，但在工程上會遇到非常復雜的問題，所以我們最終選擇用Sabre跟它并行，對于Flink的依賴做到最小化，基本上對于Library沒有依賴。很容易適配到Flink的各個版本。即便客戶用很老的大數(shù)據(jù)平臺，也能在上面運行，保證能夠適應非常多的客戶。最后一點，我們的整個開發(fā)分為兩條線，上面線是產(chǎn)品版本規(guī)劃，下面線是Sabre版本規(guī)劃，兩個版本分別規(guī)劃，Sabre提前一個版本進行預研，這樣雙線開發(fā)會讓開發(fā)風險降得非常低。

本文根據(jù)奇安信集團大數(shù)據(jù)與安全運營公司高級研發(fā)總監(jiān)韓鵬在2019北京網(wǎng)絡安全大會技術(shù)沙龍分享整理。

標簽： 態(tài)勢感知 安全運營 NGSOC 

版權(quán)申明：本站文章部分自網(wǎng)絡，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。