2019北京網(wǎng)絡(luò)安全大會(huì)期間，奇安信集團(tuán)發(fā)布了面向?qū)崙?zhàn)化的態(tài)勢(shì)感知與安全運(yùn)營(yíng)平臺(tái)NGSOC(下文簡(jiǎn)稱NGSOC)，NGSOC搭載了國(guó)內(nèi)首款分布式流式關(guān)聯(lián)分析引擎Sabre。本文將詳細(xì)闡述如何基于事件關(guān)聯(lián)，還原網(wǎng)絡(luò)攻擊的全貌，從而讓網(wǎng)絡(luò)攻擊無(wú)所遁形。

Sabre是什么？

Sabre是一個(gè)項(xiàng)目代號(hào)，即分布式流是關(guān)聯(lián)分析引引擎的一個(gè)代號(hào)。嚴(yán)格的說(shuō)是CEP技術(shù)在大數(shù)據(jù)領(lǐng)域的一個(gè)實(shí)現(xiàn)，CEP（復(fù)雜事件處理）是流式事件分析的一種通用技術(shù)。

網(wǎng)絡(luò)攻擊是復(fù)雜的、多階段、持續(xù)相當(dāng)長(zhǎng)時(shí)間、跨多節(jié)點(diǎn)的動(dòng)態(tài)過(guò)程，獨(dú)立的日志源無(wú)法看到攻擊的全貌，而只能看到完整攻擊的一個(gè)片段，不進(jìn)行關(guān)聯(lián)，就無(wú)法把大量的片段組合起來(lái)完成全景拼圖。在實(shí)際使用場(chǎng)景中，用戶經(jīng)常會(huì)淹沒(méi)在多個(gè)設(shè)備頻繁告警中，無(wú)法通過(guò)智能手段將這些告警集中并進(jìn)行關(guān)聯(lián)處理。

 

什么是事件？

我們這里所說(shuō)的事件跟日常生活中的事件是不一樣的，它是計(jì)算機(jī)世界中的事件，指的是由計(jì)算機(jī)系統(tǒng)在運(yùn)行中所生成的一組數(shù)據(jù)。

舉個(gè)例子，右面是個(gè)防火墻生成的事件，這是json的表現(xiàn)形式，整個(gè)事件是完全結(jié)構(gòu)化的，由兩部分組成。Key跟Value，Key叫做字段，Value叫做值，這是一個(gè)標(biāo)準(zhǔn)的結(jié)構(gòu)化事件。對(duì)于計(jì)算機(jī)系統(tǒng)來(lái)說(shuō)這樣一條完全結(jié)構(gòu)化的數(shù)據(jù)才可以被處理、被分析。一般情況下，從非結(jié)構(gòu)化數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的過(guò)程，叫做事件的歸一化。事件歸一化之后，就會(huì)變成這種形式。

對(duì)海量的結(jié)構(gòu)化日志數(shù)據(jù)做分析，目的是發(fā)現(xiàn)難以琢磨的攻擊模式的技術(shù)，稱之為事件關(guān)聯(lián)技術(shù)。

在網(wǎng)絡(luò)安全中，溯源一個(gè)攻擊事件的全貌，就像現(xiàn)實(shí)生活中的警察破案，以一般典型案例的偵查為例（指須綜合運(yùn)用多種偵查措施、手段的專案?jìng)刹椋�，其一般程序如下�?br />  
1.初步收集與案件有關(guān)的各種線索，如現(xiàn)場(chǎng)痕跡、遺留物品、被害人基本情況、作案手法工具特征等。

2.匯總案情，綜合分析，作出判斷（提出假說(shuō)）

這是整個(gè)偵查工作中很關(guān)鍵的一個(gè)環(huán)節(jié)，是確定偵查方向，制訂正確偵查計(jì)劃的前提。

3.確定偵查方向、劃定偵查范圍，安排分配偵查力量展開進(jìn)一步地具體偵查，直到找到真兇，破案。
 
事件關(guān)聯(lián)技術(shù)就是這里面的匯總案情進(jìn)行綜合分析的環(huán)節(jié)。

在網(wǎng)絡(luò)安全世界為什么要做事件關(guān)聯(lián)？

因?yàn)樵谖覀儸F(xiàn)在這個(gè)世界，現(xiàn)實(shí)中的網(wǎng)絡(luò)攻擊是非常復(fù)雜的一個(gè)過(guò)程，它不是某個(gè)瞬間發(fā)生的一個(gè)事件，而是一個(gè)漫長(zhǎng)的過(guò)程，一般來(lái)說(shuō)，跨越非常長(zhǎng)的時(shí)間段、非常多的網(wǎng)絡(luò)節(jié)點(diǎn)，它在這個(gè)過(guò)程中會(huì)從A節(jié)點(diǎn)移動(dòng)到B節(jié)點(diǎn)，再移動(dòng)到C節(jié)點(diǎn)。比如，通過(guò)外部的系統(tǒng)漏洞，攻擊進(jìn)來(lái)之后，要做提權(quán)，做橫向移動(dòng)，拿下你的域控，接著偷你的數(shù)據(jù)，最后留下后門。在整個(gè)過(guò)程中從網(wǎng)絡(luò)角度看涉及到非常多的節(jié)點(diǎn)，而這個(gè)過(guò)程也不是在瞬間完成，往往要持續(xù)幾個(gè)小時(shí)到幾天甚至更長(zhǎng)，而且是一個(gè)動(dòng)態(tài)的過(guò)程，這會(huì)導(dǎo)致什么結(jié)果？

我們現(xiàn)有所有的檢測(cè)體系，包括網(wǎng)絡(luò)邊界的防火墻、WAF、IPS、終端，分別只能看到整個(gè)攻擊過(guò)程中的某一個(gè)片段。那么怎么能從一系列的片段中，把整個(gè)攻擊過(guò)程完整的還原出來(lái)，這就是事件關(guān)聯(lián)分析的作用，也是NGSOC的核心功能。

事件關(guān)聯(lián)分析用什么技術(shù)來(lái)實(shí)現(xiàn)？用CEP技術(shù)。
 
什么是CEP？

CEP標(biāo)準(zhǔn)的學(xué)術(shù)名稱叫復(fù)雜事件處理，如圖是一個(gè)事件的生產(chǎn)和消費(fèi)的處理模型和關(guān)系。左邊是事件的生產(chǎn)者，右邊是事件的消費(fèi)者，而中間的就是事件處理。CEP的主要應(yīng)用領(lǐng)域就是在事件處理上，這個(gè)事件處理會(huì)非常復(fù)雜，包括模式發(fā)現(xiàn)，驗(yàn)證，數(shù)據(jù)富化及路由等等各種比較復(fù)雜的處理，在生產(chǎn)者跟消費(fèi)者之間進(jìn)行的很多計(jì)算都是要由CEP來(lái)完成。

CEP可以做實(shí)時(shí)的事件處理，但是這個(gè)事件處理，還有點(diǎn)特殊，這是四種典型的應(yīng)用技術(shù)，每個(gè)技術(shù)應(yīng)用的領(lǐng)域不太一樣。從這個(gè)橫軸上看，把處理速度分為兩類，人類速度和機(jī)器速度。從縱軸上來(lái)看，把事件分為簡(jiǎn)單事件和復(fù)雜事件。嚴(yán)格定義的話，CEP技術(shù)的應(yīng)用領(lǐng)域是用機(jī)器速度來(lái)生成復(fù)雜事件。

那么什么是簡(jiǎn)單事件呢？

舉一個(gè)很簡(jiǎn)單的例子，房間里有一個(gè)溫度傳感器，溫度傳感器的作用是每隔一分鐘報(bào)告即時(shí)溫度，它會(huì)不停的報(bào)，這是簡(jiǎn)單事件。但是如果根據(jù)簡(jiǎn)單事件做一個(gè)長(zhǎng)期的分析，例如房間溫度已經(jīng)持續(xù)30分鐘上升，接近火警警戒線，這個(gè)屋子里面可能存在著火的隱患，這種就是簡(jiǎn)單事件經(jīng)過(guò)分析后生成復(fù)雜事件的典型例子。

傳統(tǒng)的商業(yè)智能技術(shù)（BI）最常用于做企業(yè)的財(cái)務(wù)分析，CFO要看財(cái)務(wù)報(bào)表，在看的時(shí)候，他會(huì)得出一些結(jié)論，比如這個(gè)月的財(cái)務(wù)數(shù)據(jù)是平穩(wěn)的，這就是一條復(fù)雜事件產(chǎn)生。

關(guān)系型數(shù)據(jù)庫(kù)，在查詢數(shù)據(jù)的時(shí)候，一般的以秒為單位返回?cái)?shù)據(jù)，這個(gè)速度實(shí)際上是人類可以接受的速度。同理，BI也是這個(gè)意思，當(dāng)CFO在看到報(bào)表的時(shí)候，要在一毫秒內(nèi)得出結(jié)論，那基本不可能。人類速度是以秒為單位是可以的，但是對(duì)于消息隊(duì)列來(lái)說(shuō)，處理消息要考慮到低延時(shí)，不可能說(shuō)是這個(gè)消息一秒鐘之后再轉(zhuǎn)發(fā)出去，復(fù)雜事件處理同樣也是這個(gè)道理，就是技術(shù)要求實(shí)時(shí)或者是準(zhǔn)實(shí)時(shí)。

復(fù)雜事件處理技術(shù)兩個(gè)最常應(yīng)用領(lǐng)域，一個(gè)是金融反欺詐及程序化交易。程序化交易指的是由電腦來(lái)做自動(dòng)交易，它的決策速度非常非�？�。因?yàn)槿绻�晚一秒鐘交易價(jià)格就會(huì)出現(xiàn)巨大的波動(dòng)，一筆買賣就會(huì)從賺錢變成虧錢。同樣金融機(jī)構(gòu)的風(fēng)控系統(tǒng)必須要快速得出結(jié)論，以阻止惡意交易的發(fā)生。

第二個(gè)比較典型的應(yīng)用領(lǐng)域是物聯(lián)網(wǎng)IoT領(lǐng)域。在萬(wàn)物互聯(lián)的時(shí)代，整個(gè)世界上的傳感器比人類的總數(shù)要多上幾十倍，每個(gè)傳感器都會(huì)生成大量的簡(jiǎn)單事件。那么這些簡(jiǎn)單事件如何處理？答案是主要依賴CEP技術(shù)。CEP在物聯(lián)網(wǎng)時(shí)代，是一個(gè)核心的、關(guān)鍵的、決定性的技術(shù)。

在NGSOC中，會(huì)輸入海量的告警和日志，對(duì)于NGSOC來(lái)說(shuō)都是簡(jiǎn)單事件，CEP技術(shù)的應(yīng)用場(chǎng)景是從這些簡(jiǎn)單事件中分析出復(fù)雜事件，還原攻擊的全景拼圖。

那么CEP技術(shù)跟數(shù)據(jù)庫(kù)技術(shù)有什么區(qū)別？

如果非要把數(shù)據(jù)庫(kù)技術(shù)和CEP技術(shù)做對(duì)比的話，可以認(rèn)為數(shù)據(jù)庫(kù)技術(shù)是一個(gè)水庫(kù)，CEP技術(shù)是一個(gè)水管，水管里的水是不停流動(dòng)的，不能停。數(shù)據(jù)庫(kù)技術(shù)相對(duì)簡(jiǎn)單多了，先把水倒進(jìn)來(lái)，保存下來(lái)之后再來(lái)做查詢跟分析，這是數(shù)據(jù)庫(kù)技術(shù)的原理。但是對(duì)于CEP來(lái)說(shuō)，它這個(gè)水不停流動(dòng)不能停，數(shù)據(jù)是動(dòng)態(tài)，它是把數(shù)據(jù)直接推到查詢，打個(gè)比方說(shuō)，CEP技術(shù)類似SQL on Stream, 但這個(gè)比方也不完全合適。因?yàn)槠鋵?shí)本質(zhì)上CEP這里不是用的SQL，是EPL事件處理語(yǔ)言，要比SQL強(qiáng)大的多。

在大數(shù)據(jù)場(chǎng)景下，CEP技術(shù)是比較有歷史的，已經(jīng)發(fā)展很多年了。但是為什么說(shuō)大數(shù)據(jù)場(chǎng)景下，CEP關(guān)聯(lián)分析會(huì)不太一樣，是因?yàn)槲覀冊(cè)谀壳暗拇髷?shù)據(jù)場(chǎng)景下遇到了更多的困難。

首先從場(chǎng)景上來(lái)看，大數(shù)據(jù)時(shí)代，數(shù)據(jù)要比原來(lái)單設(shè)備的數(shù)據(jù)要多上一到兩個(gè)數(shù)量級(jí)，擁有更海量的數(shù)據(jù)、更大量的告警�，F(xiàn)在的現(xiàn)實(shí)情況下，大數(shù)據(jù)平臺(tái)建好之后，用戶也比較愿意去把所有設(shè)備產(chǎn)生的告警集中起來(lái)，但是一般一個(gè)比較好的安全分析師，一天最多處理二十條告警。但是在我們實(shí)際的工作中，他可能一天要處理幾十萬(wàn)，甚至上百萬(wàn)的告警。怎么辦？

而且這些告警越來(lái)越復(fù)雜，從原來(lái)的暴力破解、掃描，現(xiàn)在已經(jīng)擴(kuò)展到很多需要AI的介入做長(zhǎng)期的基線分析，場(chǎng)景會(huì)越來(lái)越復(fù)雜，而且越來(lái)越廣，在一個(gè)框架里面描述的攻擊方法，其實(shí)每一種攻擊方法都可以作為一種場(chǎng)景來(lái)做解讀。客戶對(duì)產(chǎn)品的需求，就是你能支持哪些場(chǎng)景，而這些場(chǎng)景后面支撐的是什么？其實(shí)就是關(guān)聯(lián)規(guī)則。

只是這個(gè)關(guān)聯(lián)規(guī)則，可能寫的很簡(jiǎn)單，也可以寫得復(fù)雜。現(xiàn)在檢測(cè)APT都不僅僅依賴威脅情報(bào)，還有相關(guān)的上下文、資產(chǎn)、漏洞信息、網(wǎng)絡(luò)信息，這些上下文信息都是數(shù)據(jù)，需要把它們?nèi)�部引入NGSOC，引入之后，發(fā)現(xiàn)除了正常導(dǎo)進(jìn)來(lái)的這些日志、告警之外，上下文信息的數(shù)據(jù)量也非常大。

高級(jí)威脅一定要結(jié)合上下文信息來(lái)做分析，在這個(gè)方面仍然會(huì)遇到很多的問(wèn)題。而且在那個(gè)大數(shù)據(jù)場(chǎng)景下，工程上也會(huì)有很多的難點(diǎn)。

大數(shù)據(jù)場(chǎng)景下的工程難點(diǎn)

 

 

第一、計(jì)算與存儲(chǔ)資源的平臺(tái)化趨勢(shì)，這使得賣傳統(tǒng)設(shè)備那個(gè)階段各個(gè)安全廠商的東西都可以獨(dú)立部署已成為過(guò)去�，F(xiàn)在的平臺(tái)化趨勢(shì)越來(lái)越明顯，用戶單位所有的計(jì)算資源、存儲(chǔ)資源要都在平臺(tái)上，最終交付給客戶的是跑在大數(shù)據(jù)平臺(tái)上的一個(gè)應(yīng)用，這種新的交互形式帶來(lái)了工程上的問(wèn)題，你拿不到獨(dú)立的設(shè)備資源，甚至虛擬機(jī)也沒(méi)有。很多客戶那里大數(shù)據(jù)平臺(tái)已經(jīng)有了，上面沒(méi)有應(yīng)用，怎么把你的安全能力落到客戶的大數(shù)據(jù)平臺(tái)上去？你的檢測(cè)原理、兼容性怎么保障？

第二、很多客戶的大數(shù)據(jù)平臺(tái)的部署實(shí)施是早于安全應(yīng)用采購(gòu)的，如果這個(gè)大數(shù)據(jù)平臺(tái)相關(guān)的組件版本是一個(gè)非常老版本的，你會(huì)發(fā)現(xiàn)對(duì)應(yīng)用的要求更高，很多API要重新調(diào)整，在工程上會(huì)這個(gè)難度會(huì)更大。
 

第三、也是最難的一點(diǎn)，在大數(shù)據(jù)平臺(tái)上做應(yīng)用，做分析，很多互聯(lián)網(wǎng)公司走前一種路線，依賴重運(yùn)維的自有系統(tǒng)，但是我們賣給客戶的產(chǎn)品必須是輕運(yùn)維的。如果依賴重度運(yùn)維的話，成本是非是非常高的。比如你的產(chǎn)品是互聯(lián)網(wǎng)公司的內(nèi)部系統(tǒng)，為了確保業(yè)務(wù) 24小時(shí)穩(wěn)定，可以放一個(gè)五個(gè)人團(tuán)隊(duì)來(lái)進(jìn)行7*24小時(shí)保障。但如果要求你的產(chǎn)品是面向企業(yè)用戶的話，為了減輕運(yùn)維壓力，工程上要跨越一個(gè)鴻溝。你的產(chǎn)品的成熟度，必須要能達(dá)到完全意義上的輕運(yùn)維，技術(shù)上非常困難。

 

在大數(shù)據(jù)場(chǎng)景下做CEP關(guān)聯(lián)分析，過(guò)程比較簡(jiǎn)單，就三步。首先選一個(gè)流式計(jì)算框架；然后把所有的復(fù)雜邏輯做拆分，使能分布式；然后最后計(jì)算任務(wù)的生命周期管理，做完整的生命周期的創(chuàng)建、運(yùn)行、監(jiān)控。簡(jiǎn)單說(shuō)，就跟把大象放冰箱里是一樣的，打開門、塞進(jìn)去、關(guān)門。但是，這是目前的通用方法，必須且只能這么做。

因?yàn)榍懊嫠�說(shuō)的工程上的那些問(wèn)題，只能按這個(gè)套路走。因?yàn)殚_發(fā)的不是一個(gè)設(shè)備，而是一個(gè)應(yīng)用，就是前面提到的Sabre。

Sabre的特性

Sabre是一個(gè)分布式關(guān)聯(lián)分析引擎。Sabre有三項(xiàng)獨(dú)有的技術(shù)，我們自己定義的EPL語(yǔ)言、圖計(jì)算、代碼生成。通過(guò)這三項(xiàng)技術(shù)來(lái)支撐引擎特性，包括聚合計(jì)算、序列分析，關(guān)聯(lián)計(jì)算，時(shí)間窗口、分組去重、表計(jì)算。封裝這些特性，推出產(chǎn)品。在大數(shù)據(jù)環(huán)境下做出一個(gè)產(chǎn)品是非常困難的，把這些技術(shù)做成一個(gè)產(chǎn)品集成，這個(gè)花了我們相當(dāng)長(zhǎng)的時(shí)間。

為了保證分析結(jié)果的準(zhǔn)確性，盡可能多類型的數(shù)據(jù)是基本前提。Sabre支持接入各種類型和維度的數(shù)據(jù)，如多源異構(gòu)日志、漏洞、資產(chǎn)信息、威脅情報(bào)以及自定義對(duì)象內(nèi)容，并支持對(duì)輸出結(jié)果進(jìn)行回注分析。

在過(guò)去，從遇到問(wèn)題、分析原理、尋找并確定解決方法到編程開發(fā)、測(cè)試上線是個(gè)長(zhǎng)周期且耗時(shí)耗力的工程，而我們希望可以借助Sabre，通過(guò)類似VISIO界面的操作，進(jìn)行規(guī)則配置，靈活易用。Sabre本身具備規(guī)則監(jiān)測(cè)能力，可對(duì)配置的規(guī)則進(jìn)行快速精準(zhǔn)驗(yàn)證。Sabre中預(yù)置150+條規(guī)則，將專業(yè)的安全運(yùn)營(yíng)經(jīng)驗(yàn)不斷通過(guò)規(guī)則更新傳遞給用戶。配完規(guī)則之后，可以在1到2分鐘之內(nèi)就直接上線驗(yàn)證。這個(gè)可以大大節(jié)省開發(fā)的成本。

分析引擎的分布式擴(kuò)展能力一直是關(guān)注的重點(diǎn)，在用戶規(guī)模從小變大的過(guò)程中如何適應(yīng)不斷增長(zhǎng)的數(shù)據(jù)分析訴求是設(shè)計(jì)的關(guān)鍵要素。Sabre基于流處理框架分析引擎，支持對(duì)流數(shù)據(jù)進(jìn)行實(shí)時(shí)關(guān)聯(lián)分析。

支持分布式意味是可以橫向擴(kuò)展的，性能可從單臺(tái)3W+EPS向擴(kuò)展至數(shù)十臺(tái)集群規(guī)模，性能可達(dá)10WEPS的實(shí)時(shí)處理能力，能分析來(lái)源非常豐富的威脅。

為滿足大安全時(shí)代，企業(yè)級(jí)對(duì)云、智、物、移大數(shù)據(jù)背景下的異常威脅檢測(cè)要求，目前主流的流式數(shù)據(jù)處理和分析框架有兩個(gè)，要么Spark，要么Flink。Flink在國(guó)內(nèi)最近幾年發(fā)展比較快，在各大互聯(lián)網(wǎng)公司用得比較多，因此我們選擇了Flink。

但是Flink也有一個(gè)CEP，F(xiàn)link的CEP目前的代碼發(fā)展速度很快，代碼的成熟度欠佳。如果用這個(gè)的話，代碼會(huì)少很多，但在工程上會(huì)遇到非常復(fù)雜的問(wèn)題，所以我們最終選擇用Sabre跟它并行，對(duì)于Flink的依賴做到最小化，基本上對(duì)于Library沒(méi)有依賴。很容易適配到Flink的各個(gè)版本。即便客戶用很老的大數(shù)據(jù)平臺(tái)，也能在上面運(yùn)行，保證能夠適應(yīng)非常多的客戶。最后一點(diǎn)，我們的整個(gè)開發(fā)分為兩條線，上面線是產(chǎn)品版本規(guī)劃，下面線是Sabre版本規(guī)劃，兩個(gè)版本分別規(guī)劃，Sabre提前一個(gè)版本進(jìn)行預(yù)研，這樣雙線開發(fā)會(huì)讓開發(fā)風(fēng)險(xiǎn)降得非常低。

本文根據(jù)奇安信集團(tuán)大數(shù)據(jù)與安全運(yùn)營(yíng)公司高級(jí)研發(fā)總監(jiān)韓鵬在2019北京網(wǎng)絡(luò)安全大會(huì)技術(shù)沙龍分享整理。

標(biāo)簽： 態(tài)勢(shì)感知 安全運(yùn)營(yíng) NGSOC 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。