從2017年6月1日我國(guó)《網(wǎng)絡(luò)安全法》開(kāi)始實(shí)施到現(xiàn)在一年多的時(shí)間，對(duì)違反安全法的處罰案例逐漸多了，其中不難發(fā)現(xiàn)很多都與網(wǎng)絡(luò)日志留存的要求有關(guān)。網(wǎng)絡(luò)日志是所有安全問(wèn)題溯源最基本也是最有價(jià)值的信息，《網(wǎng)絡(luò)安全法》的留存合規(guī)要求相比公安部82號(hào)令《互聯(lián)網(wǎng)安全保護(hù)技術(shù)措施規(guī)定》發(fā)生了明顯變化，這給廣大企業(yè)和機(jī)構(gòu)帶來(lái)了新的挑戰(zhàn)。

▲大連理工大學(xué)

海量日志遭遇存儲(chǔ)與查詢(xún)難題

      首先，在時(shí)間上從原來(lái)的留存60天增加到6個(gè)月，整個(gè)日志量提升了三倍。另外，在范圍上由原來(lái)的用戶(hù)行為日志變?yōu)榫W(wǎng)絡(luò)相關(guān)日志，也就是除了出口行為日志外，還要增加網(wǎng)絡(luò)、安全、服務(wù)器等其他相關(guān)日志，導(dǎo)致需要留存的日志量幾何級(jí)的增加。

      大連理工大學(xué)（以下簡(jiǎn)稱(chēng)：大連理工）就遇到了這個(gè)問(wèn)題，經(jīng)過(guò)前期日志收集發(fā)現(xiàn)僅出口日志平均每秒都有1.3萬(wàn)條左右，高峰甚至達(dá)到2萬(wàn)EPS，要滿(mǎn)足安全法僅出口日志就需要300T左右存儲(chǔ)，全網(wǎng)日志數(shù)據(jù)量加起來(lái)更加驚人。

      面對(duì)如此大量的存儲(chǔ)需求，用戶(hù)壓力倍增。另外，海量數(shù)據(jù)的查詢(xún)速度也是讓人頭疼，采用傳統(tǒng)數(shù)據(jù)庫(kù)的日志系統(tǒng)進(jìn)行查詢(xún)，幾十億條的日志查起來(lái)動(dòng)輒就需要好幾個(gè)小時(shí)，有時(shí)系統(tǒng)甚至直接崩潰。滿(mǎn)足合規(guī)要求與所需的大量存儲(chǔ)天價(jià)成本之間的矛盾，讓大連理工陷入兩難，直到遇到了銳捷RG-BDS大數(shù)據(jù)安全平臺(tái)超級(jí)日志版（RG-BDS-S）。

▲大連理工RG-BDS-S實(shí)際部署圖

RG-BDS超級(jí)日志版重新定義“超級(jí)”二字內(nèi)涵

      RG-BDS超級(jí)日志版是銳捷基于高校出口應(yīng)用場(chǎng)景定向開(kāi)發(fā)的，核心價(jià)值是超低存儲(chǔ)、超高性能、滿(mǎn)足超大量日志場(chǎng)景的合規(guī)需求。毫不夸張地說(shuō)，它在功能和性能上重新定義了“超級(jí)”二字的內(nèi)涵，被用戶(hù)稱(chēng)為“超級(jí)贊”。

首先，單位數(shù)據(jù)所需存儲(chǔ)空間超級(jí)小。

      RG-BDS超級(jí)日志版可通過(guò)選擇性日志字段裁剪、ES默認(rèn)存儲(chǔ)方案壓縮優(yōu)化、索引壓縮等技術(shù)，大幅減小6個(gè)月日志留存所需存儲(chǔ)空間，并且，實(shí)際環(huán)境中數(shù)據(jù)量越大，數(shù)據(jù)重復(fù)比例越高，壓縮比越大，節(jié)約的存儲(chǔ)空間越多。下面是大連理工的實(shí)際存儲(chǔ)數(shù)據(jù)（實(shí)現(xiàn)10:1的超級(jí)壓縮比）。

▲大連理工部署RG-BDS-S前后數(shù)據(jù)存儲(chǔ)量對(duì)比

第二、滿(mǎn)足超級(jí)大日志量場(chǎng)景性能需求。

      通過(guò)可伸縮大數(shù)據(jù)架構(gòu)，支撐每秒10000條以上超大日志量場(chǎng)景性能需求，配合集群節(jié)點(diǎn)（查詢(xún)性能擴(kuò)容）和采集器（收集性能擴(kuò)容）實(shí)現(xiàn)彈性性能擴(kuò)容。其中：50TB數(shù)據(jù)級(jí)以下，可以使用單機(jī)部署；1PB數(shù)據(jù)級(jí)以下，可以使用ES集群部署；1PB數(shù)據(jù)級(jí)以上，可以使用ES+Hadoop部署。

第三、查詢(xún)速度超級(jí)快。

      如下方表格所示，ES大數(shù)據(jù)底層架構(gòu)，可實(shí)現(xiàn)10億級(jí)日志秒級(jí)查詢(xún)，滿(mǎn)足網(wǎng)監(jiān)溯源需求，支持與Hadoop一起部署使用。

第四、兼容品類(lèi)超級(jí)全。

      RG-BDS-S開(kāi)放兼容，可收集主流網(wǎng)絡(luò)、安全、服務(wù)器、中間件等廠商日志，內(nèi)置74個(gè)廠商，182種設(shè)備的日志標(biāo)準(zhǔn)化腳本。

RG-BDS-S內(nèi)置74個(gè)廠商，182種設(shè)備的日志標(biāo)準(zhǔn)化腳本

最后，RG-BDS-S還可以與銳捷RG-SAM（安全計(jì)費(fèi)管理系統(tǒng)）聯(lián)動(dòng)，結(jié)合其他設(shè)備日志實(shí)現(xiàn)實(shí)名制的日志留存和查詢(xún)。

      低存儲(chǔ)、高性能、滿(mǎn)足超大量日志場(chǎng)景的合規(guī)需求。這就是RG-BDS-S在海量日志場(chǎng)景下幫助大連理工滿(mǎn)足《網(wǎng)絡(luò)安全法》合規(guī)要求的解決之道！

標(biāo)簽： 安全 大數(shù)據(jù) 大數(shù)據(jù)架構(gòu) 服務(wù)器 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)安全 腳本 數(shù)據(jù)庫(kù) 網(wǎng)絡(luò) 網(wǎng)絡(luò)安全 網(wǎng)絡(luò)安全法

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。