從2017年6月1日我國《網絡安全法》開始實施到現在一年多的時間，對違反安全法的處罰案例逐漸多了，其中不難發(fā)現很多都與網絡日志留存的要求有關。網絡日志是所有安全問題溯源最基本也是最有價值的信息，《網絡安全法》的留存合規(guī)要求相比公安部82號令《互聯網安全保護技術措施規(guī)定》發(fā)生了明顯變化，這給廣大企業(yè)和機構帶來了新的挑戰(zhàn)。

▲大連理工大學

海量日志遭遇存儲與查詢難題

      首先，在時間上從原來的留存60天增加到6個月，整個日志量提升了三倍。另外，在范圍上由原來的用戶行為日志變?yōu)榫W絡相關日志，也就是除了出口行為日志外，還要增加網絡、安全、服務器等其他相關日志，導致需要留存的日志量幾何級的增加。

      大連理工大學（以下簡稱：大連理工）就遇到了這個問題，經過前期日志收集發(fā)現僅出口日志平均每秒都有1.3萬條左右，高峰甚至達到2萬EPS，要滿足安全法僅出口日志就需要300T左右存儲，全網日志數據量加起來更加驚人。

      面對如此大量的存儲需求，用戶壓力倍增。另外，海量數據的查詢速度也是讓人頭疼，采用傳統(tǒng)數據庫的日志系統(tǒng)進行查詢，幾十億條的日志查起來動輒就需要好幾個小時，有時系統(tǒng)甚至直接崩潰。滿足合規(guī)要求與所需的大量存儲天價成本之間的矛盾，讓大連理工陷入兩難，直到遇到了銳捷RG-BDS大數據安全平臺超級日志版（RG-BDS-S）。

▲大連理工RG-BDS-S實際部署圖

RG-BDS超級日志版重新定義“超級”二字內涵

      RG-BDS超級日志版是銳捷基于高校出口應用場景定向開發(fā)的，核心價值是超低存儲、超高性能、滿足超大量日志場景的合規(guī)需求。毫不夸張地說，它在功能和性能上重新定義了“超級”二字的內涵，被用戶稱為“超級贊”。

首先，單位數據所需存儲空間超級小。

      RG-BDS超級日志版可通過選擇性日志字段裁剪、ES默認存儲方案壓縮優(yōu)化、索引壓縮等技術，大幅減小6個月日志留存所需存儲空間，并且，實際環(huán)境中數據量越大，數據重復比例越高，壓縮比越大，節(jié)約的存儲空間越多。下面是大連理工的實際存儲數據（實現10:1的超級壓縮比）。

▲大連理工部署RG-BDS-S前后數據存儲量對比

第二、滿足超級大日志量場景性能需求。

      通過可伸縮大數據架構，支撐每秒10000條以上超大日志量場景性能需求，配合集群節(jié)點（查詢性能擴容）和采集器（收集性能擴容）實現彈性性能擴容。其中：50TB數據級以下，可以使用單機部署；1PB數據級以下，可以使用ES集群部署；1PB數據級以上，可以使用ES+Hadoop部署。

第三、查詢速度超級快。

      如下方表格所示，ES大數據底層架構，可實現10億級日志秒級查詢，滿足網監(jiān)溯源需求，支持與Hadoop一起部署使用。

第四、兼容品類超級全。

      RG-BDS-S開放兼容，可收集主流網絡、安全、服務器、中間件等廠商日志，內置74個廠商，182種設備的日志標準化腳本。

RG-BDS-S內置74個廠商，182種設備的日志標準化腳本

最后，RG-BDS-S還可以與銳捷RG-SAM（安全計費管理系統(tǒng)）聯動，結合其他設備日志實現實名制的日志留存和查詢。

      低存儲、高性能、滿足超大量日志場景的合規(guī)需求。這就是RG-BDS-S在海量日志場景下幫助大連理工滿足《網絡安全法》合規(guī)要求的解決之道！

標簽： 安全 大數據 大數據架構 服務器 互聯網 互聯網安全 腳本 數據庫 網絡 網絡安全 網絡安全法

版權申明：本站文章部分自網絡，如有侵權，請聯系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯系。