任奎：我是浙江大學(xué)的任奎，今天很高興能和大家分享在數(shù)據(jù)安全上我們的一些思考。

顯然數(shù)據(jù)安全的問題存在于數(shù)據(jù)的整個(gè)生命周期，從數(shù)據(jù)采集、流轉(zhuǎn)和傳輸?shù)綌?shù)據(jù)使用。通常情況下我們會(huì)在數(shù)據(jù)生命周期的各個(gè)環(huán)節(jié)里關(guān)注數(shù)據(jù)的機(jī)密性，完整性以及可用性。

首先在機(jī)密性方面，互聯(lián)網(wǎng)出現(xiàn)之初數(shù)據(jù)泄露事件就不斷發(fā)生，且愈演愈烈。比如去年美國最大的一家信用卡公司之一Equifax，泄露了高達(dá)1.47億條的用戶數(shù)據(jù)。其中不僅包括姓名，還涉及到在美國是非常私密的社�？ㄐ畔ⅲ�以及信用卡信息等。除了這種直接的數(shù)據(jù)泄露，還有進(jìn)一步的隱私泄露，比如今年4月份，德國郵政出售選民信息，這些選民信息看起來沒有太多私人的信息，但是根據(jù)這些信息我們可以用人工智能的模型進(jìn)一步挖掘，得到很多政治傾向，可能給選舉結(jié)果帶來明顯影響。也就是說，數(shù)據(jù)的機(jī)密性一方面是數(shù)據(jù)的直接泄露，另一方面是在直接泄露基礎(chǔ)上進(jìn)一步做隱私的挖掘。

從技術(shù)手段的角度看，在不妨礙數(shù)據(jù)可使用性的條件下，怎樣保障數(shù)據(jù)的機(jī)密性?

第一是數(shù)據(jù)加密技術(shù)，第二是訪問控制策略技術(shù)，第三是隱私保護(hù)技術(shù)。

具體來說，數(shù)據(jù)加密技術(shù)在最近幾年研究較多，從學(xué)術(shù)界的角度而言，主要談到的有可搜索加密，在安全多方計(jì)算的角度，近年學(xué)術(shù)界慢慢看到了工業(yè)界的現(xiàn)實(shí)和需求，不少學(xué)術(shù)界成果也開始慢慢往工業(yè)界遷移。

在訪問控制策略方面，目前有很多基于生物特征的訪問控制策略，指紋、臉部識(shí)別等技術(shù)飛速發(fā)展，也包括基于屬性、角色的訪問控制策略越來越成熟，基于屬性加密的技術(shù)越來越被大家認(rèn)可，開始真正應(yīng)用到訪問策略控制里面去。

在隱私保護(hù)技術(shù)方面，過去十幾年最重要技術(shù)之一的就是差分隱私保護(hù)。

具體來講，可搜索加密是什么?

比如怎么利用云端數(shù)據(jù)的機(jī)密框架，當(dāng)用戶把數(shù)據(jù)外包到云上，這個(gè)云跟它不在一個(gè)信任域里面，所以希望對(duì)數(shù)據(jù)庫加密起來，如此一來不論云是主動(dòng)還是被動(dòng)的，用戶想看到數(shù)據(jù)就是密文。

 

 

 

怎么使用呢?我們可以把數(shù)據(jù)用加密的方式存儲(chǔ)，把數(shù)據(jù)里面的關(guān)鍵字提取出來做索引文件，對(duì)索引文件也進(jìn)行加密處理，這樣當(dāng)我們未來搜索云端數(shù)據(jù)的時(shí)候，就可以提供一個(gè)加密的文件進(jìn)行比對(duì)，比對(duì)成功之后再到客戶端進(jìn)行解密，這只是一個(gè)例子。

 

另外是基于屬性的訪問控制。我覺得在密碼學(xué)領(lǐng)域里面，ABE是一個(gè)相對(duì)新的工具，這個(gè)工具的弊端是在目前情況下，文件存儲(chǔ)的大小、角度都會(huì)有一些相對(duì)較大，但它的優(yōu)勢(shì)是把用戶抽象成一堆屬性的結(jié)合，當(dāng)上傳文件的時(shí)候，給這個(gè)文件屬性，就會(huì)有一個(gè)訪問控制策略，當(dāng)開始去訪問控制策略的時(shí)候，會(huì)把用戶屬性和文件屬性以及訪問控制策略的決策數(shù)共同計(jì)算，來查看用戶是否有能力接觸這個(gè)數(shù)據(jù)文件，但這一數(shù)據(jù)文件本身可以和加密結(jié)合起來，基于屬性的訪問策略可以實(shí)現(xiàn)更復(fù)雜的訪問策略。

還有一個(gè)例子是差分隱私，目前谷歌和iOS都開始使用這一技術(shù)。收集整體數(shù)據(jù)的時(shí)候會(huì)暴露用戶的所有隱私，那是否可以先將個(gè)人數(shù)據(jù)做一些擾動(dòng)，對(duì)敏感數(shù)據(jù)做隨機(jī)響應(yīng)。

 

 

為什么差分隱私保護(hù)是很好的工具?它給予了一個(gè)定量的方法去衡量你把隱私能夠保護(hù)得比較好，對(duì)任意兩個(gè)只相差一條數(shù)據(jù)記錄的數(shù)據(jù)庫，這兩個(gè)數(shù)據(jù)庫在面對(duì)相同查詢返回結(jié)果的時(shí)候，差距不會(huì)太大。這是非常好的一件事情，可以有一個(gè)定量的方法保護(hù)隱私強(qiáng)度。

在數(shù)據(jù)完整性方面，面臨的威脅是數(shù)據(jù)篡改。任何不被授權(quán)的數(shù)據(jù)改動(dòng)都是不被允許的，會(huì)影響數(shù)據(jù)的完整性。這里有一個(gè)例子，互聯(lián)網(wǎng)詐騙團(tuán)伙通過修改軟件代碼篡改數(shù)據(jù)，然后把模擬操盤的獲利操作截圖發(fā)布到社交平臺(tái)欺騙大家。

數(shù)據(jù)完整性需求存在于數(shù)據(jù)采集傳輸、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)使用等多個(gè)階段。在數(shù)據(jù)采集和傳輸階段，可以用數(shù)據(jù)分裝和簽名技術(shù)防止數(shù)據(jù)篡改;傳輸時(shí)候有一些丟包恢復(fù)的機(jī)制，即便有一些包被丟掉了，不用同傳也可以有本地?cái)?shù)據(jù)、數(shù)據(jù)審計(jì);在數(shù)據(jù)使用的時(shí)候怎么保證完整性，可驗(yàn)證計(jì)算等等手段來進(jìn)行保護(hù)。

 

 

數(shù)字簽名大家都知道，首先數(shù)據(jù)的上傳者擁有數(shù)據(jù)文件，有哈希算法，然后進(jìn)行簽名，得到文件和簽名一起的信息。這一信息經(jīng)過傳輸后，在接受端如果接收到的文件被篡改了，是沒辦法成功比對(duì)的，相當(dāng)于不管你是對(duì)數(shù)據(jù)本身做的修改，或者對(duì)簽名做的修改，最終導(dǎo)致的結(jié)果就是不匹配，也就意味著數(shù)據(jù)在傳輸過程中或者采集過程中被篡改了。

 

 

這是在有數(shù)據(jù)進(jìn)行比對(duì)的情況，還有一種在云存儲(chǔ)的情況。

當(dāng)個(gè)人用戶或者企業(yè)用戶沒有本地?cái)?shù)據(jù)時(shí)候，比如一開始就把數(shù)據(jù)放在云端，此時(shí)的云端數(shù)據(jù)是否有被篡改過，有沒有被丟失，數(shù)據(jù)完整性如何得到檢驗(yàn)?就要做云的存儲(chǔ)數(shù)據(jù)比對(duì)，上傳到云端之前，可以把數(shù)據(jù)和相關(guān)的元素放在云里面。在未來的時(shí)間節(jié)點(diǎn)上，想要檢測(cè)這些數(shù)據(jù)在云里是不是被正確存儲(chǔ)就進(jìn)行隨機(jī)抽樣。這樣計(jì)算量和帶寬要求可以控制在合理范圍之內(nèi)，并拿回來進(jìn)行驗(yàn)證。以此做到在沒有本地?cái)?shù)據(jù)存儲(chǔ)、所有數(shù)據(jù)都在云端的情況下，依然可以在未來時(shí)不時(shí)的檢測(cè)我的數(shù)據(jù)是不是被云丟失或者被云篡改了。

當(dāng)然這個(gè)云不一定是故意的，云可能本身被入侵了，這里面更具體的問題還在于當(dāng)我的數(shù)據(jù)有動(dòng)態(tài)的更新怎么辦，當(dāng)用戶有不停的新用戶和舊用戶的動(dòng)態(tài)變化怎么辦，所以云數(shù)據(jù)審計(jì)的技術(shù)還一直在不停的開發(fā)和完善當(dāng)中。

講一下安全外包計(jì)算。在當(dāng)前情況下，一方面是個(gè)人和中小企業(yè)用戶，面對(duì)云，計(jì)算任務(wù)可以是非常廣闊的，可搜索加密就是計(jì)算任務(wù)，我也可以讓它幫我進(jìn)行一些非常大規(guī)模的優(yōu)化運(yùn)算，我可以讓云做很多不同類型的計(jì)算，這時(shí)候就存在一個(gè)問題，如果我在本地沒有那么多計(jì)算資源和存儲(chǔ)資源應(yīng)該怎么辦?

很顯然要有一個(gè)安全外包計(jì)算的手段來做這樣一件事，我想讓云幫我處理我的數(shù)據(jù)，計(jì)算我的數(shù)據(jù)，但是我不想云知道數(shù)據(jù)的內(nèi)容，也不想讓云知道數(shù)據(jù)計(jì)算的結(jié)果，還要保證云能夠?qū)ξ业臄?shù)據(jù)進(jìn)行完整正確的計(jì)算，并且結(jié)果返還給我的時(shí)候，我能夠驗(yàn)證。

可以想象，做這些事情的同時(shí)也要付出額外的代價(jià)，但代價(jià)不能太大，如果太大的話就不如在本地進(jìn)行。所以這些在個(gè)人用戶和云之間的不對(duì)稱性，以及怎樣適應(yīng)這個(gè)不對(duì)稱性，成了安全外包計(jì)算上非常重要的設(shè)計(jì)考慮。

云從多個(gè)用戶那收集不同的數(shù)據(jù)，放在一起進(jìn)行計(jì)算，比如說我有一個(gè)網(wǎng)貸公司，這個(gè)公司從別的網(wǎng)貸公司或者其他銀行收集過來這些數(shù)據(jù)，要將數(shù)據(jù)放在一塊進(jìn)行計(jì)算來決定某一個(gè)或者某一類用戶的信用分?jǐn)?shù)。這種情況下每個(gè)數(shù)據(jù)公司對(duì)自己數(shù)據(jù)的隱私保護(hù)都是有要求的，相互之間可能是沖突的，我不信任你，你不信任我，這種情況怎么解決?

我前陣子去硅谷訪問，有一個(gè)初創(chuàng)公司就是做風(fēng)控的安全計(jì)算。其實(shí)大家擁有各自數(shù)據(jù)的時(shí)候，相互之間并不信任，但是數(shù)據(jù)只有聯(lián)合起來才能產(chǎn)生更大的價(jià)值。當(dāng)前的解決方案很多時(shí)候完全是非技術(shù)的，比如大家共同信任一家公司，就都把數(shù)據(jù)放到那一家公司去，原因是這家公司在市場(chǎng)上存在了幾十年，口碑較好。大家想要數(shù)據(jù)時(shí)候，都問那家公司要。

這顯然是非技術(shù)的手段，這家公司并一定在保護(hù)數(shù)據(jù)安全方面有技術(shù)能力，事實(shí)上這是一家市場(chǎng)調(diào)查公司，并不是一個(gè)技術(shù)公司。計(jì)算任務(wù)需要多方多步操作的時(shí)候，數(shù)據(jù)的完整性和正確性就變得非常復(fù)雜，如何從技術(shù)上保證數(shù)據(jù)完整性就變得非常有挑戰(zhàn)性。

在數(shù)據(jù)可用性方面，面臨的威脅主要是DDos攻擊，防御技術(shù)手段主要是本地防護(hù)、云端防護(hù)和源端防護(hù)。大家都在多管齊下，把這些攻擊帶來的壞的影響控制在最低范圍內(nèi)。

當(dāng)然一個(gè)重要的技術(shù)就是流量清洗，不管是域名解析還是其他方法，在智能防護(hù)上他會(huì)把你的流量進(jìn)行分析，通過IP合法性檢查、流量限速、動(dòng)態(tài)指紋識(shí)別、特定應(yīng)用防護(hù)等等，去做DDos防護(hù)，這也是數(shù)據(jù)可用性實(shí)例。

 

 

 

在整個(gè)數(shù)據(jù)的生命周期里面，不管從采集還是傳輸?shù)酱鎯?chǔ)到使用，我們都要考慮機(jī)密性、完整性和可用性。在今天人工智能的時(shí)代，數(shù)據(jù)安全也面臨了很多新的挑戰(zhàn)，對(duì)數(shù)據(jù)安全來說，人工智能時(shí)代到底是更好還是更壞?人工智能在各個(gè)領(lǐng)域帶來的變革，昨天很多講者已經(jīng)講得非常清楚，今天我主要是講三個(gè)方面的事情。

 

人工智能的發(fā)展使數(shù)據(jù)安全的保障有了更強(qiáng)有力的工具，這是好的方面。不好的方面，人工智能也可以被攻擊者惡意利用產(chǎn)生更嚴(yán)重的問題。

分別舉幾個(gè)例子，第一個(gè)就是人工智能算法可以用來做精確高效的信息過濾，對(duì)谷歌來說，谷歌的郵箱可以過濾高達(dá)99.9%的垃圾郵件，這就是利用人工智能算法來做過濾。目前為止垃圾郵件還是非常嚴(yán)重的問題，我大概常用的三個(gè)郵箱，每個(gè)郵箱每天還是有很多垃圾郵件，并不能很準(zhǔn)確過濾，人工智能算法可以幫助我們?cè)谶@方面取得更重要的突破。

還有一個(gè)例子是安全多樣的身份認(rèn)證，人工智能算法能夠幫助我們更精確，更不容易被欺騙，比如人臉識(shí)別。當(dāng)然人工智能算法本身也可以做人臉識(shí)別的欺騙，這永遠(yuǎn)是雙刃劍。

人工智能還能生成新的加密算法，Alice和Bob和Eve是三個(gè)神經(jīng)網(wǎng)絡(luò)，A和B之間共享一個(gè)Key，但是沒有一個(gè)算法，這種情況下經(jīng)過多輪的訓(xùn)練之后，A和B之間可以用它們自己產(chǎn)生的算法來對(duì)數(shù)據(jù)進(jìn)行加密，E卻不能解密。就是我只是讓A和B之間有了一個(gè)密鑰而已，并沒有事先加載任何具體加密算法。這就是在人工智能年代，可以利用AI算法來做很多很好的事情。

 

 

 

人工智能也不只是好處。 劍橋大學(xué)講師 Aleksandr Kogan 寫了一個(gè)在 Facebook 上做心理測(cè)試的第三方小程序，以5美元的酬金吸引了27萬用戶參與測(cè)試并收集了參與測(cè)試的用戶的好友數(shù)據(jù)，總計(jì)涉及5000萬用戶。

 

Kogan 隨后將數(shù)據(jù)賣給了劍橋分析(這一行為違背了 Facebook 的安全協(xié)議以及小程序的用戶協(xié)議)。劍橋分析利用5000萬 Facebook 用戶數(shù)據(jù)建立模型，找出“低開放心性，高情緒不穩(wěn)定性”的選民針對(duì)性地投放廣告，試圖影響2016年美國大選結(jié)果。

當(dāng)然我只是說試圖影響，不能說確實(shí)影響了。所以說在人工智能年代，AI算法被用來去挖掘用戶的隱私，用戶隱私更加難以被保障，尤其是大數(shù)據(jù)年代，你可以在不同的數(shù)據(jù)源里把數(shù)據(jù)提取出來，帶來的負(fù)面的效應(yīng)也非常之大。

人工智能算法也可以用來生成以假亂真的音頻和視頻，第一個(gè)例子是音頻，Adobo公司研發(fā)的語音編輯軟件Voco，只用一個(gè)20分鐘的錄音進(jìn)行訓(xùn)練，就可以生成出你任意的聲音內(nèi)容。另外德國慕尼黑工業(yè)大學(xué)的學(xué)者在研究中可以將視頻中的人臉做出任何輸入的表情，AI可以用來產(chǎn)生你從來沒有說過的話，以假亂真，你沒做過的動(dòng)作和語音配合起來，已經(jīng)非常接近真實(shí)。

還有大大失效的CAPTCHA檢測(cè)，為了檢測(cè)你是人還是機(jī)器，給你一些圖象，圖象對(duì)人理解是容易的，但是對(duì)機(jī)器是比較難的。去年12月份在科學(xué)雜志上發(fā)表的文章稱一家公司使用了一個(gè)RCN網(wǎng)絡(luò)，對(duì)單一的文本CAPTCHA可以達(dá)到90%的確認(rèn)率，而且訓(xùn)練不需要大量的數(shù)據(jù)集。

另外，北京大學(xué)的學(xué)者提出基于生成式對(duì)抗網(wǎng)絡(luò)GAN的惡意軟件生成器MalGan，經(jīng)過訓(xùn)練之后可以生成殺毒軟件難以檢測(cè)的對(duì)抗樣本。這都是人工智能給你帶來壞的方面。

第三個(gè)方面我想講AI自身數(shù)據(jù)安全的問題，前面是人工智能可以幫助我們，人工智能可以做惡，這里是人工智能自身的安全問題。主要包括三個(gè)方面的安全：一個(gè)是訓(xùn)練數(shù)據(jù)安全，一個(gè)是模型參數(shù)安全，一個(gè)是AI應(yīng)用安全。

在訓(xùn)練數(shù)據(jù)安全方面，訓(xùn)練數(shù)據(jù)有時(shí)候是我們花大價(jià)錢得來的，比如說人臉數(shù)據(jù)以及一些醫(yī)學(xué)應(yīng)用數(shù)據(jù)，如人體的MRI，是以非常大的代價(jià)得來的。如果這個(gè)訓(xùn)練數(shù)據(jù)被偷走了，成本浪費(fèi)是一個(gè)方面，另一方面涉及到用戶隱私泄露。比如人臉數(shù)據(jù)等。

 

 

還有模型參數(shù)安全，花了很大代價(jià)訓(xùn)練出來的模型，模型的價(jià)值在于參數(shù)，如果被你輕易學(xué)走拿去了，對(duì)企業(yè)來說是巨大的損失。

還有AI應(yīng)用安全，在這個(gè)圖里，對(duì)人眼來看這還是一個(gè)STOP的標(biāo)簽，但是一些算法認(rèn)不出，那在智能駕駛來說就是很致命的問題。

 

 

左邊的人臉數(shù)據(jù)通過人臉識(shí)別系統(tǒng)，給它一個(gè)隨機(jī)輸入，然后進(jìn)行不停的更新，經(jīng)過多輪訓(xùn)練之后可以拿到右邊的數(shù)據(jù)，最終可以把右邊的數(shù)據(jù)給拿出來，你看到對(duì)于人臉來說，我看到右邊這張臉，已經(jīng)可以看出來他是誰了。

 

 

訓(xùn)練數(shù)據(jù)安全還有一種，當(dāng)我做合作學(xué)習(xí)的時(shí)候，大家都是上傳本地參數(shù)，可以保護(hù)本地隱私，最新研究發(fā)現(xiàn)，在很多情況下仍然有可能造成本地的訓(xùn)練數(shù)據(jù)泄露。

模型參數(shù)安全，攻擊者可以與AI系統(tǒng)進(jìn)行交互，這個(gè)模型如果是線性模型的話，就把它的參數(shù)求到，如果是非線性的話，利用梯度學(xué)習(xí)重新獲得近似的學(xué)習(xí)，可以得到99%的準(zhǔn)確率，跟原先訓(xùn)練好的模型，可以把參數(shù)給拿到。

如果我已經(jīng)知道模型參數(shù)了，甚至可以把模型的超參數(shù)也可以拿到，參數(shù)是你訓(xùn)練出來的，但是超參數(shù)不是不能從數(shù)據(jù)里得到，而是人工指定的，人工指定的值則是大量的摸索實(shí)踐經(jīng)驗(yàn)得來的。這就表明，參數(shù)和超參數(shù)都有可能被竊取。

 

 

 

下面講一個(gè)AI應(yīng)用安全中的對(duì)抗樣本攻擊。舉例來說，下面的圖片數(shù)據(jù)一開始是一個(gè)鴨，加了一點(diǎn)噪音之后就被識(shí)別成馬。但是對(duì)肉眼來說還是一個(gè)鴨子，無非就是模糊了一點(diǎn)。對(duì)于聲音識(shí)別來說，左邊本來是講how are you，加了一點(diǎn)噪音就被識(shí)別成open the door。

 

 

 

 

主要的攻擊模式，一個(gè)是黑盒模式，攻擊者不知道AI系統(tǒng)的算法和參數(shù)，但可以與之交互，他能夠盡他最大的可能，把訓(xùn)練數(shù)據(jù)、模型參數(shù)、超參數(shù)欺騙模型。對(duì)于白盒攻擊，攻擊者能夠知道AI系統(tǒng)算法及參數(shù)，主要的攻擊算法包括快速梯隊(duì)算法、投射梯隊(duì)算法等等。

 

最后想講講數(shù)據(jù)安全的新規(guī)范。

合規(guī)和新的數(shù)據(jù)法律給學(xué)術(shù)界和工業(yè)界都提出了非常多的挑戰(zhàn)，從我們國家來說，從網(wǎng)絡(luò)安全法到個(gè)人信息和重要數(shù)據(jù)評(píng)估安全到信息安全技術(shù)數(shù)據(jù)評(píng)估指南，這些都是給你一些法律的框架，你必須要合規(guī)。

其實(shí)對(duì)工業(yè)界來說，特別是現(xiàn)在有些系統(tǒng)要求使用國產(chǎn)密碼，在系統(tǒng)開發(fā)的時(shí)候，你必須要具備這些技術(shù)。

另一方面，一些走在前沿的隱私保護(hù)的東西，給技術(shù)上提出很多新的挑戰(zhàn)，如果一旦不合規(guī)的話，給企業(yè)帶來的法律義務(wù)非常的重。比如說GDPR，從今年的5月25號(hào)已經(jīng)正式開始貫徹了，GDPR規(guī)定了遺忘權(quán)，一個(gè)人的數(shù)據(jù)應(yīng)該可以被遺忘在網(wǎng)上。但這是很困難的事情，你的數(shù)據(jù)一旦被網(wǎng)站上備份過，不同的服務(wù)器上流轉(zhuǎn)過，怎么保證這些信息在所有的地方都被刪掉了呢?

包括AI模型可解釋性，我同意張鈸院士的說法，AI有很長的路要走，比如你要取代一個(gè)醫(yī)生，你要看一個(gè)CT片子，醫(yī)生說它不是腫瘤，醫(yī)生承擔(dān)責(zé)任。機(jī)器說不是腫瘤，可以解釋嗎?出了問題怎么辦? 因?yàn)楝F(xiàn)在很多AI模型沒有可解釋性，如果我要求你一定要有可解釋性，怎么辦?這也在技術(shù)上有非常大的挑戰(zhàn)，當(dāng)然還有很多其他挑戰(zhàn)像可遷移性。

AI給我們提出了很多挑戰(zhàn)，新的法律法規(guī)也給我們從技術(shù)上和合規(guī)上提出很多新的挑戰(zhàn)，所以數(shù)據(jù)安全依然任重而道遠(yuǎn)，我的分享就到這，謝謝大家。

問答環(huán)節(jié)：

問：您在演講中提到了AI自身數(shù)據(jù)安全的三個(gè)問題，包括訓(xùn)練數(shù)據(jù)安全，模型參數(shù)安全，以及AI應(yīng)用安全。針對(duì)這三個(gè)方面的攻擊已有實(shí)例了嗎?還是處于實(shí)驗(yàn)室模擬攻擊階段?以及有何方式防御。

任奎：針對(duì)這三個(gè)方面的攻擊大多處于實(shí)驗(yàn)室模擬攻擊階段，還未出現(xiàn)影響惡劣的相關(guān)實(shí)例，但這些攻擊仍應(yīng)受到高度重視。其原因有二：一是演講中所提到的竊取訓(xùn)練數(shù)據(jù)和模型參數(shù)的攻擊較為隱蔽，不易被現(xiàn)有的檢測(cè)系統(tǒng)發(fā)現(xiàn)。因而這類攻擊可能已在現(xiàn)實(shí)中存在并造成嚴(yán)重?fù)p失，只是尚未被發(fā)現(xiàn)報(bào)道。二是現(xiàn)有攻擊手段已經(jīng)可以被惡意使用于現(xiàn)有的AI系統(tǒng)及AI模型平臺(tái)上。例如，演講中提到的愛荷華大學(xué)團(tuán)隊(duì)的關(guān)于模型超參數(shù)竊取的工作，相關(guān)實(shí)驗(yàn)是在亞馬遜云計(jì)算平臺(tái)(AWS)上進(jìn)行的。實(shí)驗(yàn)表明他們所提出的攻擊可以準(zhǔn)確地竊取存儲(chǔ)在AWS上的機(jī)器學(xué)習(xí)模型的超參數(shù) [1]。另外，伯克利團(tuán)隊(duì)在STOP 標(biāo)志上貼上設(shè)計(jì)好的貼紙，導(dǎo)致 YOLO自動(dòng)駕駛識(shí)別系統(tǒng)無法識(shí)別該STOP標(biāo)志 [2]。在自動(dòng)駕駛汽車的試行至正式投入使用的過程中，這類攻擊如果被惡意使用，那后果將不堪設(shè)想。

目前來看，針對(duì)于前面提到的這些攻擊，有效的防御措施還比較少。如有關(guān)訓(xùn)練數(shù)據(jù)，模型參數(shù)的竊取攻擊一般比較隱蔽，現(xiàn)有的系統(tǒng)平臺(tái)難以及時(shí)發(fā)現(xiàn)并處理。針對(duì)這個(gè)問題，一個(gè)潛在的防御手段是利用差分隱私技術(shù)，對(duì)模型的部分輸出(如置信值)進(jìn)行擾動(dòng)，以防攻擊者獲取到更多的信息。針對(duì)AI應(yīng)用安全中的對(duì)抗樣本問題，近些年各類防御方法不斷涌現(xiàn)，但其中很多都已被新的攻擊算法攻破。例如，在ICLR2018上發(fā)表的8個(gè)防御工作中，7個(gè)已被新出現(xiàn)的攻擊算法攻破 [3]。因此，在研究出有效的對(duì)抗樣本防御系統(tǒng)前，我們可能還有很長的路要走。

參考文獻(xiàn)：

[1] Wang, Binghui, and Neil Zhenqiang Gong. "Stealing hyperparameters in machine learning." IEEE SAP 2019

[2] Evtimov, Ivan, et al. "Robust Physical-World Attacks on Deep Learning Models." arXiv preprint arXiv:1707.08945 1 (2017).

[3] Athalye, Anish, Nicholas Carlini, and David Wagner. "Obfuscated gradients give a false sense of security: Circumventing defenses to adversarial examples." arXiv preprint arXiv:1802.00420 (2018).

問：在您看來，目前國外安全領(lǐng)域?qū)W術(shù)界和產(chǎn)業(yè)界結(jié)合趨勢(shì)是什么，以及是否有值得國內(nèi)學(xué)習(xí)的地方?(可結(jié)合具體案例)

任奎：網(wǎng)絡(luò)空間安全是新信息時(shí)代的全球性問題，部分發(fā)達(dá)國家對(duì)這一問題給予了廣泛關(guān)注與深入探討。以美國為例，學(xué)術(shù)界和產(chǎn)業(yè)界有著較為成熟的分工合作體系與運(yùn)行機(jī)制，共同推動(dòng)安全領(lǐng)域的技術(shù)發(fā)展和創(chuàng)新。一方面，從美國各大高校范圍來看，該方面有著諸多典型案例。比如，斯坦福大學(xué)將學(xué)科研與人才培養(yǎng)體制與政府和企業(yè)需求直接對(duì)接，與來自硅谷的企業(yè)實(shí)現(xiàn)了深層次的融合。加州大學(xué)伯克利分校每年舉行業(yè)界交流會(huì)，使實(shí)驗(yàn)室每位成員與業(yè)界人員交流。當(dāng)學(xué)生在研究的問題上遇到了瓶頸，教授會(huì)讓學(xué)生短期進(jìn)入工業(yè)界實(shí)習(xí)，以了解研究方向和研究目的。另一方面，美國產(chǎn)業(yè)界為了自身可持續(xù)性地發(fā)展，非常注重和學(xué)術(shù)界的聯(lián)系。為了加強(qiáng)該聯(lián)系，多種運(yùn)營模式應(yīng)運(yùn)而生。如在企業(yè)社團(tuán)模式下，研究社團(tuán)負(fù)責(zé)收集企業(yè)的需求并反饋到學(xué)術(shù)界，大學(xué)教授則可以根據(jù)自己的研究興趣匹配相應(yīng)項(xiàng)目和經(jīng)費(fèi)。另外，還存在較為新興的企業(yè)聯(lián)合資助模式，若干公司聯(lián)合起來直接定向資助某個(gè)大學(xué)的實(shí)驗(yàn)室，實(shí)現(xiàn)學(xué)校與企業(yè)的互惠互利。

最近幾年，安全方向國內(nèi)學(xué)術(shù)界與產(chǎn)業(yè)界之間的聯(lián)系態(tài)勢(shì)活躍。近期浙江大學(xué)阿里巴巴集團(tuán)聯(lián)合成立的“AZFT網(wǎng)絡(luò)空間安全實(shí)驗(yàn)室” 致力于推動(dòng)‘產(chǎn)學(xué)研用’的一體化發(fā)展，也引發(fā)了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。

參考文獻(xiàn)：http://blog.sciencenet.cn/blog-414166-795432.html

問：您剛剛有提到數(shù)據(jù)遺忘權(quán)這一問題，針對(duì)這一權(quán)利向來有不同聲音，首先是所有權(quán)，大數(shù)據(jù)時(shí)代海量數(shù)據(jù)的所有權(quán)屬于誰?如果用戶擁有數(shù)據(jù)遺忘權(quán)又怎么保證相應(yīng)數(shù)據(jù)完全被刪除?是否有相應(yīng)技術(shù)可以解決這一問題?您是如何看待的。

任奎：在大數(shù)據(jù)時(shí)代，所有的數(shù)據(jù)所有權(quán)應(yīng)當(dāng)屬于用戶。海量數(shù)據(jù)的采集和使用均應(yīng)獲得來自用戶的授權(quán)。數(shù)據(jù)遺忘權(quán)并不是一個(gè)新的概念。歐盟委員會(huì)早在2012年就提議，應(yīng)當(dāng)在互聯(lián)網(wǎng)上為人們賦予“被遺忘權(quán)” ，即人們有權(quán)利要求移除自己負(fù)面或過時(shí)的個(gè)人信息搜尋結(jié)果。今年6月28日，美國加州簽署了AB375 數(shù)據(jù)隱私法案，規(guī)定掌握用戶數(shù)據(jù)超過5萬的公司必須允許用戶查閱和刪除自己被收集的數(shù)據(jù)。然而在實(shí)際中是很難保證數(shù)據(jù)完全被刪除的，主要原因在于數(shù)據(jù)可以被復(fù)制和轉(zhuǎn)移，即使在某個(gè)指定公司的服務(wù)器中被刪除了，但不能保證數(shù)據(jù)沒有被存其他地方。目前在技術(shù)層面上還沒有較好的解決方案，只能通過從法律層面上對(duì)侵犯數(shù)據(jù)遺忘權(quán)的行為進(jìn)行懲罰來保障用戶的權(quán)利。

參考文獻(xiàn)：http://www.it007.org/nd.jsp?id=48

http://www.360doc.com/content/16/1015/14/21733879_598618933.shtml

標(biāo)簽： ddos ddos防護(hù) 安全 大數(shù)據(jù) 大數(shù)據(jù)時(shí)代 代碼 服務(wù)器 谷歌 互聯(lián)網(wǎng) 數(shù)據(jù)庫 搜索 網(wǎng)絡(luò) 網(wǎng)絡(luò)安全 網(wǎng)絡(luò)安全法 信息安全 域名 域名解析 云計(jì)算 云計(jì)算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。