對抗樣本對人工智能應用的威脅
作者:星期二, 一月 8, 20190

據Gartner預測,到2020年將有20%的公司使用人工智能技術提升企業內部應用和流程,到2021年,人工智能所增強的功能將產生2.9萬億美元的商業價值,節約相當于62億小時人工的生產力。來自普華永道的預測也顯示,到2030年人工智能將促使全球生產總值增長14%,屆時將為世界經濟貢獻15.7萬億美元,而零售業、金融服務和醫療保健將是最大受益行業….

人工智能在未來世界無疑將扮演重要的角色,在工業制造、醫療健康、教育、生活、安防、電商零售、金融等越來越多的領域都可以看到人工智能技術應用的身影。

但應注意到,研究者已發現在某些人工智能模型的輸入上增加少量“干擾”,可在人類無法分辨區別的情況下使模型對輸入的分類結果做出錯誤判斷。這種經過處理后的輸入樣本通常被稱為對抗樣本。

事實上,尋找對抗樣本可以歸納為下述問題:針對模型F:x->y,其中x為模型的輸入,y為模型的輸出。對于原輸入x,找到輸入x*,使得模型的輸出被最大化為目標標簽y*,y*不等于y,且要求x與 x*的“距離”最小。此時,訓練的目標不再是模型的優化而是生成符合條件的細微擾動。正是按照這個思路,我們選取由谷歌提出并在ILSVRC大賽中取得優異成績的inceptionV3模型和由Yann LeCun提出的手寫數字識別模型LeNet5這兩個經典網絡模型分別進行實驗,均達到了預期的攻擊效果。

inceptionV3模型:

計算機視覺是本輪人工智能技術和應用發展的突出方向,當前陸續已有在智能駕駛、惡意內容和圖片識別等場景的應用。為了對這些場景中對抗樣本可能帶來的挑戰進行實際分析,我們使用在ImageNet數據集上訓練好的inceptionV3模型展開了實驗。

如圖1所示,我們給上述模型輸入一張車輛頭部的影像,訓練好的inceptionV3模型可以很好地識別出圖片的所屬分類為“sports car”。然后我們設計合適的反饋機制并逐步訓練得到了一張人類看起來與原圖并無區別的車輛頭部影像,再次輸入給inceptionV3模型,如圖2,模型給出的識別結果卻成了“mountain bike”。

圖1

圖2

接下來如圖3所示,我們給上述模型輸入一張左輪手槍的影像,訓練好的inceptionV3模型可以很好地識別出圖片的所屬分類為“revolver”。然后我們同樣設計合適的反饋機制并逐步訓練得到了一張人類看起來與原圖并無區別的左輪手槍影像,再次輸入給inceptionV3模型,如圖4,模型給出的識別結果卻成了“paintbrush”。

圖3

圖4

LeNet5模型

手寫數字識別目前在互聯網、金融等領域也有著很多應用,如票據和銀行卡識別等場景。為了實驗在手寫數字識別的對抗樣本情況,我們使用在mnist數據集訓練好的LeNet5網絡進行了實驗。

如圖5所示,我們給上述模型輸入一張測試圖像,訓練好的LeNet5可以很好地識別出圖片中的所屬數字為“7”。經過我們處理得到一張人類看起來與原圖無區別的測試圖像,再次輸入給LeNet5,如圖6,模型給出的識別結果卻變成了“3”。事實上,我們對mnist數據集中測試集的所有10000個樣例進行了處理,經過測試可以將LeNet5的識別準確率降到0%,即對測試集中所有圖像發起有效攻擊。

圖5

圖6

通過上述幾組實驗可以看出,利用對抗樣本讓攻擊者可在很多應用場景上對人工智能模型本身發起攻擊。而由于人工智能模型在業務系統中往往處于核心決策地位,因此與以往的網絡安全攻擊相比,這類攻擊對實際業務運行造成的后果往往會更加嚴重。為了分析對抗樣本的形成原因,我們在這里用較直白的語言介紹一下目前人工智能熱點技術(如神經網絡等)的主要運作機制。

1. 確定訓練數據集和訓練網絡。訓練數據集包括了訓練數據和訓練數據的正確分類標記,訓練網絡一般是一個由卷積、取樣、全連接等層組成的網絡模型,各層的各連接點上設置有一套初始權重參數;

2. 輸入一個訓練數據到訓練網絡,查看通過網絡模型后得出的預測結果,得到其距正確標記有多遠(損失函數);

3. 基于上一步的輸出結果進行反向傳播,使用一定的迭代步長來調整網絡中各權重參數,使預測結果更接近于正確答案;

4. 使用訓練數據集中的其他數據重復進行輸入和調整過程,獲得最終訓練完成的判別網絡。

目前雖然各式各樣的新網絡模型層出不窮,卻基本遵循著上述基本機制。經分析可知,上述步驟所訓練模型的有效性與訓練數據集、網絡模型、迭代步長甚至初始權重參數有關系。可正如George E. P. Box所言“all models are wrong, but some are useful”,這些模型能夠獲得優質結果其實最取決于接近“無窮”量級的訓練數據。因此在所有有效輸入組成的整個數據搜索空間中,我們通過上述“訓練”方式所能得到的模型就是一個在相對有限情況下有效的模型了。也正是因為這個局限性,給予了攻擊者利用對抗樣本去攻擊模型的足夠空間。在人工智能的基礎技術進一步突破之前,該問題會一直陪伴在我們左右,需要引起我們的足夠重視。

梆梆安全一直以來都是從技術本質的角度出發,去進行網絡安全研究和實踐的。而從IT技術和安全技術誕生一刻起,就不存在絕對的安全,我們相信在飛速發展的人工智能時代同樣如此。為此,我們更是力求深入地把握其本質,在了解技術前沿研究的基礎上,努力做到合理的防護,保證其應用結果符合人類的原本預期。而對于對抗樣本風險來說,以訓練、對抗訓練使能的安全防護技術去豐富人工智能時代的網絡安全武器庫,應當是目前技術發展現狀下最為恰當之路。針對基于訓練的對抗樣本的識別和防護,以及squeeze features、膠囊網絡、可解釋模型等新思路,我們將進行持續研究和介紹。

作者:王天雨 梆梆安全研究院基礎研究部高級研究員

相關閱讀

機器學習、人工智能與網絡安全的未來

慎言人工智能 機器學習的9大企業安全用例

 

分享:
0

相關文章

寫一條評論

 

 

0條評論