近日，在上海市經(jīng)濟和信息化委員會、上海推進(jìn)科技創(chuàng)新中心建設(shè)辦公室、上海市科學(xué)技術(shù)協(xié)會的指導(dǎo)下，由上海市科學(xué)技術(shù)協(xié)會人工智能專委會主辦，達(dá)觀數(shù)據(jù)承辦的“科技創(chuàng)新·智慧賦能—2020人工智能與數(shù)字化發(fā)展峰會”在上?？茖W(xué)會堂成功舉辦。多位行業(yè)專家齊聚一堂，從人工智能不同的發(fā)展視角分享了各自領(lǐng)域的最新研究進(jìn)展與應(yīng)用。

復(fù)旦大學(xué)計算機科學(xué)技術(shù)學(xué)院院長姜育剛以人工智能安全為主題，和大家分享了《人工智能發(fā)展趨勢與若干安全問題初探》。

大會現(xiàn)場，姜院長從人工智能安全的研究背景、目前技術(shù)現(xiàn)狀、近期正在進(jìn)行的研究工作以及對未來的發(fā)展趨勢展望幾個部分，和大家分享了AI安全的最新研究成果。

在人工智能的安全隱患上，姜院長圍繞對抗樣本和后門攻擊兩種類型，對其安全問題做了詳細(xì)的介紹。那么，如何防御對抗樣本呢？現(xiàn)階段，主要分為三種對抗樣本防御方法：對抗樣本檢測，去噪和對抗訓(xùn)練。

1.在對抗樣本檢測中，訓(xùn)練二分類器來區(qū)分輸入樣本是否為對抗樣本，但該方法的通用性太低；
2.在去噪方法中，通過訓(xùn)練去噪器來實現(xiàn)對抗樣本的還原，使得模型對去噪后的輸入樣本進(jìn)行正確預(yù)測，但該方法的效率太低，針對不同的攻擊方式要訓(xùn)練特定的去噪器。
3.在對抗訓(xùn)練方法中，將對抗樣本作為訓(xùn)練樣本，在訓(xùn)練模型過程中學(xué)習(xí)對抗樣本的知識，提高模型的魯棒性。但該方法的訓(xùn)練復(fù)雜度太高。

姜院長表示，在防御方面，還需要研究通用性強，效率高的對抗樣本防御方法。

現(xiàn)場姜院長介紹了其最近的研究成果：為了提高攻擊效率以及攻擊成功率，他及團隊提出了第一個面向視頻數(shù)據(jù)的黑盒攻擊框架。所提出的框架圖如上圖中所示。

該框架主要利用對抗擾動的遷移性，將圖像預(yù)訓(xùn)練模型中得到的擾動作為視頻幀的初始擾動，并在此基礎(chǔ)上利用自然進(jìn)化策略來對這些初始擾動噪聲進(jìn)行糾正。其中自然進(jìn)化是一種黑箱優(yōu)化算法，該方法的核心思想是使用搜索梯度來更新搜索分布的參數(shù)。當(dāng)?shù)玫结槍σ曨l域特殊糾正后的梯度信息后，采用投影梯度下降來對輸入視頻進(jìn)行更新。投影梯度下降是將超過一定范圍的噪聲重新映射到范圍內(nèi)。這些操作將迭代進(jìn)行。

在談及未來人工智能發(fā)展的安全問題時，姜院長表示，技術(shù)在人工智能倫理問題檢測以及相應(yīng)規(guī)則落實上也將發(fā)揮重要的作用。針對模型安全，發(fā)展對抗攻防理論設(shè)計更加魯棒的智能模型，確保智能系統(tǒng)在復(fù)雜環(huán)境下的安全運行，形成人工智能安全評估和管控能力。

針對隱私保護，發(fā)展聯(lián)邦學(xué)習(xí)及差分隱私等理論與技術(shù)，規(guī)范智能系統(tǒng)分析和使用數(shù)據(jù)的行為，保障數(shù)據(jù)所有者的隱私。針對智能系統(tǒng)決策的可解釋性問題，發(fā)展機器學(xué)習(xí)可解釋性理論與技術(shù)，提升智能算法決策流程的人類可理解性，建立可審查、可回溯、可推演的透明監(jiān)管機制。此外，針對智能系統(tǒng)決策的公平性問題，可以利用統(tǒng)計學(xué)理論與技術(shù)，消除算法與數(shù)據(jù)中的歧視性偏差，構(gòu)建無偏見的人工智能系統(tǒng)。

最后，為了保證人工智能技術(shù)不被濫用，可以通過發(fā)展大數(shù)據(jù)計算與模式識別等理論與技術(shù)，預(yù)防、檢測、監(jiān)管智能技術(shù)被濫用的情況，以此創(chuàng)造有益于人類福祉的人工智能應(yīng)用生態(tài)。