王和 投稿自 凹非寺
量子位 | 公眾號 QbitAI
想要大幅降低人臉識別系統(tǒng)泄露隱私的風(fēng)險？
先做個“影子模型”攻擊一遍就好了。
這不是說著玩，而是浙江大學(xué)和阿里巴巴合作提出的最新方法，已被CVPR 2023接收。
一般來說，人臉識別系統(tǒng)都采用客戶端-服務(wù)器模式，通過客戶端的特征提取器從面部圖像中提取特征，并將面部特征而非照片存儲在服務(wù)器端進行人臉識別。
盡管這樣能避免被拍下的人臉照片直接泄露，但現(xiàn)在也有一些方法能夠基于人臉特征信息來重構(gòu)圖像，還是威脅了大家的隱私安全。
因此，浙江大學(xué)網(wǎng)絡(luò)空間安全學(xué)院王志波團隊聯(lián)合橙盾科技、深象智能，提出了全新方法，通過建立影子模型來模擬攻擊者的行為，捕捉從面部特征到圖像的映射函數(shù)，利用重構(gòu)映射相似性，來產(chǎn)生對抗噪聲，破壞從特征到人臉的映射，完成對未知重構(gòu)攻擊的抵御。
舉個不太恰當?shù)谋扔�，這就好像是給人臉識別系統(tǒng)注射疫苗，讓它先產(chǎn)生“抗體”，這樣當病毒真正攻擊時，就能很好抵御了。
而且這一方法支持即插即用，無需修改網(wǎng)絡(luò)結(jié)構(gòu)或者重新訓(xùn)練網(wǎng)絡(luò)，測試結(jié)果表明，該方法表現(xiàn)達到SOTA。
增強隱私保護但不降低準確性
一般來說，人臉識別系統(tǒng)采用的客戶端/服務(wù)器架構(gòu)的工作方式。
人臉識別網(wǎng)絡(luò)由服務(wù)器預(yù)先訓(xùn)練，并在特定點將網(wǎng)絡(luò)分成特征提取器和分類決定器。
我們在系統(tǒng)內(nèi)存入人臉密碼的過程，就是使用了提取器來獲取面部特征，然后系統(tǒng)會將特征發(fā)送到服務(wù)器。
在服務(wù)端，上傳的面部特征與數(shù)據(jù)庫中特征通過分類決定器驗證后，完成識別。
這樣的好處是用戶的人臉照片留在本地，真正上傳到云端只是特征信息。
但這也并不意味著系統(tǒng)會是絕對安全的。
因為攻擊者通過訪問人臉識別客戶端，獲取人臉識別系統(tǒng)中的特征提取器，進而通過任意圖像與其特征一對一的關(guān)系，訓(xùn)練重構(gòu)器。
再拿到數(shù)據(jù)庫中泄露的人臉特征，利用重構(gòu)器就能恢復(fù)人臉圖像，竊取隱私。
這種重構(gòu)攻擊模式可大致分為兩種：
基于優(yōu)化
基于學(xué)習(xí)
前者通過逐步調(diào)整輸入圖像的像素，使特征提取器的輸出盡可能接近某一特征值，直到重構(gòu)出與該特征對應(yīng)的人臉圖像（即最初輸入圖像）。
后者是構(gòu)建新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練特征圖像解碼器，直接從面部特征中重建圖像。
目前已經(jīng)出現(xiàn)了一些人臉數(shù)據(jù)保護方法，但都還存在一定劣勢。
由此，本項研究提出了一種基于重構(gòu)映射相似性的隱私保護對抗性人臉特征，來保護人臉識別系統(tǒng)的安全。
具體步驟就是在服務(wù)器端構(gòu)建基于任意結(jié)構(gòu)的影子模型S() 來模擬攻擊者的行為，并保證影子模型有能力重構(gòu)人臉特征，利用重構(gòu)映射相似性，捕捉從面部特征到圖像的映射函數(shù)。
然后，利用影子模型的梯度信息來生成針對重構(gòu)映射的對抗性噪聲來破壞從特征到人臉的映射，完成對未知重構(gòu)攻擊的抵御，保護人臉隱私安全。
同時，作者對擾動強度進行了約束，分析了擾動強度對人臉識別精度與人臉隱私安全兩者關(guān)系的影響，實現(xiàn)保證人臉識別精度的同時，滿足隱私安全需求。
方法總覽如下，作者將其命名為AdvFace。
應(yīng)用方面，該方法有兩種模式：
Online模式
Offline模式
Online模式下，AdvFace可以作為即插即用的隱私增強模塊集成到已部署的人臉識別系統(tǒng)，有效提升人臉數(shù)據(jù)對重構(gòu)攻擊的防御能力。
Offline模式下，服務(wù)器可以使用對抗性特征和標簽重新訓(xùn)練服務(wù)器端的下游人臉識別網(wǎng)絡(luò)，在保證安全性能不改變的情況下，提高人臉識別準確率。
實驗結(jié)果
AdvFace提供了可選的人臉隱私保護強度，如下是該方法在不同保護強度下，人臉隱私保護的情況。
可以看到保護強度大于0.15后，隱私可以得到很好的保護。
如下是不同噪聲強度下，重構(gòu)圖片的PSNR指標和人臉識別精度。
在保護強度為0.2時，精度略有下降，但在防御重構(gòu)攻擊和精度上取得了更好的平衡（圖表中越接近左下角越優(yōu)，意味精度高的同時，對重構(gòu)攻擊防御效果好）。
而在對重構(gòu)攻擊的防御上，AdvFace的效果也明顯優(yōu)于其他方法。
對于攻擊者使用重構(gòu)圖片進行人臉認證的測試中，使用AdvFace后，攻擊成功率明顯低于其他方法。
如上所有結(jié)果表明，AdvFace在保持人臉識別準確度的同時，有效提升了人臉識別系統(tǒng)對重構(gòu)攻擊的防御能力。
與此同時，它提出的重構(gòu)攻擊映射的相似性，還為防御未知黑盒攻擊提供了理論支撐。
該成果發(fā)表于Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023，是CCF推薦的人工智能領(lǐng)域A類會議。
CVPR 2023 Accepted papers：https://cvpr2023.thecvf.com/Conferences/2023/AcceptedPapers
論文地址：http://arxiv.org/abs/2305.05391
