來自北航人工智能研究院的韋星星副教授團隊設(shè)計出一種隱蔽性更強、物理實施更簡單、速度更快的 “對抗紅外補丁”，可用于針對紅外模態(tài)的物理魯棒性評估研究。
在計算機視覺領(lǐng)域，基于 DNN 的紅外與可見光目標(biāo)檢測系統(tǒng)在諸多安全保障任務(wù)中得到廣泛應(yīng)用，而 DNN 易受對抗樣本攻擊的特性，天然給這些檢測系統(tǒng)埋下了安全隱患，檢測器的對抗魯棒性也因此受到了學(xué)術(shù)界與工業(yè)界的共同關(guān)注，相關(guān)研究的發(fā)展勢頭強勁。
已有不少研究者針對可見光模態(tài)提出了物理魯棒性評估技術(shù)，它們被設(shè)計在常見的物品上，有著精心設(shè)計的紋理圖案，比如對抗貼紙、眼鏡、襯衫和帽子等。但是，這些基于紋理的擾動對于紅外模態(tài)是不起作用的。而對于同樣主流的紅外檢測器，其雖具有同等的評估必要性，有效的物理魯棒性評估技術(shù)卻屈指可數(shù)，并且現(xiàn)有方法在從數(shù)字世界向真實世界進行轉(zhuǎn)換實現(xiàn)時，具有較高的實現(xiàn)難度。
在最近的一篇論文中，來自北航人工智能研究院的研究者們針對紅外模態(tài)展開了物理魯棒性評估技術(shù)的研究，設(shè)計出了一種隱蔽性更強、物理實施更簡單、速度更快的 “對抗紅外補丁”。他們提出了一種新穎的損失函數(shù)，使其能夠利用統(tǒng)一梯度，同時優(yōu)化對抗補丁的位置與形狀，并使補丁的熱幅射分布更加統(tǒng)一。在物理實施方面，其利用氣凝膠這種隔熱材料實現(xiàn)補丁相應(yīng)的熱分布，只需通過剪裁粘貼便完成了對抗樣本的建構(gòu)。研究論文已經(jīng)被 CVPR 2023 接收。
論文地址：https://arxiv.org/abs/2303.13868實驗證明，該方法在不同距離、角度、姿勢和場景下都具有很好的表現(xiàn)。值得注意的是，在與 SOTA 方法取得同等優(yōu)異表現(xiàn)時，該方法從數(shù)字優(yōu)化到物理實施整個過程不超過半小時，是 SOTA 方法花費時間的 5%。此外，該方法在小車上也能取得不錯的效果，具有良好的泛化性。該研究主要基于行人檢測任務(wù)進行方法建構(gòu)，將最高得分檢測框作為檢測到的行人，當(dāng)對抗樣本的檢測得分低于閾值時，代表其攻擊成功。區(qū)別于常見的擾動攻擊，該研究基于一個區(qū)域性的補丁構(gòu)建對抗樣本。其生成定義如下：其中，
由補丁的物理材料在紅外模態(tài)下的像素值決定，在數(shù)字環(huán)境下很難對
進行操作。于是該研究將先驗性的定為 0（即黑色），轉(zhuǎn)而對 M 進行優(yōu)化，通過學(xué)習(xí)補丁的形狀與位置改善攻擊性能與物理可實施性。技術(shù)實現(xiàn)上，該研究采用白盒方法，設(shè)計損失函數(shù)，進行基于動量的梯度優(yōu)化。其中，為了提高對抗補丁的物理可實施性，求解的掩碼 M 應(yīng)該具有以下性質(zhì)：（1）M 中的像素點應(yīng)該聚集在一起，在合理位置形成一個具有對抗攻擊性的形狀。（2）M 中的像素值應(yīng)盡可能趨于 1 或 0。關(guān)于損失函數(shù)，攻擊 loss 是以最小化所有邊界框內(nèi)的最大置信度得分為目標(biāo)，使目標(biāo)成功 “隱身”。這種隱身攻擊損失的定義如下：但是，只基于攻擊 loss 優(yōu)化會導(dǎo)致 M 中的像素取到 [0,1] 中的連續(xù)值，且高值的像素點離散分布在不同的位置，無法滿足上述目標(biāo)。因此，他們提出全新的聚集正則項和二值化正則項加入到損失函數(shù)中，在保證有效攻擊的基礎(chǔ)上保證形狀緊湊以及像素值非 0 及 1。（2）對于形狀和位置兩種完全不同的變量，如何通過統(tǒng)一的梯度完成二者的共同優(yōu)化。想要獲得聚集的圖像塊，M 中取值為 1 的像素應(yīng)該被聚類。為了度量像素的這種聚集性，他們提出了局部聚集系數(shù)，能夠量化一個像素點的鄰居是多么接近一個 “團”。其主要通過單個像素點的八個鄰居像素及聯(lián)通邊計算得出。考慮到 M 實際取值為 [0,1] 區(qū)間，他們在原本的設(shè)計上增加衰減因子，形成了 soft 版本的計算公式。最終，聚集正則項結(jié)合該量化聚集度與掩碼 M 的值進行設(shè)計，顯然其中的運算都是可微分的，使得其可以通過統(tǒng)一梯度同時完成形狀與位置的優(yōu)化：二值化正則項的提出則是為了優(yōu)化 M 中的像素值，具體定義如下：其中，L_MSE 部分起到二值正則化的主要作用，讓 M 的值具有非零即一的可操作性，而引入 M 的 L_1 范數(shù)是為了讓補丁面積在優(yōu)化過程中盡可能小。結(jié)合上述三種具有不同優(yōu)化功能的 loss，最終的損失函數(shù)為：在這種損失函數(shù)的指導(dǎo)下，其最終得到的對抗補丁是一個面積適中的補丁圖案，其聚集性，以及 Mask 非零即一的特性使得物理實施的難度大幅度下降。在最終物理實現(xiàn)時，只需要在材料上剪裁出一塊優(yōu)化得到的補丁，并貼在攻擊目標(biāo)身體上的指定位置，即可進行魯棒性評估。在實驗部分，實驗一到三是數(shù)字世界下的實驗，實驗四到六是物理世界下的實驗。實驗一：與兩種 SOTA 方法進行了效果對比，結(jié)果顯示，該方法對應(yīng)的 AP 值從 100 % 下降到 12.05 %，超過了 SOTA 方法。實驗二：對 patch 的形狀位置進行了消融實驗對比，證實了二者同時優(yōu)化的有效性。實驗三：對損失函數(shù)的效果進行了對比驗證，結(jié)果顯示，盡管完整 loss 與部分功能 loss 缺失條件下得到的 ASR 相比略低，但其顯著的聚集性帶來的價值更有意義。實驗四：對不同距離、角度、姿勢和場景進行了方法驗證，總體取得了較好效果。實驗五：在小車上進行了拓展實驗，并設(shè)定了不同距離和角度，攻擊成功率總體位于 90% 以上。實驗六：采用三種典型的防御手段來評估該攻擊方法的魯棒性，結(jié)果顯示，在三種防御方法下，對抗攻擊性能下降幅度均在可接受范圍內(nèi)，證明魯棒性較好。該研究提出了可學(xué)習(xí)形狀和位置的、物理操作性強的對抗紅外補丁，可以通過巧妙的 loss 設(shè)計，實現(xiàn)對多變量同時的梯度優(yōu)化。物理實現(xiàn)采用氣凝膠隔熱材料構(gòu)建紅外貼片。該方法優(yōu)化速度快，貼片制作簡單，從數(shù)字世界優(yōu)化到物理世界構(gòu)建對抗樣本僅需 0.5 小時。實驗效果相當(dāng)甚至優(yōu)于紅外模態(tài) SOTA 攻擊方法，行人和車輛檢測實驗體現(xiàn)了方法的有效性和泛化性。文章來源：機器之心
IEEE Spectrum
《科技縱覽》
官方微信公眾平臺
