來自北航人工智能研究院的韋星星副教授團(tuán)隊(duì)設(shè)計(jì)出一種隱蔽性更強(qiáng)、物理實(shí)施更簡單、速度更快的 “對(duì)抗紅外補(bǔ)丁”，可用于針對(duì)紅外模態(tài)的物理魯棒性評(píng)估研究。
在計(jì)算機(jī)視覺領(lǐng)域，基于 DNN 的紅外與可見光目標(biāo)檢測(cè)系統(tǒng)在諸多安全保障任務(wù)中得到廣泛應(yīng)用，而 DNN 易受對(duì)抗樣本攻擊的特性，天然給這些檢測(cè)系統(tǒng)埋下了安全隱患，檢測(cè)器的對(duì)抗魯棒性也因此受到了學(xué)術(shù)界與工業(yè)界的共同關(guān)注，相關(guān)研究的發(fā)展勢(shì)頭強(qiáng)勁。
已有不少研究者針對(duì)可見光模態(tài)提出了物理魯棒性評(píng)估技術(shù)，它們被設(shè)計(jì)在常見的物品上，有著精心設(shè)計(jì)的紋理圖案，比如對(duì)抗貼紙、眼鏡、襯衫和帽子等。但是，這些基于紋理的擾動(dòng)對(duì)于紅外模態(tài)是不起作用的。而對(duì)于同樣主流的紅外檢測(cè)器，其雖具有同等的評(píng)估必要性，有效的物理魯棒性評(píng)估技術(shù)卻屈指可數(shù)，并且現(xiàn)有方法在從數(shù)字世界向真實(shí)世界進(jìn)行轉(zhuǎn)換實(shí)現(xiàn)時(shí)，具有較高的實(shí)現(xiàn)難度。
在最近的一篇論文中，來自北航人工智能研究院的研究者們針對(duì)紅外模態(tài)展開了物理魯棒性評(píng)估技術(shù)的研究，設(shè)計(jì)出了一種隱蔽性更強(qiáng)、物理實(shí)施更簡單、速度更快的 “對(duì)抗紅外補(bǔ)丁”。他們提出了一種新穎的損失函數(shù)，使其能夠利用統(tǒng)一梯度，同時(shí)優(yōu)化對(duì)抗補(bǔ)丁的位置與形狀，并使補(bǔ)丁的熱幅射分布更加統(tǒng)一。在物理實(shí)施方面，其利用氣凝膠這種隔熱材料實(shí)現(xiàn)補(bǔ)丁相應(yīng)的熱分布，只需通過剪裁粘貼便完成了對(duì)抗樣本的建構(gòu)。研究論文已經(jīng)被 CVPR 2023 接收。
論文地址：https://arxiv.org/abs/2303.13868實(shí)驗(yàn)證明，該方法在不同距離、角度、姿勢(shì)和場(chǎng)景下都具有很好的表現(xiàn)。值得注意的是，在與 SOTA 方法取得同等優(yōu)異表現(xiàn)時(shí)，該方法從數(shù)字優(yōu)化到物理實(shí)施整個(gè)過程不超過半小時(shí)，是 SOTA 方法花費(fèi)時(shí)間的 5%。此外，該方法在小車上也能取得不錯(cuò)的效果，具有良好的泛化性。該研究主要基于行人檢測(cè)任務(wù)進(jìn)行方法建構(gòu)，將最高得分檢測(cè)框作為檢測(cè)到的行人，當(dāng)對(duì)抗樣本的檢測(cè)得分低于閾值時(shí)，代表其攻擊成功。區(qū)別于常見的擾動(dòng)攻擊，該研究基于一個(gè)區(qū)域性的補(bǔ)丁構(gòu)建對(duì)抗樣本。其生成定義如下：其中，
由補(bǔ)丁的物理材料在紅外模態(tài)下的像素值決定，在數(shù)字環(huán)境下很難對(duì)
進(jìn)行操作。于是該研究將先驗(yàn)性的定為 0（即黑色），轉(zhuǎn)而對(duì) M 進(jìn)行優(yōu)化，通過學(xué)習(xí)補(bǔ)丁的形狀與位置改善攻擊性能與物理可實(shí)施性。技術(shù)實(shí)現(xiàn)上，該研究采用白盒方法，設(shè)計(jì)損失函數(shù)，進(jìn)行基于動(dòng)量的梯度優(yōu)化。其中，為了提高對(duì)抗補(bǔ)丁的物理可實(shí)施性，求解的掩碼 M 應(yīng)該具有以下性質(zhì)：（1）M 中的像素點(diǎn)應(yīng)該聚集在一起，在合理位置形成一個(gè)具有對(duì)抗攻擊性的形狀。（2）M 中的像素值應(yīng)盡可能趨于 1 或 0。關(guān)于損失函數(shù)，攻擊 loss 是以最小化所有邊界框內(nèi)的最大置信度得分為目標(biāo)，使目標(biāo)成功 “隱身”。這種隱身攻擊損失的定義如下：但是，只基于攻擊 loss 優(yōu)化會(huì)導(dǎo)致 M 中的像素取到 [0,1] 中的連續(xù)值，且高值的像素點(diǎn)離散分布在不同的位置，無法滿足上述目標(biāo)。因此，他們提出全新的聚集正則項(xiàng)和二值化正則項(xiàng)加入到損失函數(shù)中，在保證有效攻擊的基礎(chǔ)上保證形狀緊湊以及像素值非 0 及 1。聚集正則項(xiàng)的提出主要針對(duì)下面兩個(gè)問題：（2）對(duì)于形狀和位置兩種完全不同的變量，如何通過統(tǒng)一的梯度完成二者的共同優(yōu)化。想要獲得聚集的圖像塊，M 中取值為 1 的像素應(yīng)該被聚類。為了度量像素的這種聚集性，他們提出了局部聚集系數(shù)，能夠量化一個(gè)像素點(diǎn)的鄰居是多么接近一個(gè) “團(tuán)”。其主要通過單個(gè)像素點(diǎn)的八個(gè)鄰居像素及聯(lián)通邊計(jì)算得出。考慮到 M 實(shí)際取值為 [0,1] 區(qū)間，他們?cè)谠镜脑O(shè)計(jì)上增加衰減因子，形成了 soft 版本的計(jì)算公式。最終，聚集正則項(xiàng)結(jié)合該量化聚集度與掩碼 M 的值進(jìn)行設(shè)計(jì)，顯然其中的運(yùn)算都是可微分的，使得其可以通過統(tǒng)一梯度同時(shí)完成形狀與位置的優(yōu)化：二值化正則項(xiàng)的提出則是為了優(yōu)化 M 中的像素值，具體定義如下：其中，L_MSE 部分起到二值正則化的主要作用，讓 M 的值具有非零即一的可操作性，而引入 M 的 L_1 范數(shù)是為了讓補(bǔ)丁面積在優(yōu)化過程中盡可能小。結(jié)合上述三種具有不同優(yōu)化功能的 loss，最終的損失函數(shù)為：在這種損失函數(shù)的指導(dǎo)下，其最終得到的對(duì)抗補(bǔ)丁是一個(gè)面積適中的補(bǔ)丁圖案，其聚集性，以及 Mask 非零即一的特性使得物理實(shí)施的難度大幅度下降。在最終物理實(shí)現(xiàn)時(shí)，只需要在材料上剪裁出一塊優(yōu)化得到的補(bǔ)丁，并貼在攻擊目標(biāo)身體上的指定位置，即可進(jìn)行魯棒性評(píng)估。在實(shí)驗(yàn)部分，實(shí)驗(yàn)一到三是數(shù)字世界下的實(shí)驗(yàn)，實(shí)驗(yàn)四到六是物理世界下的實(shí)驗(yàn)。實(shí)驗(yàn)一：與兩種 SOTA 方法進(jìn)行了效果對(duì)比，結(jié)果顯示，該方法對(duì)應(yīng)的 AP 值從 100 % 下降到 12.05 %，超過了 SOTA 方法。實(shí)驗(yàn)二：對(duì) patch 的形狀位置進(jìn)行了消融實(shí)驗(yàn)對(duì)比，證實(shí)了二者同時(shí)優(yōu)化的有效性。實(shí)驗(yàn)三：對(duì)損失函數(shù)的效果進(jìn)行了對(duì)比驗(yàn)證，結(jié)果顯示，盡管完整 loss 與部分功能 loss 缺失條件下得到的 ASR 相比略低，但其顯著的聚集性帶來的價(jià)值更有意義。實(shí)驗(yàn)四：對(duì)不同距離、角度、姿勢(shì)和場(chǎng)景進(jìn)行了方法驗(yàn)證，總體取得了較好效果。實(shí)驗(yàn)五：在小車上進(jìn)行了拓展實(shí)驗(yàn)，并設(shè)定了不同距離和角度，攻擊成功率總體位于 90% 以上。實(shí)驗(yàn)六：采用三種典型的防御手段來評(píng)估該攻擊方法的魯棒性，結(jié)果顯示，在三種防御方法下，對(duì)抗攻擊性能下降幅度均在可接受范圍內(nèi)，證明魯棒性較好。該研究提出了可學(xué)習(xí)形狀和位置的、物理操作性強(qiáng)的對(duì)抗紅外補(bǔ)丁，可以通過巧妙的 loss 設(shè)計(jì)，實(shí)現(xiàn)對(duì)多變量同時(shí)的梯度優(yōu)化。物理實(shí)現(xiàn)采用氣凝膠隔熱材料構(gòu)建紅外貼片。該方法優(yōu)化速度快，貼片制作簡單，從數(shù)字世界優(yōu)化到物理世界構(gòu)建對(duì)抗樣本僅需 0.5 小時(shí)。實(shí)驗(yàn)效果相當(dāng)甚至優(yōu)于紅外模態(tài) SOTA 攻擊方法，行人和車輛檢測(cè)實(shí)驗(yàn)體現(xiàn)了方法的有效性和泛化性。文章來源：機(jī)器之心
IEEE Spectrum
《科技縱覽》
官方微信公眾平臺(tái)
