筆者按?

近日，人工智能國際頂級學術會議之一AAAI 2022以線上虛擬會議的形式召開。據了解，本屆會議收到來自全球的9215篇投稿論文，而接受率僅為15%，創歷史新低。隨著深度神經網絡日益廣泛的應用，模型魯棒性和安全性受到越來越多的關注，對抗機器學習成為AAAI 2022的熱點議題之一。國防科技創新研究院無人系統技術研究中心智能設計與魯棒學習實驗室（IDRL）的研究成果《FCA: Learning a 3D Full-Coverage Vehicle Camouflage for Multi-View Physical Adversarial Attack》被AAAI 2022收錄，并在紅山等平臺開源。為解決車輛等目標在動態行進中帶來的多角度攻擊難、攻擊實時性差、物理不易實現等挑戰，該團隊提出了一種基于神經可微分渲染器的全身涂裝式對抗紋理迷彩生成框架FCA，能夠貼合車輛表面生成適應多角度、部分遮擋、物理易實現的對抗偽裝迷彩，并支持擴展多種攻擊目標、仿真場景和目標檢測模型，在黑盒設置下對YOLOv5、SSD、Faster RCNN等目標檢測模型遷移攻擊取得了世界領先效果。

注：

①論文地址：

https://arxiv.org/abs/2109.07193v3

②項目地址：

https://idrl-lab.github.io/Full-coverage-camouflage-adversarial-attack/

③開源代碼：

https://forge.osredm.com/projects/p58074962/Full-coverage-camouflage-adversarial-attack

https://github.com/idrl-lab/Full-coverage-camouflage-adversarial-attack

④IDRL整理目標檢測對抗攻擊與防御論文集

https://github.com/idrl-lab/Adversarial-Attacks-on-Object-Detectors-Paperlist

數字攻擊效果圖

物理攻擊效果圖

01 研究背景及簡介

近年來，基于深度學習的目標檢測技術在自動駕駛、視頻監控等領域得到廣泛應用，但現有研究表明深度學習模型易受到對抗樣本攻擊，導致相關技術存在落地風險。相比于圖像分類攻擊中只要改變圖像類別，目標檢測攻擊要同時考慮降低目標物體存在的置信度、目標物體的類別以及目標物體的位置，因而更具挑戰性。對抗攻擊可以分為數字空間攻擊和物理世界攻擊兩大類。物理世界攻擊是指對抗樣本可以攻擊物理世界部署的目標檢測系統，因此受到更廣泛的關注。

目標檢測系統的物理世界攻擊存在兩大主流方法：（1）對抗補丁攻擊：通過在數字空間優化對抗補丁圖片，然后將優化好的對抗補丁圖片打印出來并粘貼在目標物體的部分區域實現物理攻擊（如圖1(a)）。雖然補丁攻擊在特定測試環境（如固定距離固定角度）和特殊目標（如路牌）下取得較好的攻擊效果，但是補丁圖片很難模擬車輛等非平面物體實際形變，當對抗補丁圖片被遮擋或補丁觀測角度發生變化時，攻擊會失效。（2）涂裝攻擊：通過改變三維目標物體自身的外觀紋理來攻擊目標檢測器。現有局部涂裝方法（如圖1(b)）著重優化物體的部分紋理區域如車頂、車門等較平坦位置，導致其無法適應多角度、部分遮擋等場景，攻擊效果欠佳。現有全身涂裝工作（如圖1(c)）通過優化二維紋理圖片，并利用物理渲染器將紋理圖片像馬賽克一樣重復渲染到物體表面上，雖然能從多角度展示對抗紋理，但其紋理圖案簡單，攻擊性能較差。在現有研究的基礎上，IDRL團隊利用神經渲染器開展了全身涂裝式對抗紋理攻擊技術研究，通過直接優化三維物體的全身外表面紋理，為多場景、多角度的物理攻擊提供了一種高效的解決方案（如圖1(d)）。

圖1 不同目標檢測系統物理攻擊方法效果圖

02 全身涂裝對抗紋理迷彩生成框架

為解決目標檢測攻擊中的多角度攻擊難、攻擊實時性差、物理不易實現等挑戰，在3D仿真環境中針對三維物體的全身外表面進行整體紋理優化，通過捕捉多角度觀測下的物體紋理使其在多角度和部分遮擋情況下提高攻擊成功率；設計了多尺度對抗損失，使對抗紋理在不同距離的情況下仍具有攻擊性。為盡可能減少數字仿真空間和真實物理世界的差異，可在高分辨率開源自動駕駛平臺Carla上采集大量仿真數據供訓練。實驗表明在黑盒條件下，對抗紋理迷彩的遷移攻擊性能大幅提升。全身涂裝對抗紋理迷彩生成框架流程如圖2所示。

圖2 全身涂裝對抗紋理迷彩生成框架FCA

（1）數據準備

本框架支持常見OBJ格式三維模型文件作為輸入，并提供基礎車輛三維模型供驗證。該部分對應于圖2中的Input 3D model。為模擬車輛在物理場景中行駛，采用高分辨率開源自動駕駛平臺Carla作為仿真環境，提供多種虛擬世界場景，如城市，郊區等。可根據任務需求設置需采集的數據：車輛在仿真環境中的圖片，圖片采樣時相機的位置（坐標，旋轉信息），車輛的位置（坐標，旋轉信息），如圖3所示。該部分對應與圖2 中Training Set。

圖3 場景仿真數據采樣設置

（2）全車身紋理渲染

對抗紋理迷彩涂裝在三維汽車模型上后，需要通過渲染器將其渲染成二維圖片供目標檢測器檢測。利用可微分神經渲染器, FCA可使用基于梯度的方法對紋理進行高效對抗攻擊優化。為還原車輛在仿真器中的觀測視角（圖4左圖），可利用采樣數據中車輛目標和相機的方位參數，結合全身紋理渲染出與采樣時方向位置一致的圖片（圖4中右圖），相當于為仿真器中原始車輛在特殊角度披上對抗迷彩外衣。該模塊對應于圖2的Rendering部分。

圖4 全身紋理圖片渲染效果

（3）對抗樣本合成

為了提升對抗攻擊效果，還需要將渲染了對抗紋理的偽裝汽車與仿真環境背景再次合成，生成帶背景的偽裝汽車對抗樣本。FCA框架使用語義分割網絡從圖4右圖中生成掩碼圖，提取采樣圖的仿真背景圖片，與涂裝汽車相加得到帶背景的偽裝汽車對抗樣本。

圖5 對抗樣本合成

（4）多尺度對抗攻擊損失

根據上述設置，對抗紋理的優化可定義成如下形式

其中，M表示3D模型的網格，T_adv為對抗紋理，θ_c表示采樣時的目標物體和相機的位置信息，R表示渲染器，θ_f表示目標檢測器的參數，F表示目標檢測器，Φ表示背景轉換操作, J表示損失函數，Y表示真實標簽。通過最大化上述損失函數，優化得到對抗紋理T*_adv。

為提升對抗樣本的攻擊遷移性，設計多尺度對抗損失如下

其中，用于衡量對抗紋理圖片預測邊界框與真實邊界框之間的交并比值(IOU)的損失大小；用于衡量對抗樣本中是否有目標物體的概率；是對抗樣本被分類成指定類別（如汽車）的置信度。具體而言，定義如下：

其中bⁱ表示第i個尺度的預測邊界框, 是真實的邊界框。N表示不同尺度的層數，YOLO-V3中N為3。使用多尺度IOU損失可以保證對抗紋理圖片始終有一個尺度與目標尺寸相匹配，因此經過優化的對抗紋理可以滿足不同尺度下的攻擊。一般而言，對于一個訓練好的目標檢測器，計算得到的IOU值很大。因此，通過不斷優化對抗紋理來最小化該損失使目標不被檢測到。

除了對抗損失外，我們使用平滑損失來使紋理的局部區域過渡更加自然。

最終，總的損失函數如下

通過計算上述損失函數的梯度，并通過利用可微分神經渲染器反向傳播來指導3D模型的紋理優化。

（5）全車身紋理優化

為加快全身紋理優化速度，提高優化效率，提出了一種空間換時間的方法。具體而言，將利用語義分割網絡提取背景掩碼的步驟作為數據預處理操作，在訓練前完成訓練圖片掩碼的提取。因此，在優化過程中，不再需要使用語義分割網絡，只需要加載與訓練圖片對應的掩碼圖片，從而加快了優化速度。詳細算法流程圖如算法1所示。

03 實驗結果

3.1數字世界攻擊

為公平比較，采用了文獻提供的Carla仿真數據集。雖然涂裝對抗迷彩是針對YOLO-V3設計的，但是在測試階段選取四種黑盒檢測器驗證其攻擊性能，即本文所展示的結果均為黑盒攻擊的結果。實驗結果展示了攻擊算法的遷移性。為了與現有工作進行比較，下表展示了P@0.5（指檢測器的IOU閾值設置為0.5時，檢測器檢測到汽車樣本數占總樣本數的比）的對比結果。

從上表中可以看出，FCA相比于現有方法均有較大的提升，這顯示了全身涂裝對抗迷彩框架FCA在數字空間具有較好的攻擊性能。

3.2 物理世界攻擊

在物理實驗中，由于實驗條件的限制，參考已有文獻方式將對抗性紋理打印并貼到玩具車來模擬真實世界物理攻擊。在不同環境下，從不同角度和距離拍攝了144張圖片，并使用四種常用的目標檢測模型進行實驗，實驗結果如下表所示：

可以看出，提出的全身涂裝迷彩方法在物理世界中仍具有較好的攻擊效果，這證明了生成的涂裝對抗性迷彩具有較好的遷移性和攻擊能力。

3.3 多角度和部分遮擋攻擊效果

?為了驗證FCA在多角度下的攻擊效果，在不同距離下按照360°每間隔3°各采樣了120張圖片，構建了規模為4320張的多角度測試數據集。實驗結果如下表是所示，可以看出，FCA在不同角度下均有較高的攻擊成功率。

為了驗證FCA涂裝了對抗性迷彩被遮擋時的攻擊效果，在試驗中根據迷彩被遮擋的程度，定義了以下三種遮擋范圍：小部分遮擋（small）,中等遮擋（middle），大部分遮擋（large）。實驗結果如下表所示，生成的迷彩在不同程度遮擋情況下均能表現出較好的攻擊效果。

3.4 可視化效果

（1）多視角攻擊效果

圖6 多視角攻擊效果圖

為分析對抗性迷彩涂裝使模型做出錯誤預測的原理，使用模型類激活圖可視化方法（Grad-CAM）分析了ResNet關注點。分析結果如下圖所示，可以看出對抗性迷彩使模型的注意力發生了不同程度的分散，導致目標檢測失效。

圖7 攻擊前后模型注意力變化

（2）部分遮擋攻擊效果

圖8是生成的對抗性迷彩偽裝汽車在不同距離、不同遮擋程度下的效果圖。可以看出FCA生成的對抗性紋理在復雜情況下均能攻擊成功。

圖8 部分遮擋攻擊效果

04 結語

為解決目標檢測系統的對抗攻擊與偽裝迷彩設計，本項目研究了視覺目標檢測、對抗樣本生成優化、三維視覺建模仿真等關鍵技術，重點探索了涂裝式全身對抗迷彩紋理的優化方法，同時形成了一套可用于多場景仿真數據構建、支持多種三維目標對抗紋理設計、支持多種主流目標檢測系統、可編輯涂裝區域的對抗偽裝迷彩優化方法以及目標檢測系統安全性的評估驗證開源平臺FCA。下一步，將對基于神經渲染器的涂裝式對抗迷彩近似建模進行改進和完善。

IDRL實驗室介紹

國防科技創新研究院無人系統技術研究中心智能設計與魯棒優化實驗室致力于人工智能與飛行器設計的基礎前沿和交叉研究，面向飛行器多學科高效分析與優化，發展了系列數據和知識混合驅動的深度學習方法，形成了全自主知識產權的智能輔助飛行器設計優化云平臺IDaaS（Intelligent Design as a Service）原型系統、集成衛星組件熱布局溫度場近實時預測基準工具箱STEP（Satellite Temperature fiEld Prediction of heat source layout）、內嵌物理知識神經網絡算法框架IDRLNet等前沿研究成果。近3年團隊發表相關學術論文80余篇，其中高影響因子SCI檢索70篇，授權專利17項。

實驗室招收計算機科學與技術、航空宇航科學與技術、力學等專業碩士生、博士生，研究方向包括機器學習輔助多學科建模分析、復雜系統生成設計與多學科優化、不確定性分析與魯棒優化、智能輔助結構拓撲優化、對抗機器學習、數字孿生、知識工程等，并與國防科技大學、北京大學、浙江大學、上海交通大學、電子科大、北京航空航天大學、中山大學、西北工業大學等高校有聯合培養博士指標，歡迎有意同學聯系報考，聯系方式：idrl_hr@163.com。

團隊相關成果

[1] Wang, D., Jiang, T., Sun, J., Zhou, W., Zhang, X., Gong, Z., Yao, W., Chen X., FCA: Learning a 3D Full-Coverage Vehicle Camouflage for Multi-View Physical Adversarial Attack[C], Thirty-Sixth AAAI Conference on Artificial Intelligence, 2022.

[2] Li, C., Wang, H., Zhang, J., Yao, W., Jiang, T., An Approximated Gradient Sign Method Using Differential Evolution For Black-box Adversarial Attack[J], IEEE Transactions on Evolutionary Computation, 2022.

[3] Chen, X., Zhao, X., Gong, Z., Zhang, J., Zhou, W., Chen, X., Yao, W., A Deep Neural Network Surrogate Modeling Benchmark for Temperature Field Prediction of Heat Source Layout[J], Science China Physics, Mechanics & Astronomy, 2021,64(11):1-30.

[4] Peng, W., Zhang, J., Zhou, W., Zhao, X., Yao, W., Chen, X., IDRLnet: A Physics-Informed Neural Network Library, IDRLnet: A Physics-Informed Neural Network Library[C], The 7th International Workshop on Advanced Computational Intell igence and Intelligent Informatics (IWACIII2021), Beijing, China.

[5] Zhang, Z., Li, Y., Zhou, W., Chen, X., Yao, W., Zhao, Y., TONR: An Exploration For A Novel Way Combining Neural Network With Topology Optimization[J], Computer Methods in Applied Mechanics and Engineering, 2021,386:114083.

[6] Chen, X., Chen, X., Zhou, W., Zhang, J., Yao, W., The Heat Source Layout Optimization Using? Deep Learning? Surrogate Modeling[J], Structural and Multidisciplinary Optimization, 2020,62(6):3127-3148.

[7] Wang, N., Pedrycz, W., Yao, W., Chen, X., Zhao, Y., Disjunctive Fuzzy Neural Networks: A New Splitting-Based Approach to Designing a T–S Fuzzy Model[J], IEEE Transactions on Fuzzy Systems, 2022,30(2):370-381.

總結

以上是生活随笔為你收集整理的AAAI 2022 | 全身涂装式对抗纹理迷彩生成框架FCA的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。