機器之心專欄
復旦大學姜育剛團隊
復旦大學開展針對影片模型中對抗樣本遷移性的研究，以促進影片模型的安全發展。
近年來，深度學習在一系列任務中（例如：影象識別、目標識別、語義分割、影片識別等）取得了巨大成功。因此，基於深度學習的智慧模型正逐漸廣泛地應用於安防監控、無人駕駛等行業中。但最近的研究表明，深度學習本身非常脆弱，容易受到來自對抗樣本的攻擊。對抗樣本指的是由在乾淨樣本上增加對抗擾動而生成可以使模型發生錯誤分類的樣本。對抗樣本的存在為深度學習的應用發展帶來嚴重威脅，尤其是最近發現的對抗樣本在不同模型間的可遷移性，使得針對智慧模型的黑盒攻擊成為可能。具體地，攻擊者利用可完全訪問的模型（又稱白盒模型）生成對抗樣本，來攻擊可能部署於線上的只能獲取模型輸出結果的模型（又稱黑盒模型）。此外，目前的相關研究主要集中在影象模型中，而對於影片模型的研究較少。因此，亟需開展針對影片模型中對抗樣本遷移性的研究，以促進影片模型的安全發展。
時序平移攻擊方法
與圖片資料相比，影片資料具有額外的時序資訊，該類資訊能夠描述影片中的動態變化。目前已有多種不同的模型結構（例如：Non-local，SlowFast，TPN）被提出，以捕獲豐富的時序資訊。然而多樣化的模型結構可能會導致不同模型對於同一影片輸入的高響應區域不同，也會導致在攻擊過程中所生成的對抗樣本針對白盒模型產生過擬合而難以遷移攻擊其他模型。為了進一步剖析上述觀點，來自復旦大學姜育剛團隊的研究人員首先針對多個常用影片識別模型（video recognition model）的時序判別模式間的相似性展開研究，發現不同結構的影片識別模型往往具有不同的時序判別模式。基於此，研究人員提出了基於時序平移的高遷移性影片對抗樣本生成方法。
- 論文連結：https://arxiv.org/pdf/2110.09075.pdf
- 程式碼連結：https://github.com/zhipeng-wei/TT
影片模型的時序判別模式分析
在影象模型中，常常利用 CAM（Class activation mapping）來視覺化模型對於某張圖片的判別區域。然而在影片模型的判別模式由於額外的時序維度而難以視覺化，且難以在不同模型間進行比較。為此，研究人員定義影片幀的重要性排序作為影片模型的時序判別模式。如果兩個模型共享相似的時序判別模式，那麼影片幀重要性的分佈會更加相似。
影片幀的重要性計算
研究人員使用了三種途徑衡量影片幀對於模型決策的重要性：Grad-CAM，Zero-padding 和 Mean-padding。Grad-CAM 在由 CAM 計算得到的 attention map 中針對每一幀進行均值計算，該均值則為影片各幀的重要性度量。而 Zero-padding 使用 0 來替換第i影片幀中的所有畫素值，並計算替換前後的損失值的變化程度。變化程度越高說明第 i 影片幀越重要。類似地，Mean-padding 使用臨近幀的均值替換第i影片幀。透過以上三種方式，可計算得到在不同模型下影片幀的重要性程度，並以此作為模型的時序判別模式。
時序判別模式相似度計算
由上述方法計算影片資料x在模型A上的影片幀重要性得分為
，其中T表示輸入影片幀的數目。那麼針對模型A和模型B，可得到
，結合 Spearman’s Rank Correlation，可計算模型間時序判別模式的相似性
，即
其中，
執行基於重要性值的排序操作並返回影片各幀的排序值。
的值在-1和1之間，當其等於0時表示模型A和模型B間的判別模式不存在關係，而-1或者1則表示明確的單調關係。
的值越大則模型間的判別模式越相似。基於此，可實現不同影片模型時序判別模式間關係的度量。
不同影片模型間判別模式的相似程度
上圖為 6 個影片模型間的判別模式關係熱圖。在不同模型設計架構下，Non-Local、SlowFast 和 TPN 間的時序判別模式相似程度較低；而在相同設計架構下，分別使用 3D Resnet-50 和 3D Resnet-101 作為 backbone 的影片模型具有更加相似的時序判別模式。以上趨勢在三種影片幀重要性計算方法中都得到了驗證。由此，可在實驗上證明該論文的假設，即不同影片模型結構會導致不同的時序判別模式。
時序平移攻擊方法
基於以上觀察，研究人員提出了基於時序平移的遷移攻擊方法。透過沿著時序維度移動影片幀，來降低所生成對抗樣本與白盒模型特定判別模型之間的擬合程度，提高對抗樣本在黑盒模型上的攻擊成功率。
使用
表示輸入影片，
表示其對應真實標籤，其中T，H，W，C分別表示幀數，高度，寬度和通道數，K表示類別數目。使用
表示影片模型對於影片輸入的預測結果。定義
為對抗噪聲，那麼攻擊目標可以定義為
，其中
，且限制
。定義
為損失函式。則非目標攻擊的目標函式可定義為：
為了降低攻擊過程中對於白盒模型的過擬合現象，研究人員對時序移動後影片輸入的梯度資訊進行聚合：
其中L表示最大平移長度，且
。函式
表示將所有的影片輸入沿著時序維度平移i幀。當平移後的位置大於T時，設當前幀為第i幀，即t+i>T，則第t幀的位置變為第t+i-T幀，否則為第t+i幀。而在時序平移後的影片輸入上計算完梯度後，仍會沿著時序維度平移回原始影片幀序列，並透過w_i來整合來自不同平移長度的梯度資訊。w_i可利用均一、線性、高斯三種方式生成（參考 Translation-invariant 攻擊方法）。
攻擊演算法整體流程如下，其中
用來限制生成的對抗噪聲滿足
。
結果討論與分析
為了探究時序平移攻擊方法的效能，研究人員在 UCF-101 和 Kinetics-400 兩個資料集，Non-local，SlowFast，TPN 三種不同結構的影片模型中進行對比實驗，其中影片模型分別使用 3D Resnet-50 和 3D Resnet-101 作為 backbone。當使用某一種結構的影片模型作為白盒模型時，計算所生成對抗樣本在其他結構的影片模型上的攻擊成功率（Attack success rate，ASR），以此作為評價指標。
研究人員分別在單步攻擊和迭代攻擊方法下進行了實驗對比。可以看出時序平移攻擊方法在單步攻擊和迭代攻擊下都能取得更高的 ASR，表明所生成的對抗樣本具有高遷移性。此外，在影片模型上，單步攻擊的效果好於迭代攻擊。這說明，在影象模型中發展出的遷移攻擊方法不適用於更復雜的影片模型。最後，當使用 TPN 模型作為白盒模型時，時序平移攻擊方法的效能提升較為有限，研究人員透過分析後認為 TPN 模型對於時序移動更加不敏感。
影片識別模型上的 ASR 對比圖
下表展示了與 Translation-invariant（TI）攻擊方法、Attention-guided（ATA）攻擊方法和 Momentum iterative（MI）攻擊方法相結合後的效能比較。可以看出，時序平移方法可以輔助這些方法發揮更好的效能，起到補充的作用。
結合現有方法的平均 ASR 結果對比
此外，研究人員還針對不同的平移長度L、權重w_i生成策略及平移策略進行了消融實驗。
平移長度L決定了有多少個平移後的影片輸入被用來進行特徵聚合。當L=0時，時序平移方法將會退化為最基本的迭代攻擊方法。因此，針對平移長度的研究是十分有必要的。下圖展示了不同平移長度下時序平移攻擊方法在不同黑盒模型下的 ASR 變化情況。可以看到，Non-local Resnet-50 模型的曲線更加穩定，而其他黑盒模型的曲線呈現先上升再趨於穩定的特點。這是因為 Non-local Resnet-50 與 Non-local Resnet-101 共享相似的模型結構。為了平衡 ASR 和計算複雜度，研究人員最終選取L=7來進行實驗。
不同平移長度下的時序平移攻擊方法效能對比
下表展示的是對於權重生成策略和平移策略的消融實驗結果。從表中可以看出，當賦予具有更大時序平移長度的影片輸入以更小的權重時，時序平移攻擊方法能取得較好的結果。此外，當平移策略變為隨機幀交換或遠距離交換時，時序平移攻擊方法會取得較差的結果。
不同權重生成策略和平移策略下時序平移攻擊方法的效能對比
