Adversarial Machine Learning：攻撃と防御

DNNは様々なタスクで高い性能を発揮する一方、意図的な攻撃に対して脆弱であることが知られている。 本セクションでは、Wu et al. (2023). Defenses in Adversarial Machine Learning: A Surveyのライフサイクルに基づいた統一的な枠組みに従い、攻撃と防御を体系的に整理する。

目次

• 訓練前段階の防御（Pre-training Stage Defense）
• 訓練段階の防御（Training Stage Defense）
• 訓練後・デプロイ段階の防御（Post-training / Deployment Stage Defense）
• 推論段階の防御（Inference Stage Defense）
• Critical Learning：パターン認識を超えてAIに批判的思考を教える

3つの攻撃パラダイム¶

MLシステムに対する攻撃は、大きく3つのパラダイムに分類される。

記法¶

ライフサイクルに基づく統一的な枠組み¶

Wu et al. (2023) は、MLシステムのライフサイクルを5つの段階に分け、各段階における攻撃と防御を統一的に整理した。

MLシステムのライフサイクル
│
├─ 1. 訓練前（Pre-training）
│     攻撃: データ毒入れ、バックドア挿入
│     防御: ロバストなアーキテクチャ設計、毒入れデータの検出
│
├─ 2. 訓練（Training）
│     攻撃: データ毒入れ、連合学習でのバックドア
│     防御: 敵対的訓練、安全な集中/分散訓練
│
├─ 3. 訓練後（Post-training）
│     攻撃: バックドア化されたモデルの配布
│     防御: バックドア検出・除去、トリガー逆工学
│
├─ 4. デプロイ（Deployment）
│     攻撃: ビットフリップによる重み攻撃
│     防御: モデル強化、フィンガープリント検証
│
└─ 5. 推論（Inference）
      攻撃: 敵対的サンプル、バックドアトリガー入力
      防御: 入力変換・再構成、検出・拒否

各段階の防御の概要¶

各段階の防御が単独では不十分な理由¶

重要な知見として、敵対的訓練はバックドア攻撃に対しては効果的でないことが指摘されている。これは、敵対的訓練が推論時の摂動（$L_p$ノルム制約内の摂動）に対するロバスト性を高めるものであり、訓練時のデータ汚染とは異なる脅威モデルだからである。

そのため、MLシステム全体のセキュリティを確保するためには、各段階における防御を組み合わせた多層防御が不可欠である。

参考文献¶

• Wu et al. (2023). Defenses in Adversarial Machine Learning: A Survey.

• NIST AI 100-2e2023: Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations

• NIST AI 100-2e2025（更新版）

• Yuan et al. (2019). Adversarial Examples: Attacks and Defenses for Deep Learning.

• Li et al. (2022). Adversarial Attacks and Defenses in Deep Learning: From a Perspective of Cybersecurity. ACM Computing Surveys.

• [サーベイ論文] Adversarial Training