9 对抗性攻击

安全风险判断框架

查看大图

对抗性攻击提醒我们：模型看起来很小的输入变化，可能导致完全不同的判断。防御不是写一句过滤规则，而是持续收集边界样本。

查看大图

我会把每次误判都加入测试集，尤其是看起来只改了几个词、几个像素、几个字段的样本。边界样本越多，模型上线越不盲。

在人工智能系统中，对抗性攻击是一个重要且具有挑战性的安全风险。与数据中毒和模型劫持不同，对抗性攻击主要针对已经训练好的模型。攻击者通过精心设计的输入样本，诱使模型产生错误的预测或分类。这类攻击不仅可能造成错误的输出，还可能导致严重的后果，尤其是在关键的应用领域，如自动驾驶、医疗诊断和金融交易。

1. 对抗性攻击的概念

对抗性攻击的核心思想是通过微小而不易察觉的扰动来干扰模型的决策过程。例如，对于图像分类模型，攻击者可以轻微修改原始图像，使得模型错误地将其分类为另一类。这种修改可能对人类观察者来说几乎是不可见的，但却足以导致模型的错误判断。

公式表示对抗样本生成的数学表示为：

$$x' = x + \delta$$

其中，$x$ 是原始输入，$x'$ 是对抗样本，$\delta$ 是小的扰动。

案例：图像分类系统中的对抗性攻击

2014年，研究人员通过对一张猫的图片添加微小的噪声，使得深度学习模型将其错误地分类为“悠长的汽车”。这种攻击展示了对抗性攻击的潜在威胁，尤其是在自动驾驶车辆的计算机视觉系统中，攻击者可以通过对路标或行人的图像进行对抗性修改，导致汽车做出错误的反应。

2. 对抗性攻击的类型

对抗性攻击通常可以分为以下几种类型：

• 白盒攻击：攻击者完全了解模型的结构及其参数，可以利用模型细节生成对抗样本。
• 黑盒攻击：攻击者对模型的内部构造一无所知，只能基于模型的输入和输出进行攻击。
• 转移攻击：这种攻击利用对一个模型生成的对抗样本去攻击另一个模型，通常表现出模型之间的弱点。

示例代码：白盒对抗性攻击的实现

下面是一个简单的白盒对抗性攻击的 Python 代码示例，使用了 Fast Gradient Sign Method (FGSM)：

查看大图

理解对抗性攻击时，先看扰动位置、可见程度、目标类别、攻击约束和模型输出变化。

import numpy as np
import tensorflow as tf

def fgsm_attack(model, images, labels, epsilon):
    # 确保模型在评估模式
    model.trainable = False
    
    with tf.GradientTape() as tape:
        predictions = model(images)
        loss = tf.keras.losses.sparse_categorical_crossentropy(labels, predictions)
    
    # 计算梯度
    gradients = tape.gradient(loss, images)
    signed_gradients = tf.sign(gradients)
    
    # 生成对抗样本
    adversarial_examples = images + epsilon * signed_gradients
    return tf.clip_by_value(adversarial_examples, 0, 1)  # 归一化

3. 对抗性攻击的对策

针对对抗性攻击，研究人员提出了多种防御策略，包括：

• 对抗训练：在训练过程中使用对抗样本，使模型学习如何抵御这些样本。
• 模型正则化：通过正则化手段提高模型的鲁棒性，减少其对输入的小改变的敏感性。
• 输入检测：在模型接受输入之前，使用其他算法判断输入样本是否存在对抗性特征。

案例：对抗训练的应用

在一项研究中，研究人员通过在训练数据中加入对抗样本，使得图像分类模型在面对对抗性攻击时表现出比常规训练模型更加良好的鲁棒性。实验表明，经过对抗训练的模型在白盒和黑盒攻击下，准确率显著提升。

查看大图

学《对抗性攻击》时，可以先找一个自己能复现的小场景，再看相关概念和练习步骤，读完后用自己的例子复述一遍。

查看大图

复习《对抗性攻击》时，建议把关键概念、操作步骤和可见结果放在同一页里回看。

查看大图

练习《对抗性攻击》时，建议把输入条件、处理动作和可见结果写在一起，方便下次复查。

4. 结论与未来展望

对抗性攻击是人工智能系统中一个不可忽视的安全风险，其潜在影响不容小觑。在未来，随着人工智能的广泛应用，如何有效应对对抗性攻击将成为研究的重点。同时，随着对抗性攻击手段的不断发展，防御策略也需不断迭代升级，以提升系统的安全性和可信度。

了解这些对抗性攻击的本质以及防御措施，对于构建安全可靠的 AI 系统至关重要。在接下来的章节中，我们将讨论隐私问题与法律框架，进一步探讨 AI 系统面临的其他安全挑战。