7 AI系统中的安全风险

安全风险判断框架

查看大图

AI 应用的攻击面从用户输入延伸到知识库、插件、模型供应商、日志和工具权限。OWASP LLM Top 10 2025 已把提示注入、敏感信息泄露、供应链、数据和模型投毒、过度代理等列为重点风险。

可对照 OWASP Top 10 for LLM Applications 2025 做风险清单。

查看大图

我会把所有外部输入标红：用户文本、上传文件、网页内容、检索片段、插件返回值。只要来源不可控，就不能直接当成系统指令。

3.1 潜在的攻击面

在当今的数字化时代，人工智能(AI)系统在多个领域得到了广泛的应用，如医疗、金融、自动驾驶等。这些AI系统极大地提高了效率和精准度，但同时也带来了诸多的安全风险。为了理解这些风险，我们必须先认识到AI系统的潜在攻击面。

查看大图

回看《AI系统中的安全风险》时，不必一次做大项目，先用一条简单样例确认主线是否清楚。

查看大图

如果《AI系统中的安全风险》还没完全消化，可以从这张卡片的四个动作重新走一遍。

1. AI系统的构成与攻击面

一个典型的AI系统通常包括以下几个部分：

• 数据源：用于训练和测试AI模型的数据。
• 模型：通过机器学习算法构建的AI模型，它负责从数据中学习模式和进行预测。
• 接口：用户与AI系统交互的通道，通常是API或用户界面。
• 存储：存储模型、数据及相关信息的数据库或云平台。

每一部分都可能成为攻击者的目标，攻击者可以利用这些攻击面来达到其目的。

2. 常见的攻击类型

在AI系统中，主要有以下几种类型的攻击方式：

2.1 数据攻击

数据攻击是指对AI模型训练和测试数据的篡改，其潜在风险包括：

• 恶意数据插入：攻击者可以向训练数据集中添加带有偏向性或错误的信息，从而影响模型的性能。例如，在图像识别系统中，插入特定的图像可能导致模型误识别特定对象。

# 概念示例：添加错误图像样本的Python代码
import numpy as np

def inject_malicious_data(original_data, malicious_sample):
    return np.append(original_data, malicious_sample, axis=0)

# 假设原始数据集和恶意样本
original_data = np.array([[0, 1], [1, 0]])  # 原始数据集
malicious_sample = np.array([[1, 1]])  # 恶意样本

# 在原始数据集中插入恶意样本
new_data = inject_malicious_data(original_data, malicious_sample)
print(new_data)  # 输出包含恶意样本的新数据集

2.2 模型攻击

这是指直接对AI模型进行攻击，如模型劫持或反向工程。攻击者可能通过以下手段进行模型攻击：

• 模型窃取：攻击者可以通过逆向工程和接口测试，获取模型的内部参数和结构。
• 对抗攻击：输入经过精心设计的对抗样本，从而迫使模型做出错误的预测。例如，在自然语言处理系统中，改变单词的拼写可能导致模型误解句子含义。

# 对抗攻击示例：简单的文本替换
original_text = "The weather is nice today."
adversarial_text = "Teh wheather is nice today."  # 拼写错误

print("原始文本: ", original_text)
print("对抗文本: ", adversarial_text)
# 模型可能错误分类这个对抗文本

3. 爆露的风险与后果

AI系统中的潜在攻击面如果被成功利用，将导致严重的后果，具体包括：

查看大图

排查 AI 系统安全风险时，先看数据来源、提示注入、工具权限、模型输出和日志存储。风险通常出现在链路连接处。

• 数据泄露：敏感数据可能被攻击者获取，从而导致隐私侵犯。
• 模型失效：篡改后的数据可能会导致模型性能显著下降，影响系统的可靠性。
• 经济损失：如在金融服务领域，攻击可能导致巨额经济损失。

4. 预防措施

为了减少AI系统中的安全风险，组织可以采取以下预防措施：

查看大图

进入《AI系统中的安全风险》正文前，可以先扫一遍配图：它在问什么、要分清哪些概念、哪一步值得动手、最后用什么标准验收。

• 数据验证与清洗：对输入数据进行严格的验证，避免恶意数据对模型的影响。
• 模型加密：对AI模型进行加密处理，抵抗模型盗取。
• 对抗样本检测：开发机制以识别对抗样本，提高模型对攻击的鲁棒性。

通过了解AI系统的潜在攻击面，组织可以更好地识别其弱点，并采取适当的安全措施，保障系统安全。

总结

在引入AI技术的同时，了解和应对潜在的安全风险是至关重要的。AI系统的发展需要兼顾技术的创新与安全的保障，以促进更好的应用和信任度。

接下来，我们将在第三章中进一步讨论数据中毒与模型劫持，这些都是人工智能领域内重要的安全风险。