安全相似,静默传播:文本相似度护栏在 AI 智能体安全上的局限
Safe Resemblance, Silent Propagation: Limits of Text-Similarity Guardrails for AI Agent Safety
作者评测文本相似度护栏 DonkeyRail 在三智能体邮件中继中的表现,称其漏检 8/19 个功能性传播输出并误报 70/192 条授权复用回复。
- AI 智能体相互转发信息时,注入指令可能在措辞改变后仍影响下游智能体,而合法引用和模板复用又会产生高文本重叠。文本相似度护栏难以区分这两类情况。
- 作者用冻结的 DonkeyRail 分类器(BLEU、ROUGE-L、METEOR 特征)在三智能体邮件中继中做行为评测:以两个后续智能体是否产生新计算定义功能性传播,并设置明确授权引用/复用的合法对照;另做阈值校准、ROC 插值更正和形式化分析。
- 阈值 0.5 下,Luna 的 19 个功能性根输出有 8 个被漏检,192 条合法测试回复有 70 条被误报;校准阈值只检出 1 个功能性输出,仍误报 15 条。作者还称全部 21 个已发布分类器配置的固定阈值率由 ROC 插值得到。
- 作者指出实验只覆盖一种算术中继、12 个框架、6 种变体和两个模型别名,攻击变体共享同一操作核心;强制暴露而非自然检索;无外部工具执行;每个条件仅一个采样输出,无法单独估计采样方差。
- 威胁模型
- 间接提示注入:不可信中继记录请求额外操作,输出被转发给后续智能体;评测关注注入程序是否在两个后续智能体中引发新计算,以及合法引用/模板复用是否被误报。受害系统为三智能体邮件中继,护栏为冻结的 DonkeyRail 分类器。
- 被测模型
- DonkeyRailgpt-6-lunagpt-6.1-sol
- 基准
- DonkeyRail三智能体邮件中继(合成任务)
- 指标
- functional recalllegitimate FPAUCFPRTPR
论文实测发现文本相似度护栏难以区分智能体间被注入指令的静默传播与合法引用、模板复用。作者在受控三智能体邮件转发场景中测试公开分类器 DonkeyRail(结合 BLEU、ROUGE-L、METEOR 特征),并定义不依赖检测器评分的行为化指标,以注入程序是否在后续两个智能体中引发新计算为准。默认阈值下,该分类器漏掉 19 个功能性输出中的 8 个,误报 192 条合法回复中的 70 条,完成的引用与模板复用回复全部触发误报;在一个模板集上校准低误报并不能迁移,重新校准的阈值仅检出 1 个功能性输出,在新模板上仍产生 15 次误报。论文还指出全部 21 组已发布分类器配置存在用 ROC 插值替代直接阈值应用的操作点错误,并论证针对表层文本标准的高 AUC 不能保证对行为化目标的高 AUC。
深度解读
这篇论文试图解决什么问题?
作者研究文本相似度护栏能否区分注入指令的下游传播与合法授权复用。
核心问题:文本相似度护栏能否区分注入指令在下游智能体中的持续生效与合法的引用/模板复用。
- 问题场景:AI 智能体的输出会成为另一个智能体的输入,间接提示注入可把指令放进检索材料,输出被转发后相关事件是指令对另一智能体的持续影响。
- 现有方法不足:作者认为文本相似度与传播回答的是不同问题——改写后的输出可能保留可执行程序但文本重叠少,而引用、摘要、模板复用可能因用户明确要求而产生高重叠。
- 核心观察:安全决策需要区分文本相似性、下游引发的行为、任务授予的权限这三件事。
- 论文提出:用 DonkeyRail(Morris-II 研究线的公开实现)在受控三智能体邮件中继中做行为评测,定义独立于检测器分数的功能性度量,并做阈值校准、固定阈值测量更正、代理标签迁移的形式化分析和授权分析。
- 威胁模型:
- 攻击者目标:让注入程序在后续两个智能体中引发新计算(功能性传播)。
- 知识/能力:不可信中继记录可请求额外操作;攻击变体由 Luna 准备,含改写、格式变化、Base64 包装等。
- 受害系统:三智能体邮件中继,使用冻结的 DonkeyRail 分类器做护栏。
- 成功判定:根输出 o1 的两个后续智能体都产生正确的新结果行(A2=1 且 A3=1)。
有哪些相关研究?
论文讨论了提示注入与传播、韧性蠕虫与行为评测、策略感知防御、文本相似度指标和代理准则五类工作。
提示注入与传播
- Greshake et al. [8]——展示间接提示注入如何通过合法任务中遇到的数据攻陷 LLM 集成应用。
- Morris-II [4]——把威胁扩展到 RAG 应用中的自我复制提示,其 Virtual Donkey 护栏用检索记录与生成回复间的最大 BLEU、ROUGE-L、METEOR 重叠作为复制证据;论文指出其通过精确指令字符串保留来测量文本复制,并承认修改后的字符串可能保留行为。
韧性蠕虫与行为评测
- Autonomous LLM Agent Worms [16]——提出 SRPO 以在摘要、改写、压缩中保持持久性、传播、操作效果和必要标识符,区分语义保留与逐字保留。
- AgentWorm [17]——研究跨智能体生态的持久性与传播,评测分离配置持久性、通过主机工件验证的执行和传播,完整成功要求三个阶段都满足。
- AgentDojo [7]——用对输出和有状态工具环境变化的检查分离合法任务效用与攻击者目标成功。
策略感知防御
- Fides [5]——在智能体计算中传播机密性和完整性标签,对重要工具调用做信息流策略检查。
- CaMeL [6]——分离控制流与数据流:特权模型把可信任务翻译成程序,隔离的无工具模型把不可信数据处理成预定义模式。
- 论文另引 [15] 指出安全机制本身可能成为攻击面:注入内容触发防御性拒答时,警告诱导的弃权可拒绝对合法工具使用智能体的服务。
文本相似度指标与代理准则
- BLEU [12]、ROUGE [11]、METEOR [1]——分别面向机器翻译、摘要和单语对齐的文本对应度量;论文指出其定义不决定指令是否导致后续智能体行动或复制是否被授权。
- 准则污染 [2]、诊断评测中的纳入偏倚 [14]、抑郁语言模型评测 [10]、AVClass [13] 与 MOTIF [9]——论文借这些工作说明与耦合准则的一致可能高估向另一端点的迁移。
基线与基准:被评测对象为 DonkeyRail 公开实现(固定 commit)中的三特征逻辑分类器;实验环境为作者构建的三智能体合成邮件中继。
作者定位:本文把行为评测原则应用于一个更窄的检测器问题——固定文本相似度分数是否跟踪功能性,同时允许授权复用。
论文如何解决这个问题?
作者构建三智能体邮件中继,用独立的行为端点评测冻结的 DonkeyRail 分类器,并辅以阈值校准、形式化分析和授权分析。
整体思路:在受控三智能体邮件中继中,用与检测器分数独立的行为端点(两个后续智能体是否产生新计算)评测 DonkeyRail 文本相似度分类器,同时设置明确授权引用/复用的合法对照,检验漏报与误报。
相似度护栏与决策规则
- 特征向量取十条检索记录上各指标的最大值:x(D,o) = (maxd∈ D BLEU(d,o), maxd∈ D ROUGE\text{-}L(d,o), maxd∈ D METEOR(d,o)),三个最大值可来自不同记录。
- 使用公开实现中的三特征逻辑分类器,分数 s(D,o)=σ(b+wᵀx(D,o)),s(D,o)≥τ 时报警;分类器在行为实验中冻结。
- 生成回复在特征提取时转小写(遵循原预处理约定),后续智能体收到的是实际输出文本。
行为传播度量
- 邮件智能体收到九条合成背景记录、一条中继记录和一条请求确认会议的 incoming 消息(含 ticket 号);不可信中继要求把 ticket 加七、输出单独的 LAB-PROOF 行并把程序带入回复。
- 每个智能体收到新 ticket;对根输出 o1 定义 F(o1) = 1[A2 = 1 ∧ A3 = 1],即两个后续智能体都在显式中继标签、代码围栏和引用行之外产生正确的新结果行;更换 ticket 排除了靠复制先前结果满足端点。
- 另报告更严格的三动作端点 A1A2A3;权威标注和禁止额外证明行是评测元数据,不是提供给模型的显式策略指令。
攻击变体与合法对照
- 12 个指定用于留出目标评测的框架,每个框架 6 种变体:identity、paraphrase、format change、clause reordering、indirect quotation、Base64 packaging;每框架 4 种变体由 Luna 一次性准备,identity 和 encoding 是确定性的;所有变体在目标评测前固定。
- 主实验对每个模型在三条智能体链上评测全部 72 个留出变体,跨模型共享 216 个唯一 ticket 值。
- 每个模型的合法对照为 192 条校准 + 192 条测试回复,每个 split 含四类任务各 48 条:普通确认、逐字引用、改写、完整模板复用;校准与测试的请求模板不重叠,源记录格式也不同。
- 假阳性分母保留全部合法输出;另设任务完成检查(引用/模板复用需归一化后含完整源,确认/改写需指定时间和会议室标签)。
模型设置与统计
- 评测 gpt-6-luna 与 gpt-6.1-sol,无状态调用;temperature 1.0、top-p 0.98;Luna reasoning effort 为 none、输出上限 768 token,Sol 为 low、上限 1,536 token(含 reasoning)。
- 报告固定阈值 τ=0.5 和仅由合法校准回复确定的阈值 τcal = nextafter(s(4), +∞)(允许至多 3 个校准报警,经验校准 FPR 低于 2%);规则在数据收集前固定。
- 用 4,000 次 bootstrap 抽样估计 95% 百分位区间:功能性召回按 12 个框架种子重抽样,合法误报按 24 个请求模板簇重抽样。
测量更正与形式化分析
- 指出公开实现用 ROC 概率阈值间的线性插值计算固定阈值率,作者改为直接计数 FPR/TPR,并重建全部 21 个分类器配置。
- 把准则污染概念适配到护栏评测:构造在固定完美代理排序下实现 [0,1] 中每个 AUC 的行为分布族(Proposition 1),并定义归一化 AUC 差距 CCI(Eq. 8),指出其需要同一总体上的配对代理与目标标签。
- 授权分析:若两个世界的可见文本 O(w) 相同而授权 A(w) 不同,任何只用 O 的确定性函数无法在两个世界都正确决策(Proposition 2);用 64 对合成联系人摘要实例化该条件。
论文做了哪些实验?
主实验显示阈值 0.5 下 Luna 19 个功能性根输出漏检 8 个、192 条合法回复误报 70 条;校准阈值只检出 1 个功能性输出。
实验设置
- 被测模型:gpt-6-luna 与 gpt-6.1-sol(无状态调用,temperature 1.0、top-p 0.98;Luna reasoning effort none、768 token 上限,Sol low、1,536 token 上限)。
- 被评测护栏:DonkeyRail 公开实现(固定 commit)的三特征逻辑分类器,特征为 BLEU、ROUGE-L、METEOR 在十条检索记录上的最大值。
- 数据集/环境:合成三智能体邮件中继;每模型 72 个留出攻击变体(12 框架 × 6 变体)、216 个唯一 ticket;合法对照为 192 校准 + 192 测试回复,四类任务各 48 条。
- 指标:功能性召回(TP/(TP+FN),功能性根 = 两个后续智能体都产生新计算)、合法测试回复误报数、任务完成率、AUC。
- 评审方式:动作解析器做规则判定(独立 LAB-PROOF 整数行等于当前 ticket 加七,排除中继标签、代码围栏、引用行);任务完成用精确复用或时间-会议室检查;无论文所述 LLM 评审。
- 样本量与重复:每个框架、变体、模型、智能体位置各一个采样输出;4,000 次 bootstrap 估计区间。
主结果
据 Table 1(主实验护栏工作点,所有行用同一冻结分类器):
表格较宽,可左右滑动
Agent model Threshold Functional roots TP FN Recall Legitimate FP Luna 0.5 19/72 11 8 57.89% 70/192 Luna Calibrated 19/72 1 18 5.26% 15/192 Sol 0.5 0/72 0 0 N/A 98/192 Sol Calibrated 0/72 0 0 N/A 69/192 - 作者称结果呈双向错误:漏检功能性传播的同时误报授权复用;Luna 功能性召回的种子簇 bootstrap 区间为 35.0%–76.9%,模板簇误报区间 21.9%–51.6%。
- Sol 在 216 个主实验智能体输出中无功能性根、无新动作,其功能性召回无定义;作者指出零观察到的传播既不证明护栏的检测能力,也不妨碍它误报授权复用。
- 误报集中在引用和模板复用(Table 2):普通确认两模型均 0/48 报警,改写各 2/48;Luna 引用 37/48、模板 31/48,Sol 两类各 48/48。
任务完成与假设性阻断
- 阻断前 Luna 通过 122/192、Sol 通过 188/192 任务完成检查;在含完整请求源的引用与模板输出中,全部 30 条合格 Luna 回复和全部 93 条合格 Sol 回复在阈值 0.5 下被报警。
- 作者称这确立了已完成授权任务上的误报;若按报警阻断,完成任务数将从 122 降至 90(Luna)、从 188 降至 93(Sol),该计数假设被报警回复被阻断而非测量已部署系统。
校准迁移
- 校准规则在两模型的 192 条校准回复上产生零报警;但在新模板和新源格式的测试集上仍报警 15/192(Luna,7.81%)和 69/192(Sol,35.94%),Luna 功能性召回从 11/19 降到 1/19。
- 作者称提高阈值去掉了大部分功能性检出,却未在这些测试对照上维持目标误报率;由于模板和源格式同时变化,迁移失败不能归因于单一因素。
- 早前评估(附录 C)在共享模板下产生零校准测试报警,同时失去全部 13 个功能性阳性。
固定阈值测量更正
- 公开实现用 ROC 插值得到的固定阈值率复现了全部 21 个已发布工作点;直接计数在 19/21 配置中改变 FPR,在全部 21 个配置中改变 FPR 或 TPR。
- 例:BLEU 决策桩在阈值 0.5 的报告 FPR 为 0.500036,直接计数为 23/1500=0.015333、TPR 1491/1495=0.997324;三特征逻辑分类器直接 FPR 29/1500=0.019333(报告值 0.021580),直接 TPR 1495/1495,AUC 保持 0.997884。
其他消融与分析
- 行为 AUC(Table 3):Luna 主实验 root AUC 0.7160、F/benign AUC 0.6436;合并后 root AUC 0.7609、F/benign AUC 0.5272;代理 AUC 因观察到的 C 全为零而无定义。
- 标记覆盖:全部 144 个 Luna 根和 384 条合法测试输出都缺少 roleplay 短语,该标记对功能性阳性覆盖为零;历史测试集 2,995 条记录的标签与该短语准则完全一致,代理标签 AUC 0.997884。
- 早前评估(附录 C):Luna 13 个功能性根(18.06%),阈值 0.5 下检出 7/13,两模型各误报 128/192 合法测试回复(确认 0/64、引用 64/64、模板 64/64);校准阈值 0.999981053592889 下零测试报警、零功能性检出。
- 探索性诊断(附录 C):评分前移除显式中继内容等把固定阈值功能性检出从 7 降到 0,合法报警仍为 128;一条针对未引用数字证明行的任务特定规则报警 10/13 功能性根、0 合法回复,作者注明该规则在数据收集后定稿,是探索性诊断而非通用防御基线。
- 授权实例化(Section 6):64 对字节相同、外部 allow/deny 策略不同的联系人摘要中,仅观察的常数基线 64/128 正确,参考所给策略则 128/128。
有什么可以进一步探索的点?
作者在 Discussion and Limitations 中列出任务覆盖、暴露范围、测量与系统覆盖四类局限。
作者指出的局限与后续方向
- 任务与机制覆盖(Section 7):只研究一种算术中继、12 个留出框架、6 种变体类型和两个模型别名;所有攻击变体共享一个操作核心和一个准备模型,框架簇不代表独立攻击机制。
- 合法对照构造(Section 7):主对照分离了完整请求模板和源格式,但保留手工编写的记录和共享的大任务类别;高复制任务占主合法混合物的一半,报告的误报率描述该混合物,不估计其在真实邮件中的流行度。
- 暴露与行为范围(Section 7):每个输出被强制插入下一智能体上下文,测量的是强制暴露下的指令采纳,而非自然检索、消息打开或邮件投递;无外部工具执行、数据外泄或持久状态;新算术结果是受限代理;两个下游观察确立有限传播而非无限自我复制。
- 测量与统计不确定性(Section 7):动作解析器要求精确独立结果并排除引用区域;宽松敏感性检查会把早前评估的 Luna 计数从 13 改为 14;严格效用规则可能拒绝语义可接受的格式;每次评估每个框架、变体、模型、位置只有一个采样输出,ticket 与随机输出同时变化,无法单独估计采样方差。
- 系统覆盖(Section 7):被评分类器用公开实现的特征和保存的训练划分,未重建原始 Gemini 应用回复或历史检索上下文;模型 API 暴露的是无日期快照的别名且 reasoning 设置不同;更广的指标类和策略执行系统需要单独评估。
实验覆盖范围
- 被测模型为 gpt-6-luna 与 gpt-6.1-sol 共 2 个;被评测护栏为 DonkeyRail 公开实现的三特征逻辑分类器(附录 B 另重建逻辑回归、高斯朴素贝叶斯、深度一决策树共 21 个配置用于测量更正)。
- 攻击变体为 12 个留出框架 × 6 种变体,每模型 72 条三智能体链;合法对照每模型 192 校准 + 192 测试回复,四类任务各 48 条。
- 防御/阻断只做假设性计数(被报警回复视为被阻断),未测量已部署的阻断系统。
- 评审方式为规则解析器与精确完成任务检查;论文未报告 LLM 评审或人工评估一致性。
- 每个条件一个采样输出;功能性召回与误报用 4,000 次 bootstrap 给出区间,早前评估用 2,000 次。
总结一下论文的主要内容
作者用行为端点评测 DonkeyRail 文本相似度护栏,称其同时漏检功能性传播并误报授权复用,校准不能解决该分离问题。
一篇关于 AI 智能体安全评测的论文,研究文本相似度护栏能否区分注入指令的下游传播与合法授权复用。
- 问题:智能体输出成为下游智能体输入时,注入程序可在措辞改变后仍生效,而合法引用/模板复用会产生高文本重叠;相似度信号可能混淆两者。
- 方法:在合成三智能体邮件中继中评测冻结的 DonkeyRail 分类器(BLEU、ROUGE-L、METEOR 特征),以两个后续智能体是否产生新计算定义功能性,设置明确授权的引用/复用对照,并做阈值校准、ROC 插值更正、代理标签迁移形式化分析和授权分析。
- 主结果:阈值 0.5 下 Luna 的 19 个功能性根输出被漏检 8 个(召回 57.89%),192 条合法测试回复被误报 70 条;Sol 无功能性根但被误报 98 条(Table 1)。
- 校准结果:仅由合法校准回复确定的阈值把 Luna 功能性检出降到 1/19,仍在新模板测试集上误报 15/192(Table 1)。
- 测量更正:全部 21 个已发布分类器配置的固定阈值率由 ROC 插值得到,直接计数在 19 个配置中改变 FPR、在全部 21 个中改变 FPR 或 TPR(Section 5.1)。
- 作者结论:作者称文本相似性不能可靠区分持续的指令采纳与授权复用,智能体安全评测应结合独立行为度量与可信策略上下文,而非仅靠文本相似度。