论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证

现有 LLM 智能体防御缺乏统一框架说明其究竟提供何种安全保证以及保证从何而来，导致相同 ASR（如 0.000）可能掩盖本质不同的安全机制与失效应对。

• 智能体防御的场景与重要性：随着 LLM 智能体从单轮助手走向调用工具、浏览网络并维护长期记忆的系统，防御方案大量涌现，但部署者在实际运行测试前缺乏预先判断防御可靠性的评估体系。
• 现有安全指标的不足：不同论文的 ASR 缺乏可比性，0.000 ASR 仅反映特定评估分布下的经验结果，无法区分该数值来自模型自身拒绝习惯的“行为运气”，还是来自防御系统的“结构约束”。
• 核心观察与假设：作者提出方案的安全级别取决于其验证规范的来源（锚点）而非准确率或复杂度，且锚点决定其失效模式；防御被攻破的方式正是其锚点失效的方式。
• 论文提出的解决方案：作者将验证自主权等级（VAL）扩展至智能体安全领域，对 22 种防御完成分类，并在同等预算下对比了 VAL 指导的防御栈与主流直觉防御栈的部署表现与零稳定性。
• 威胁模型：论文在评估中设定了基于真实副作用语义的攻击场景：
  • 攻击者目标：促使智能体执行包含完整参数的高风险工具调用，并在服务端产生已验证的真实状态改变（如转账账本记录、邮件外发、沙箱文件删除等）。
  • 攻击者能力：将注入指令写入智能体外部记忆或用户任务，在自适应攻击中根据拦截原因进行重写，或在白盒自适应中获知系统提示词与关键词列表。
  • 攻击者知识：涵盖静态黑盒提示词、3 轮自适应黑盒、白盒自适应以及 PAIR 候选搜索。
  • 受害系统：基于 LLM（测试 DeepSeek-chat 与 Llama 3.1 8B）的工具调用智能体，配备外部记忆、防御链与具备真实状态变更的执行器。

验证自主权等级与验证评估

• Yin (2026)——提出验证自主权等级（VAL），依据规范来源、判定保证与作用域将验证机制划分为 L0 至 L5 六级，指出锚点语义区分意图、事实与效果，并指出检查无法证实未检查项的完备性盲区。
• Lu et al. (2025)——研究以 LLM 作为解答验证器的表现，报告同家族模型验证带来的收益接近于零。
• Mughal and Bilal (2026) 与 Seo et al. (2025)——Mughal 和 Bilal 按权威来源对基于 LLM 的测试预言进行分类；Seo 等人分析了事实核查器的局限与潜力。

智能体安全防御

• 文本与记忆级防御（Cao et al. 2023; Xu et al. 2026）——RA-LLM (Cao et al. 2023) 构建对齐强化的 LLM；PPMF (Xu et al. 2026) 提出非放大防火墙，利用平台维护的来源元数据匹配动作风险；论文指出 PPMF 在面临伪造元数据时超出其运行设计域（ODD）并出现 ASR 泄漏。
• 工具与信息流控制防御（Costa et al. 2025; Debenedetti et al. 2025; Shi et al. 2025）——IFC/Fides (Costa et al. 2025) 动态跟踪污染标签并强制执行格策略；CaMeL (Debenedetti et al. 2025) 采用基于架构设计的防注入方法；Progent (Shi et al. 2025) 利用 SMT 求解器限制智能体特权单调收缩，论文将其约束标注为 L3。

智能体评测与系统分析

• AgentDojo (Debenedetti et al. 2024)——构建包含银行、旅行、工作区、Slack 等环境的动态智能体攻击与防御评估环境。
• 行为越狱与执行分离研究（Leong 2026; Zhang et al. 2026）——Leong (2026) 分析持久记忆攻击中注入与执行的分离；LITMUS (Zhang et al. 2026) 在真实操作系统中评估行为越狱并报告执行幻觉。

基线方法与基准

• 实验对比的基线包括无防御基线（ND）、提示词硬化（D1）、关键词过滤（D2）、确认门（D3）、参数沙箱（D4），以及 AgentDojo 自带的 tool_filter、repeat_user_prompt、spotlighting；评测基准采用自建 50 场景测试集、AgentDojo（银行、旅行、工作区、Slack 套件）以及 JADE MCP 实例。

与相关工作的定位区别

• 作者称本文并非提出又一种新防御或评测方案，而是提出一个先验的分类维度（锚点），用以对防御保证的来源进行归类并预测各级别的失效边界。

论文将验证自主权等级（VAL）体系引入智能体安全领域，通过分析防御判定规范的来源（锚点）确定其理论保证与失效模式，并设计了由确认门与参数沙箱组合而成的 VAL 指导防御栈。

验证自主权等级体系与锚点分类

• 三问分类标准：VAL 依据三个核心问题对验证方案进行裁决：Q1 验证规范来自何处（LLM 声明、确定性规则、客观真实、可判定系统）；Q2 判定保证什么（无保证、正确性、完备性）；Q3 完备性声明覆盖什么范围（单属性、领域、通用）。
• 六级阶梯划分：分类沿阶梯依次触发：L0（LLM 自声明，无确定性锚点）、L1（确定性规则/正则/关键词）、L2（客观事实/平台记录事件）、L3（可判定系统/单属性完备）、L4（领域完备）、L5（通用完备，无限制情况下不可达）。
• 核心理论主张：防御等级由其锚点而非准确率决定，且防御被攻破的方式正是其锚点失效的方式；L0 失效于模型顺从，L1 失效于改写绕过，L2 失效于伪造或中毒等超出运行设计域（ODD）情形，L3 在 ODD 内依构造保持完备。

智能体安全分类协议拓展

• 混合与证据规则：针对智能体防御扩展了判定规则，包括 R2 混合系统按组件拆分且以判定路径上的最弱锚点为准、R3 证据锚点不等于判定锚点（如 RARR 证据客观但由 LLM 判定，纠正为 L0）。
• 结构与策略规则：R10 规定设计者手写策略归为 L1；R12b 规定具备定理支持的穷举过程（如信息流控制、沙箱隔离、SMT 求解）归为 L3；R15 规定 LLM 生成的期望归为 L0。
• 语义与约束的边界：作者指出智能体安全的 L3 锚点仅存在于隔离与信息流控制等形式化属性中，开放世界的语义安全判断（如“动作是否危险”）上限仅为 L2。

VAL 指导栈与直觉防御栈构建

• 主流直觉防御栈 N：由提示词硬化 D1（L0，要求忽略外部指令）与关键词过滤 D2（L1，拦截转账/删除等词汇）构成，属于生产环境中直觉采用的低成本方案。
• VAL 指导防御栈 V：由确认门 D3（L1 策略搭配 L2 平台事件输入，要求高风险操作必须具备平台记录的确认事件）与参数沙箱 D4（L3 属性，强制工具参数匹配模式、收款人白名单并执行校验）构成。
• 互补设计逻辑：D3 检验意图锚点以控制“是否可以执行”，D4 检验隔离规范以控制“执行能够触及的范围”，攻击必须同时攻破两层锚点。

零稳定性与执行漏斗分析

• 累积攻击轨迹定义：令 Z(α) 表示在攻击升级轮次 α 下防御的累积攻击成功率轨迹，用以追踪和区分表面相同的平坦零值背后的失效形态。
• 对冲墙行为机制：作者定义对冲墙（Hedging Wall）为模型在注入与安全提示词冲突下采取的折中行为，即提议高风险工具但清空或给出不完整参数，该行为在没有结构门禁时压低 ASR。
• 漏斗破裂层级差异：直觉栈 N 的执行漏斗坍塌在模型生成完整参数的阶段（行为层面），而结构栈 V 的漏斗到达授权阶段并由外部平台记录阻断（门禁层面）。

实验在自建测试集、AgentDojo 与 JADE 等多个基准上评测了各防御的 ASR、顺从率、良性效用与零稳定性。

实验设置

• 被测模型：主实验使用 DeepSeek-chat（自建集使用 temperature 0.2，AgentDojo 与消融实验使用 0.0）；第二独立受害者模型为 Meta Llama 3.1 8B（本地 Ollama）；补充检验包括 Kimi (k2.6，temperature 0.6)；跨家族攻击者尝试了 Kimi、Llama 8B（均拒绝执行攻击）以及 DeepSeek-chat。
• 评测数据集与规模：自建测试集包含 50 个场景（30 个恶意 + 20 个良性，源自 Xu et al. 2026 的记忆来源家族）；AgentDojo 官方环境包含全量银行套件（16 任务 × 9 注入 = 144 对，4 个攻击家族共 n=576）、旅行套件（20×7 共 n=560）、工作区套件（40×6 共 n=960）和 Slack 套件（21×5 共 n=420）；JADE MCP 实例包含 16 个用例。
• 对比基线与配置：对比无防御基线（ND）、提示词硬化（D1，L0）、关键词过滤（D2，L1）、确认门（D3，L1/L2）、参数沙箱（D4，L3）、VAL 防御栈（V = D3+D4）、直觉防御栈（N = D1+D2），以及 AgentDojo 自带防御（tool_filter、repeat_user_prompt、spotlighting）。
• 指标定义：ASR 为高风险工具携带完整参数执行且产生已验证服务端状态改变的比例；Compliance（顺从率）为模型提议高风险工具的比例（含参数留空）；Benign Success / Utility 为良性场景完成预定动作的比例。
• 评审与判定方式：采用真实状态执行器（转账账本、邮件发件箱、沙箱目录文件删除、论坛日志）验证服务端状态变化；AgentDojo 采用官方状态检查（作者人工独立审查发现官方检查漏判 11 起攻击）；判定不依赖 LLM 文本打分。
• 样本量与重复次数：自建测试集静态测试每配置 380 次调用（30 恶意 × 12 攻击变体 + 20 良性），自适应/白盒 30 场景 × 3 轮；V、N、ND 进行 3 次随机种子重复运行；总计调用约 7,000 次 LLM，AgentDojo 与 JADE 增加约 10,000 次调用。

主结果

DeepSeek-chat 在自建测试集静态攻击下的主结果（据 Table in Section 6 & 6.1，每配置 380 测试例）：

表格较宽，可左右滑动

• 相同零值背后的机制对立：作者指出 V 与 N 均达到 0.000 ASR，但 V 的零值来自模型无法伪造的平台记录与结构沙箱，而 N 的零值源自硬化提示词诱发的对冲行为（顺从率仅 0.233 且多为空参数），是以牺牲全部良性效用（0.000 对 1.000，Fisher 检验 p < 0.001）为代价。
• 单层防御的泄漏与互补：作者分析 D2 单独使用时泄漏 0.200（重写可绕过关键词），D4 单独使用时泄漏 0.067（符合模式的语义攻击）；D3 控制“是否可执行”，D4 控制“可操作范围”，两者结合构成完整约束。
• 模型行为与结构门禁的区别：作者称 D3 在顺从率达 0.497 时依然由门禁拦截所有调用，表明结构性零值独立于模型的顺从倾向。

自适应攻击、白盒攻击与零稳定性（Z(α)）

• 测了什么：在 30 个恶意场景上测试 3 轮基于拦截原因重写的自适应攻击、告知系统提示词与关键词的白盒自适应攻击、PAIR 风格搜索攻击，以及 7 轮持续升级攻击（追踪累积 ASR 曲线 Z(α)）。
• 实验结果：白盒自适应下，D3 顺从率升至 0.567、D1 为 0.333，但 D1 与 D3 的 ASR 均保持 0.000；D2 的 ASR 从静态 0.200 升至自适应 0.467，并在 7 轮升级中单调爬升至 0.833；D4 在第 2 轮升至 0.300 并保持平台期；D1 与 D3 在 7 轮内均保持 0.000（据 Section 6.2 及 Appendix A.5）。
• 作者的解读：作者称相同的平坦 Z(α) 曲线具有不同的脆弱性：D3 在第 7 轮被驱动提出攻击达 83.3% 但仍被平台记录拦截，而 D1 的零值依赖模型拒绝行为未被打破；一旦攻击强度足以瓦解 DeepSeek 的对冲行为，D1 预测将会失效。

AgentDojo 官方基准验证与跨套件评测

• 测了什么：在 AgentDojo 官方环境（DeepSeek-chat，全量银行套件 n=576，4 个攻击家族）评估各防御，并与 tool_filter、repeat_user_prompt、spotlighting 对比，进一步跨套件测试旅行、工作区和 Slack。
• 实验结果：在银行套件上，无防御（ND）ASR 为 4.3%（效用 86.6%），V 栈 ASR 为 0.5%（效用 79.7%，ASR 下降 8.6 倍，效用代价 6.9 个百分点），N 栈 ASR 为 1.9%（效用 87.7%），AgentDojo tool_filter 达 0.0% ASR 但效用降至 25.0%（据 Section 6.5）；在旅行、工作区、Slack 套件上，V 栈与 ND 的 ASR 差异均在噪声范围内（旅行 4.11% vs 4.64%，工作区 0.42% vs 0.31%，Slack 8.81% vs 7.86%，据 Appendix A.4）。
• 作者的解读：作者指出跨基准对比揭示了 N 的零值会随着攻击面硬度漂移（自建测试集 0.000 变为 AgentDojo 1.9%），而 V 在 ODD 内保持低水平；V 在银行套件发生的全部 3 起泄露均为 update_password（无收款人字段导致静默放行，属于超出 ODD 漏洞）；在其他套件上因合法目标不在静态白名单内导致防御无收益。

受害者模型泛化与跨模型攻击检验

• 测了什么：在本地 Meta Llama 3.1 8B 上重跑静态攻击套件（n=30 恶意 + 20 良性），并在 AgentDojo 银行子集（n=96）上测试 Kimi (k2.6)。
• 实验结果：在 Llama 8B 上，ND 的 ASR 为 0.253（顺从率 0.328），N 栈 ASR 为 0.000（顺从率 0.014，良性 0.000），V 栈 ASR 为 0.000（顺从率 0.317，良性 1.000）；以 DeepSeek 攻击 Llama 8B 达成 0.000 ASR；在 Kimi 上，V 栈 ASR 为 0.0%（效用 65.6%），N 栈 ASR 为 0.0%（效用 50.0%），ND ASR 为 4.2%（据 Section 6.4 及 Appendix A.4）。
• 作者的解读：作者认为基线顺从率具有模型依赖性（Llama 8B 比 DeepSeek 表现出更低顺从率），且提示词硬化的抑制程度也因模型而异，表明行为抵抗属于模型运气；而 V 栈的结构性保证在多个受害者模型上均成立。

其他消融与分析

• 随机种子稳定性：V、N、ND 进行 3 次重复运行，顺从率标准差约 0.005，ASR 与良性成功率标准差为 0.000（据 Section 6.3）。
• 跨测试集攻击面硬度对比：无防御 ASR 在自建测试集为 33.3%、AgentDojo 银行为 4.3%、JADE MCP 实例为 87.5%（n=16）；N 栈 ASR 依次漂移为 0.000、0.019、0.062，V 栈 ASR 分别为 0.000、0.005、0.000（据 Section 6.5 及 Appendix A.3）。
• AgentDojo 攻击家族分解：无防御 4.3% ASR 中，direct 占 19/25（13.2%）、system_message 占 5/25（3.5%）、injecagent 占 1/25（0.7%）、ignore_previous 为 0.0%（被 DeepSeek 识别拒答）（据 Appendix A.4）。
• 旅行套件门禁变体消融：模式与字段补全（A）工具层攻击剩余 1 起、效用 72.0%；故障安全默认（Cfail）工具层攻击为 0 但阻断 967 次调用导致效用降至 54.6%；意图锚点（D3）工具层攻击为 0、效用 66.6%（据 Appendix A.6）。
• 评判者句法与语义一致性分析：在 30 轮评估中，8B 模型出现 21 次池外 ID 幻觉，14B 模型降至 0/30；但算术不一致比例从 8B 的 33% 升至 14B 的 40%，且存在单轮剔除全池（54/54）的过度校准失败（据 Appendix A.7）。

负面结果与例外

• 在 AgentDojo 全量银行套件上，V 栈发生 3 起泄露（ASR 0.5%），均为 update_password 调用，因门禁规则仅比对收款人字段，而密码修改无目标字段导致静默放行（据 Section 6.5）。
• 在 AgentDojo 旅行、工作区和 Slack 套件中，V 栈未能带来超越无防御基线的统计增益，在 Slack（8.81% vs 7.86%）与工作区（0.42% vs 0.31%）的点估计甚至略高于基线（据 Appendix A.4）。
• 对齐的跨家族攻击模型（Kimi、Llama 8B）拒绝担任红队攻击角色，给出明确拒答或净化重写，导致跨家族自适应测试无法全部展开（据 Section 6.2 及 9）。

作者指出的局限与后续方向

• 受害者与攻击者模型覆盖：主实验主要依赖 DeepSeek-chat，仅补充了 Llama 3.1 8B 与 Kimi，对齐攻击模型拒绝参与，缺乏较弱对齐的攻击者及基于梯度的 token 级优化（GCG）变体评估（出自 Section 9 第 1 条）。
• 自建测试集的局限：自建测试集的场景、防御和沙箱均为自研，行为盲点（隐蔽执行，TPR 0.60）虽被 LITMUS 独立复现，但未直接运行 LITMUS 测试环境（出自 Section 9 第 2 条）。
• 攻击与良性场景覆盖范围：仅包含 12 种攻击变体加自适应/白盒/PAIR，缺少 token 级优化；良性场景仅 20 个（出自 Section 9 第 3 条）。
• 分类评定者与预测样本：VAL 分类仅在同家族 LLM 评定者间进行盲审验证，未测试人类评定者；预测命中基于小样本（出自 Section 9 第 4 条）。
• AgentDojo 运行中的测量误差：官方状态检查漏判 11 起工具层攻击；主实验仅对 security=1 单元盲审；V 的任务级追踪日志因目录竞争丢失仅保留汇总数；温度为 0.0 下输出层计数有 ±2 波动；白名单单次读取且依赖字段枚举（出自 Section 9 第 5 条）。
• 缺乏与既有结构性防御的同台测试：对 CaMeL 和 PPMF 仅引用其发表数字，未在相同测试环境重新运行，全面对比每种结构性防御留待未来工作（出自 Section 9 第 6 条）。

实验覆盖范围

• 受害者模型实际覆盖：共测试 3 个模型，主实验使用 DeepSeek-chat，本地测试使用 Meta Llama 3.1 8B，基准子集测试使用 Kimi (k2.6)。
• 测试场景与数据集：覆盖自建 50 个场景（30 恶意 + 20 良性）、AgentDojo 四个套件（银行 576 例、旅行 560 例、工作区 960 例、Slack 420 例）以及 JADE 16 个 MCP 实例。
• 攻击变体与升级轮数：覆盖 8 个自建变体与 4 个 AgentDojo 载荷共 12 种攻击，自适应与白盒攻击测试 3 轮，升级追踪 Z(α) 测试 7 轮（每轮 30 例）。
• 分类机制覆盖：共对 22 种智能体安全防御进行了 VAL 协议等级评定。
• 未报告信息：论文未报告人类对防御分类的复核一致性，亦未在相同测试环境中复现 CaMeL 或 PPMF 的端到端实验对比。

• 一句话定位：论文应用验证自主权等级（VAL）剖析 LLM 智能体防御，揭示表面相同的 0.000 ASR 背后的结构保证与行为运气之别。
• 要解决的问题：现有智能体防御缺乏解释其保证来源的统一坐标轴，经验测试下的零成功率无法预示防御在面对新攻击或不同环境时的真实效力。
• 方法要点：依据规范来源将防御划分为 L0（模型自声明）至 L5（通用完备），主张锚点决定防御失效边界；在同等预算下构建由确认门（L1/L2）与参数沙箱（L3）构成的 VAL 结构栈，对比提示词硬化（L0）与关键词过滤（L1）构成的直觉栈。
• 核心实验结果：在自建测试集上，VAL 栈实现 0.000 ASR 并保持 1.000 良性成功率，直觉栈虽同获 0.000 ASR 但良性成功率降为 0.000（两者差异在 p < 0.001 下显著）；在 AgentDojo 银行套件上，VAL 栈将 ASR 降至 0.5%（无防御为 4.3%），直觉栈 ASR 漂移至 1.9%；在 7 轮升级攻击中，确认门即使被诱导顺从 83.3% 仍实现完全阻断。
• 作者结论与启示：作者认为零攻击成功率只是测试结果而非理论保证，直觉防御依赖模型情绪且极易破坏实用性，而智能体安全的有效防线在于限制动作空间的结构隔离（L3）而非开放语义判断。