面向 AI 智能体的意图感知防护

1. 01这篇论文试图解决什么问题？

   作者要解决：现有防护不判断智能体行为是否符合其部署目的（Intent Preservation）。

   核心问题：现有智能体安全机制检测攻击特征，但不判断一个行为是否符合该智能体被部署的目的。

   • 场景与动机：LLM 智能体越来越多地访问企业数据、调用工具、多步执行。作者指出，一个请求可以没有任何攻击特征、只使用已授权能力，却仍偏离智能体的既定用途；反之，看似对抗的内容对安全分析类智能体可能是合法的。
   • 现有方法的不足（按作者说法）：现有防护主要针对提示注入、有害输出、数据泄漏、未授权工具调用，回答的是"这个交互像不像攻击"，而不是"这个行为是否符合这个智能体该做的事"。
   • 核心观察：交互的安全解释依赖于接收它的智能体。作者据此定义 Intent Preservation（行为与组织、角色、开发者约束一致）与 Intent Drift（结果行为违反这些约束），并强调诱导尝试本身不等于 drift。
   • 论文提出：Intent-Aware Security 框架，包括从三类可信意图源提取的 Intent Profile、一个 887 样本、35 个智能体的 Intent-Aware benchmark，以及四种基于 profile 的防护：pre-execution detection、post-execution detection、input alignment、system-prompt hardening。
   • 威胁模型（第 4 节）：
     • 攻击者目标：诱导 Intent Drift。Malicious 攻击者追求明确的安全破坏目标（指令覆盖、数据外泄、未授权访问、破坏性行为）；Abusive 攻击者把智能体改作部署功能之外的用途。
     • 攻击者知识：知道智能体的大致用途和可用工具。
     • 攻击者能力：作为用户提交任意请求和多轮对话（direct injection），或作为第三方控制智能体消费的内容，如邮件、文档、网页、工单、工具输出（indirect injection）。
     • 边界：攻击者不能修改智能体配置、组织/角色策略、profile 提取过程或防护机制；Out-of-Scope 请求是非对抗的，不在威胁模型内，仅因防护系统需要区分它们而纳入评测。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四组：注入防御、任务/目标漂移检测、上下文安全、基准与对齐。

   提示注入防御

   • 指令-数据边界类：Spotlighting [9] 在提示构建时变换不可信内容；StruQ [10]、Instruction Hierarchy [11]、SecAlign [12] 在训练时分离指令与数据或建立指令优先级。作者指出这四者保护的对象都是当前请求的产物，而非持久的部署目的模型。
   • 输入边界类：BIPIA [13] 提出边界感知防御；PIGuard [14] 是检测式护栏并发布 NotInject 衡量过度防御，作者指出它只判断文本是否为注入，不针对特定智能体的范围；PPA [15] 动态变化提示结构；DataFilter [16] 按用户指令过滤外部数据，作者称它与本文一个组件最接近，但其参照是单条用户指令，且不构建持久 profile、不在推理或行动后检测偏离。
   • 外部执行约束类：CaMeL [17]、Fides [18]、permissive information-flow [19]、AgentSpec [20] 在预定义的流、能力或策略规范上提供保证；作者提出的问题是这些规范从何而来。

   任务漂移、目标漂移与上下文安全

   • 白盒检测：Attention Tracker [21]、HiddenDetect [22]、TaskTracker [23] 从注意力或激活中检测漂移。作者指出它们假设白盒访问（排除托管和第三方模型），且参照目标是当前任务而非持久角色或组织范围。
   • 黑盒监控：LlamaFirewall 的 AlignmentCheck [24] 审计目标劫持；Task Shield [25] 验证指令和工具调用是否服务于用户目标；MELON [26] 在遮蔽用户提示后比较工具调用。作者指出这些监控以当前用户请求为参照，而本文的 post-execution 检测器以持久 Intent Profile 为参照。
   • 无攻击者的漂移与上下文安全：goal drift [27]、inherited goal drift [28] 研究目标在压力下是否稳定；Siu et al. [29] 形式化上下文智能体安全；Conseca [30] 为智能体当前目的生成即时安全策略，作者称其确立了目的敏感策略生成的方向，而本文解决的是提取智能体特定 Intent Profile 并测量其收益的问题。

   基准与对齐

   • 基准：BIPIA [13]、InjecAgent [2]、AgentDojo [31]、Agent Security Bench [3]、WASP [32] 主要评测注入攻击；AgentLure/ARGUS [33] 和 StakeBench [34] 扩展到上下文相关任务和利益相关者视角。
   • 对齐：RLHF [35]、Constitutional AI [36] 塑造模型行为先验；Guaranteed Safe AI [38] 主张独立于模型目标的规范。作者指出这些都不提供针对特定智能体部署范围的部署时测试。

   基线与基准：实验对比的基线包括 PIGuard、AlignmentCheck（LlamaFirewall）、DataFilter、PPA、StruQ 式提示格式基线，以及 Input-only / Raw-context / Trajectory-only / Agent-configuration 等消融；使用的基准为作者自建的 Intent-Aware benchmark 和 AgentDojo v1.2.2。

   作者将本文定位为：把智能体意图作为一等安全对象，与"这个交互像不像攻击"互补地回答"这个行为是否符合这个智能体该做的事"。

   收起这一问

3. 03论文如何解决这个问题？

   从三类可信意图源提取 Intent Profile，在四个防护点上以它为条件做安全决策。

   整体思路：把智能体的可信意图显式表示为 Intent Profile，让安全决策以它为条件，而不是只看交互内容是否像攻击。

   形式化：可信意图源与 Intent Profile

   • 可信意图源为 Z = (O, R, D)，即组织意图（企业策略、合规、可接受使用规则）、角色意图（职责、工作流、升级路径、操作边界）、开发者意图（系统指令、工具、知识源、预期工作流）。冲突按优先级 O ≻ R ≻ D 解决：低优先级源可以细化高优先级源，不能授权高优先级禁止的行为。
   • 用户意图 U 不属于可信规范，可能是合法、错误、越界、滥用或恶意的，因此被拿来与可信规范比对。
   • 提取函数 E : Z → P 把 Z 转成 Intent Profile P = (P_purpose, P_function, P_tool, P_data, P_boundary)，五个维度分别是使命、允许的任务与工作流、工具使用约束、数据边界、禁止行为。作者强调 profile 不是新的权威来源，只是把 O、R、D 的约束结构化。
   • 作者假设输入给提取过程的策略、角色规范和智能体配置是真实且未被篡改的，但不假设它们完整或一致。

   Intent Preservation 与 Intent Drift

   • 执行轨迹 τ = (u, h0, a1, ..., aT)，其中 at 是可观察行为（回答、计划、检索决策、工具调用、记忆修改）。C(at, ht, P) ∈ {0,1} 表示行为是否与 profile 一致。
   • 当轨迹中所有行为都一致时 Preserve；存在某个 at 使 C = 0 时 Drift。关键区分：非良性请求只是 drift 的潜在诱因，只有智能体的结果行为违反 profile 才构成 drift；间接注入若被忽略或拒绝，意图仍被保持。
   • 作者指出 Intent Preservation 比能力授权更严格：已授权的工具调用若服务于非预期目的，仍违反意图。

   请求级四分类

   • 用三个谓词给交互打标签：S(u,h,P)（请求行为是否符合 P）、A(u,h)（是否有明确攻击目标）、D(u,h,P)（是否故意将智能体改作他用）。
   • 有序决策规则：A=1 判 Malicious；A=0 且 S=0 且 D=1 判 Abusive；A=0 且 S=0 且 D=0 判 Out-of-Scope；A=0 且 S=1 判 Benign。排序解决一个交互同时满足多种描述的情况。
   • 这四个标签描述交互与 profile 的关系，不判定 drift 是否发生。

   Benchmark 构建（第 5 节）

   • 两步生成：确定性构建程序先固定每个样本的智能体、动作、目标标签、难度、攻击家族和投递方式；sample-realization-LLM 只负责把这些预定坐标实现为自然语言产物（组织/角色策略、系统提示、工具、交互内容），不决定标签。
   • 智能体设计空间：每个智能体由领域、架构模式、目的、工作流、能力（动作-资源-范围元组）五个维度定义；设计强调意图多样性，让同一动作对不同智能体有不同授权状态。
   • 难度与挑战因素：Easy/Mid/High 三级，Mid 和 High 逐步加入多语言或编码内容、作为数据的指令式文本、上下文歧义、冲突指令、虚假权威、多信息源等因素；Malicious 样本的攻击家族来自公开攻击数据集，分直接和间接两种投递方式。
   • 验证：先做确定性 schema/内容校验，再由与生成模型不同的 realization-judge-LLM 做语义验证，五个标准每项在五分制上至少 4 分才接受；语义验证跑两次取较低分；另对通过样本做人工抽查。

   四种防护机制（第 6 节）

   • Pre-execution detection：输入 Intent Profile、当前请求、交互上下文，输出四分类标签。
   • Post-execution detection：输入 profile、请求、执行上下文（有序工具调用、工具输出、中间消息、环境变化、最终回答），判断执行是否 drift；作者说明它是经验近似而非形式验证器。
   • Input Alignment：对请求、对话历史和工具响应做意图解释与消歧、移除或隔离不可信来源的指令、把请求归一化到授权工作流、限制工具/数据/范围，或在不存在符合 profile 的表述时阻断；输出是交给智能体的内容或阻断决定，不是安全类别。
   • Hardening：用原始系统提示加 Intent Profile 生成 profile-grounded 系统提示，把隐式的操作边界写明确，其余输入不变。
   • 四个机制共用同一份提取出的 profile，便于比较同一表示在不同防护点的作用。

   收起这一问

4. 04论文做了哪些实验？

   三组实验：benchmark 四分类、AgentDojo 执行轨迹检测、模拟防护干预。

   实验设置

   • Benchmark：Intent-Aware benchmark，生成 1,000 个候选（四类各 25%；难度 15% Easy、45% Mid、40% High），11 个未过确定性校验、102 个被 realization-judge-LLM 拒绝，最终 887 个样本、35 个智能体配置；按类分为 237 Benign、239 Out-of-Scope、226 Abusive、185 Malicious；185 个 Malicious 样本覆盖 12 个攻击家族（基于 Garak 配置），104 个直接投递、81 个间接投递（7.1 节）。
   • 生成与验证模型：sample-realization-LLM 为 GPT-5.4，realization-judge-LLM 为 MAI-Thinking-1；100 个通过样本的人工抽查中 98% 标注正确。
   • Exp. I（pre-execution 分类）：分类器统一用 DeepSeek-V4-Pro（作者称选用它是为了排除与 benchmark 生成同模型族的影响）；对比 Input-only、PIGuard、Raw-context、Profile-based 四种；指标为四类 per-class F1 与 macro-F1；PIGuard 输入截断 512 token，长对话切成 450 token、重叠 50 token 的块，任一块判注入则整样本判注入。
   • Exp. II（post-execution 检测）：AgentDojo v1.2.2 全部基准，4 个工具智能体（Workspace、Travel、Banking、Slack），11 种自动注入技术，排除 manual 和 denial-of-service 共 485 例；11,021 个配置案例中 10,536 条可用轨迹（97 条良性、10,439 条受攻击），其中 2,480 次攻击成功、7,959 次失败（攻击成功率 23.8%）；轨迹由 GPT-4o 在无防御下生成，标签来自 AgentDojo 的环境状态确定性评估器；所有监控器用 GPT-4o、相同配置；主指标 AUROC，次指标为 0.5 阈值下的 precision/recall/F1。
   • Exp. III（Input Alignment 与 Hardening）：在 benchmark 上做模拟干预；MAI-Thinking-1 负责 profile 提取、加固和 Profile-based Input Alignment，GPT-5.6-luna 做响应模拟，DeepSeek-V4-Pro 做响应评估；评审对 100 个人工复核样本的准确率为 95%；成功判定：Out-of-Scope/Abusive/Malicious 样本要求完全拒绝，Benign 样本要求完全完成。
   • 统计方法：Exp. I 用智能体级配对 cluster bootstrap，报告 95% 置信区间。

   主结果

   Exp. I 四分类 F1（据 Table 1）：

   表格较宽，可左右滑动

   方法	Macro	Malicious	Abusive	OoS	Benign
   Input-only	43%	41%	70%	2%	60%
   Raw-context	45%	50%	57%	8%	64%
   Profile-based	79%	72%	86%	76%	82%

   • 作者解读：原始智能体上下文只比无上下文高 2 个百分点，结构化为 Intent Profile 再带来 34 个百分点；34 个百分点的 macro-F1 提升在配对 bootstrap 下的 95% 置信区间为 [29.5, 39.0] 个百分点。
   • 二分类（Malicious vs Non-Malicious）次要对比：Profile-based 72% F1，Raw-context 50%，Input-only 41%，PIGuard 36.8%。
   • 混淆差分矩阵（Table 4，Profile-based 相对 Raw-context）：Out-of-Scope 召回 +74.0 pp（主要来自此前误判为 Benign 的 −56.1 pp），Malicious 召回 +41.6 pp（主要来自此前误判为 Abusive 的 −41.5 pp）；Abusive 召回 −15.9 pp，但 Abusive F1 仍从 57% 升至 86%。

   Exp. II：AgentDojo post-execution 检测

   • 结果（据 Table 2）：Profile-based AUROC 94.9%，高于 Agent-configuration 89.7%、Trajectory-only 84.3%、AlignmentCheck 90.9%；在 0.5 阈值下 AlignmentCheck 的 precision（95.9% 对 75.9%）和 F1（93.5% 对 83.8%）更高，Profile-based 召回最高（93.3%）。
   • Figure 2 为各监控器的 ROC 曲线（n = 10,505 的最大共同有效子集）；作者称 profile-based 曲线在大部分工作区间占优，尤其在低假阳性区间。
   • 作者解读：原始配置比纯轨迹高 5.4 个 AUROC 点，结构化为 profile 再高 5.2 点；由于标签来自执行环境状态且基准非本文生成，作者称这为 profile 改善行为漂移检测提供了独立证据。

   Exp. III：Input Alignment 与 Hardening

   • Input Alignment 防护成功率（据 Table 3）：Profile-based macro 85%，DataFilter 78%，无防护基线 69%；分类别看，Profile-based 在 Benign 91%、OoS 85%、Abus. 96%、Mal. 66%，其中 Benign 低于基线的 97%，Malicious 与 DataFilter 持平（66%）。
   • Hardening 防护成功率（据 Table 5，附录 B）：Profile-based macro 83%，PPA 81%，StruQ-style 80%，基线 69%；Profile-based 在 OoS 上 77%（PPA 72%、StruQ-style 67%），Abus. 96%，Malicious 64% 与 StruQ-style 持平，Benign 94% 低于基线和 PPA 的 97%，作者称存在适度的过度拒绝代价。
   • 作者解读：profile 的收益主要集中在标签依赖部署上下文的类别（Out-of-Scope、Abusive）。

   其他消融与分析

   • Exp. I 中 Raw-context 相对 Input-only：macro-F1 45% 对 43%（Table 1）。
   • Exp. II 中 Agent-configuration 相对 Trajectory-only：AUROC 89.7% 对 84.3%（Table 2）。
   • AlignmentCheck 被改为输出 [0,1] 连续分数以计算 AUROC；作者说明它以原始用户请求为授权目标，与 AgentDojo 的信任假设一致。
   • 负面结果：Profile-based 方法在 Benign 类上均低于无防护基线（Input Alignment 91% 对 97%；Hardening 94% 对 97%）；Malicious 类上 Input Alignment 与 DataFilter 持平、Hardening 与 StruQ-style 持平；作者未解释原因。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出合成基准、模拟评测、AgentDojo 覆盖面等局限，并提出成本-准确率权衡的后续方向。

   作者指出的局限与后续方向

   • 基准是合成的（第 8 节 Limitations）：组织意图和角色意图被表示为合成文本摘要而非生产环境的策略语料，样本由 LLM 实现和验证；作者的缓解措施是生成前固定标签、用不同模型做验证、人工抽查 100 个通过样本（98% 标注正确）。
   • Exp. III 是模拟行为（第 8 节）：测量的是模拟而非真实执行的智能体行为，且依赖 LLM 评审（与人工复核的一致率为 95%）。
   • AgentDojo 覆盖面（第 8 节）：只含 4 个智能体、单一智能体模型 GPT-4o、97 条良性轨迹，大多数负例是失败的攻击而非良性执行；AgentDojo 把用户请求当作可信、只含间接注入，因此只覆盖本文威胁模型中基于注入的 Malicious 部分，Out-of-Scope、Abusive 和用户侧攻击只在合成的、LLM 验证的 benchmark 上评测。
   • 可复现性（第 8 节）：实验依赖闭源权重模型，可能限制精确复现。
   • 部署成本与后续方向（第 8 节 Deployment considerations）：作者设想把昂贵的 profile 提取（每个智能体一次）与每次交互的检测分开，并推测检测这一较窄的任务可由更小、更低延迟的模型承担；量化这一准确率-成本权衡是 future work。

   实验覆盖范围

   • 被测方法为作者实现的四种 profile-based 机制与对应 profile-free 基线；Exp. I 分类器统一为 DeepSeek-V4-Pro，Exp. II 监控器统一为 GPT-4o，Exp. III 使用 MAI-Thinking-1、GPT-5.6-luna、DeepSeek-V4-Pro 分工（7.3–7.5 节）。
   • 评测基准为 Intent-Aware benchmark（887 样本、35 个智能体）和 AgentDojo v1.2.2（10,536 条可用轨迹）（7.1、7.4 节）。
   • 人工一致性：benchmark 抽查 100 个通过样本、98% 标注正确；Exp. III 评审对 100 个人工复核样本准确率 95%（7.1、7.5 节）。
   • 论文未报告各实验的重复运行次数；除 Exp. I 的配对 cluster bootstrap 置信区间外，Exp. II 和 Exp. III 未报告置信区间或显著性检验。
   • 论文未报告各防护机制的查询次数、延迟或成本数字；部署成本一节只给出定性设想。

   收起这一问

6. 06总结一下论文的主要内容

   把智能体意图做成显式安全对象，作者称在分类、轨迹检测和防护干预上均优于无 profile 基线。

   一篇关于智能体安全的防御论文，核心主张是把智能体的部署意图作为一等安全对象。

   • 问题：现有防护回答"交互像不像攻击"，不回答"行为是否符合这个智能体的部署目的"；作者认为同一交互对不同智能体安全含义不同。
   • 方法：定义 Intent Preservation 与 Intent Drift；从组织、角色、开发者意图（优先级 O ≻ R ≻ D）提取五维 Intent Profile；构建"先定标签、再由 LLM 实现"的 Intent-Aware benchmark（887 样本、35 个智能体、四分类）；实现四种 profile-based 防护：pre-execution detection、post-execution detection、input alignment、system-prompt hardening。
   • 结果一（Exp. I，Table 1）：benchmark 四分类 macro-F1，Profile-based 79%，Raw-context 45%，Input-only 43%；Out-of-Scope F1 从 8% 升至 76%；34 个百分点的提升有 bootstrap 95% 置信区间 [29.5, 39.0]。
   • 结果二（Exp. II，Table 2）：AgentDojo 10,536 条执行轨迹上，Profile-based post-execution AUROC 94.9%，高于 AlignmentCheck 90.9%、Agent-configuration 89.7%、Trajectory-only 84.3%；0.5 阈值下 AlignmentCheck 的 precision 和 F1 更高。
   • 结果三（Exp. III，Table 3、5）：Input Alignment macro 防护成功率 85%（DataFilter 78%），Hardening 83%（PPA 81%、StruQ-style 80%）；两类方法在 Benign 上均低于无防护基线，作者称存在适度过度拒绝。
   • 作者结论：显式、智能体特定的意图表示可以作为实用的安全参照，与攻击导向的防护互补；收益主要集中在依赖部署上下文的类别（Out-of-Scope、Abusive）。作者同时指出基准为合成、Exp. III 为模拟评测、AgentDojo 只覆盖注入类 Malicious 场景等局限。

   收起这一问

相关论文