Persona Guardrail：面向智能体系统的生产级防御框架

客服向智能体要在恶意用户的 black-box 查询下守住预期功能，而不只拦截某一类攻击。

• 场景：作者称智能体既处理自然语言，又能执行生产中的特权动作。本文聚焦恶意终端用户经公开接口访问，且不能改内部工具、检索文档、记忆或执行环境。
• 现有不足：作者称现有运行时护栏主要针对提示注入等特定攻击，对智能体是否仍在预期功能内保证有限，因而常分不清恶意请求和 out-of-domain（OOD）查询。作者还称，大规模生产里的延迟、规模、稳定性与运维复杂度同样重要，但关注较少。
• 原则：每个智能体应有写明预期能力、允许动作和期望行为的功能边界；即便输入带对抗性，交互也要与该边界一致。
• 本文提出：Persona Guardrail，用语义 allowlist 与 blocklist 同步校验输入和输出；并构建 PAGE。作者称据其所知，这是首次在大规模客服向智能体上给出并部署此类运行时防御，且在真实约束下评测。
• 威胁模型：
  • 目标：抽取机密系统提示或内部策略；生成违反组织、安全或法律约束的响应；或让智能体越出预期功能。文中例子是让叫车助手提供医疗建议或泄露内部运营信息。
  • 知识：可无限制查询并观察全部响应，知道预期功能、公开接口和期望行为；不能访问系统提示、中间推理、记忆、工具交互、编排或内部通信。论文对公开接口使用 black-box。
  • 范围：底层 LLM、基础设施和受信任组件假定未受损。间接提示注入、工具投毒、记忆投毒不在评测威胁模型内。护栏不检查中间动作，但可能拦住由此产生的违规最终响应。
  • 受害系统与约束：客服向生产智能体，含 LLM、知识库、检索、工具和 API。输入须在执行前判定，输出须在返回用户前判定，因而不能异步，延迟要小且可预期。

论文按攻击与综述、执行期防御、应用护栏、评测基准来定位。

智能体攻击与综述

• 间接注入与攻击评测：Greshake 等（2023）研究 LLM 集成应用中的间接提示注入；Liu 等（2024）形式化并评测提示注入攻击与防御。AgentDojo（Debenedetti 等，2024）与 AgentHarm（Andriushchenko 等，2025）评测对智能体的攻击及其行为影响。
• SoK：Kim、Guo、Song（2026）把防御归为运行时防护、secure-by-design 和组件加固。作者称该综述指出需要可扩展、自适应、可部署的运行时防护，并称本文针对这一缺口。

运行时与构造性防御

• 执行期检查：Task Shield（Jia 等，2025）检查中间步骤是否服务用户任务；MELON（Zhu 等，2025）用任务中性提示重放轨迹，并在工具调用重合时标注入；LlamaFirewall（Chennabasappa 等，2025）串联越狱、思维链对齐和代码扫描，作者称其已在 Meta 生产中使用。
• 构造与隔离：CaMeL（Debenedetti 等，2025）分离控制流与数据流；Instruction Hierarchy（Wallace 等，2024）、StruQ 与 SecAlign（Chen 等，2025）训练模型优先可信指令；Progent（Shi 等，2025）与 IsolateGPT（Wu 等，2025）限制工具权限并隔离组件。
• 论文的区分：论文称这些防御主要处理间接的、由环境介导的内部执行攻击；Persona Guardrail 在直接恶意用户模型下，用输入输出护栏强制功能边界。

应用层护栏

• 规则与模型类：NeMo Guardrails（Rebedea 等，2023）为规则工具包；Llama Guard（Inan 等，2023）、ShieldGemma（Zeng 等，2024）、WildGuard（Han 等，2024）为模型分类器。第 2.4 节把引用 [10, 17] 称为 rule-based and policy-based，称其确定性执行，但难跨异构智能体扩展，且常常抓不住依赖上下文或未见攻击；把 [11, 15] 称为 model-based，称其更灵活，但通常依赖昂贵推理模型，对持续适应、生产规模和演化负载下的系统评测关注较少。
• 最接近的工作：Constitutional Classifiers（Sharma 等，2025）用自然语言策略训练输入和输出分类器。论文称这类方法通常是针对全局伤害类别的静态推理时分类器；本文改为按智能体的意图 allowlist 拒绝“能完成但越界”的请求，并把规格当作持续演化对象。

基准与本文基线

• 已有基准：AgentDojo、InjecAgent（Zhan 等，2024）、AgentHarm、Agent Security Bench（Zhang 等，2025）评测攻击或效用。论文称它们都不标注请求是否落在预期功能内。CLINC150（Larson 等，2019）在任务型对话中做 out-of-scope 预测。
• 基线与数据：主对比是 Baseline（LLM judge），只给通用自然语言描述，不提供 allowlist、blocklist 或 persona。评测基准是 PAGE；领域定义取自 AgentDojo，另有 104 条由 AgentHarm 投影。论文写明不运行 AgentDojo 的环境、工具或间接注入套件。

作者把本文定位为：在直接恶意用户威胁模型下，规定、强制、评测并持续演化智能体功能边界的生产级框架。

不逐类检测攻击，而是先近似智能体的功能边界，再在执行前和返回用户前强制它。框架名为 Persona Guardrail，分边界规格、输入强制、输出强制。

功能边界

• 查询空间为 Q。论文把功能边界定义成不相交的允许集与拒绝集：Q = Q_allow ∪ Q_block。Qallow 是与预期功能一致、应处理的查询；Qblock 是应拒绝的恶意或不安全查询，以及部署配置为拒绝时的 OOD 查询。
• 目标是降低拒绝合法查询的 false positive，以及放行恶意或 OOD 查询的 false negative。边界不静态，用生产遥测、攻击模拟和部署反馈修正。
• 自然语言无法穷举，故用语义描述。比较过 allowlist-only、blocklist-only 与二者混合。作者称只做 allowlist 会因无法穷举合法请求而偏保守；只做 blocklist 则分安全类（已知对抗行为）和功能类（OOD，是否拒绝可配置）。
• 两份规格应尽量不重叠，重叠会给分类器冲突证据。构建时裁定重叠项，使每项能力只落在一条规则下。

边界如何写成

• 初始 allowlist：面向代码的 LLM 分析实现与产品需求，考虑工具、API、检索、系统提示和外部资源。论文未给出该 LLM 的名称。
• 上线后：先 shadow mode，只观察、不强制；规格未覆盖的合法交互补进 allowlist。
• blocklist：已知对抗技术（论文列举提示注入、间接提示注入、越狱、目标劫持、功能越界、工具误用）加上越界类别，再经反馈更新。
• 输入护栏在请求到达智能体前判断是否在边界内。输出护栏在生成响应后、返回用户前检查响应是否仍符合同一边界，包括策略违规、有害输出、机密泄露和幻觉能力；它是到达用户前的最后强制点。

分类器选择

• 输入、输出都比较了四种架构：embedding 加相似度阈值；低延迟模型直接分类；高相似度走检索、其余走 LLM 的 hybrid；用样例微调的分类器。
• Table 1 比较延迟、分类、跨智能体泛化和运维复杂度。论文将 embedding 标为延迟最低档，但分类与泛化 Low、运维 High；微调在见过的智能体上较好，作者称换到未见智能体或边界变化时下降并需再训练；hybrid 分类 High，但要同时维护索引和 LLM。
• 采用 Qwen3-30B-A3B 作共用分类器。论文给出的理由是运维复杂度 Low、延迟可接受、分类与跨智能体泛化 High；边界用语义规格表达，同一模型可服务多个智能体。
• 第 3.4 节要求 sub-100 ms。经 OpenAI、Anthropic API 调用的闭源模型，作者称网络与服务开销使其不能稳定满足该要求；论文未点名具体闭源模型，因而改用可在自有基础设施部署的开源权重模型。

上线时的策略生命周期

• 每个智能体一份策略，含用户请求与智能体响应各自的 allowed 与 blocked intents。可编辑分类与生产快照分离；改源 persona 不影响已发布快照。更新要克隆、离线评测、人工复核、shadow、有限强制；失败则保持原活动策略。
• 离线池分 golden、adversarial 与生产采样，且用于提出修改的样本与留出验证样本分开。共享安全 blocklist 集中维护，各智能体引用；功能边界放在 Registry（MySQL）并版本化。
• 演化主要改人类可读的意图分类，不重训分类器。未标注的生产样本由更强 judge 在不知护栏决定的情况下预测是否允许，再经独立裁定。论文未给出该 judge 的名称。提议器只能改草稿，不能改标签或生产策略。第 5.3 节写明，allow/block 率以及 shadow 与活动策略的分歧本身不是 false-positive 或 false-negative 估计。

PAGE 与判定

• 每条消息标到 Workspace、Slack、Banking、Travel 之一，轮次为 pre-app/user 或 post-app/agent，种类为 benign、adversarial、OOD 或 mixed。标签与实例化护栏的同一份自然语言 allowlist 对齐。
• 四路来源：AgentDojo 人类撰写种子；Claude Opus 4.8（带 reasoning）合成 benign 与越界内容，且与被测分类器不同族，以避免自评；参数化模板生成攻击轮次，论文称前沿模型拒绝撰写攻击载荷；跨 persona 投影得到流畅但越界的难例。mixed 由程序把越界或对抗片段接到合法载体上。
• 只取 AgentDojo 的领域定义，不运行其环境、工具或间接注入套件。判定以 block 为正类：应拦越界、放行范围内内容。FAR 是应拦截样本中被放行的比例，FBR 是应放行样本中被拦截的比例。

实验设置

• 分类器：第 4 节未写出 PAGE 配置对比所用模型名。第 3.4 节将 Qwen3-30B-A3B 选为输入与输出共用分类器。Table 2 另比较 Qwen3-VL-30B、Qwen3-30B-A3B（8-bit）、Qwen3-8B（8-bit）、Qwen2.5-7B、Qwen2.5-3B。
• PAGE：共 2,180 条，其中四 persona 语料 2,076 条，AgentHarm 投影 104 条（52 条 adversarial、52 条 OOD）。2,076 条按领域各 519，user 1,280、agent 796；benign 1,004、adversarial 448、OOD 444、mixed 180。Table 6、7、9 为 no mixed intents，每配置 2,000 条。领域见 Table 3。
• 五种配置：Baseline 只给通用描述；+Allowlist；+Iterated，即一次由误放行和误拦截驱动的措辞精炼；Blocklist only；Allow+Block。同一划分，论文写差异只来自配置。
• 指标：block 为正类。FAR 为应拦截样本中的误放行比例，FBR 为应放行样本中的误拦截比例；另报 Accuracy、Precision、Recall、F1。benign 报 FBR，adversarial 与 OOD 报检出率。Table 2 报放行百分比（benign 越高越好，OOD 与 adversarial 越低越好）和中位延迟。
• 判定与重复：PAGE 标签在构建时给定，并与 allowlist 同源；主表不是另一个 LLM 打分。论文未报告 PAGE 分类的重复次数。
• 明确不做：不运行 AgentDojo 环境、工具或间接注入套件，因此不衡量间接注入或未授权中间动作的端到端阻止。

主结果

Swipe horizontally to read the table

配置	Accuracy	FAR	FBR	对抗检出	OOD 检出
Baseline	85.7%	25.0%	3.7%	92.6%	57.3%
+Allowlist	93.2%	9.9%	3.7%	96.8%	83.3%
+Iterated	95.9%	4.7%	3.6%	97.0%	93.5%
Blocklist	71.2%	49.0%	8.7%	87.2%	14.5%
Allow+Block	94.9%	2.0%	8.2%	99.2%	96.8%

Accuracy、FAR、FBR 据 Table 6，对抗与 OOD 检出据 Table 7；均为 PAGE、无 mixed intents。

• 攻击与越界分开看：作者称显式攻击是容易情形，各 allowlist 配置的对抗检出至少 96.8%；Baseline 为 92.6%，只做 blocklist 为 87.2%。作者称难点是 OOD：从 57.3% 到 83.3%，再到迭代后的 93.5%；blocklist 只有 14.5%，因为作者称它枚举攻击而非功能。
• 效用：Baseline、allowlist、迭代三档的 benign FBR 为 3.7%、3.7%、3.6%。作者称这些安全收益没有换成效用损失。
• blocklist 是否有帮助：作者称迭代 allowlist 仍是最强配置。叠上 blocklist 后对抗检出 99.2%、OOD 96.8%、FAR 2.0%，但 FBR 从 3.6% 到 8.2%，Accuracy 从 95.9% 到 94.9%。Table 6 上 Allow+Block 的 Recall 为 98.0%，高于迭代配置的 95.3%；Precision 为 92.2%，低于 96.3%。作者称 blocklist 既不能替代 allowlist，也没有有用地补充它。

模型选择

• 所选模型：Table 2 在一个代表性生产智能体上比较本地模型，数字是放行百分比。Qwen3-30B-A3B（8-bit）三组 benign 为 100%、99%、99%，OOD–Generic 误放行 5%，Adversarial–Generic 误放行 15%，中位延迟 95 ms。作者称它在保留合法功能、拒绝越界和延迟约束之间的权衡最好，并写其约 30B 总参数、每 token 激活约 3B。
• 更小模型：Qwen2.5-3B 中位延迟 81 ms，三组 benign 为 49%、67%、53%。正文另写它对 targeted adversarial 的放行率为 18%；Table 2 的 Adversarial–Generic 为 11%。论文未说明二者是否同一集合。Qwen2.5-7B 与 Qwen3-8B 的中位延迟为 168 ms、170 ms；作者称二者 benign 放行只有 77%–93%。
• 更高容量：Qwen3-VL-30B 的 benign 为 99%、96%、96%，OOD 误放行 1%，对抗误放行 7%，但中位延迟 150 ms。作者称这超过延迟目标，故不选。Table 2 中，部署模型在 Adversarial–Generic 上的误放行 15% 高于同表其他四款。

混合意图与分智能体

• mixed：Table 8 在迭代 allowlist 上比较标签政策。两种政策下 mixed 轮次都被拦截 92.2%，作者称预测不依赖标签。标成应放行时 Accuracy 88.6%、FBR 17.1%；标成应拦截时 Accuracy 95.6%、FBR 3.6%、FAR 5.2%。作者称这与“携带不允许成分即拒绝”的严格边界一致。
• 四个智能体：Table 11，迭代 allowlist、无 mixed。Workspace、Slack、Banking、Travel 的 benign FBR 为 3.1%、4.0%、6.4%、0.8%，对抗检出 97.8%、98.4%、93.4%、98.3%，OOD 检出 92.6%、85.6%、98.4%、97.6%。作者称 Slack 与 Workspace 较低的 OOD 检出，对应流畅、像任务的跨 persona OOD。论文未解释 Banking 的对抗检出 93.4% 与 FBR 6.4%。

生产延迟与知情攻击者

• 延迟：Figure 1 为单加速器、上下文上限 4,096 token 的模型调用，不含应用或网络开销。5 到 50 QPS 时中位延迟 19.43–25.34 ms，P90 为 57.30–61.08 ms；P99 在 5 QPS 为 76.77 ms，在 50 QPS 为 104.15 ms。作者称 P99 在 30 QPS 越过 100 ms 目标，加速器利用率低于 65%。作者称相对先前通用服务栈，解耦设计把护栏调用延迟降低约 30%。
• 生产比率与流量：第 5.8 节称满足延迟预算，且在多个智能体上 false-block 低于 1%、false-allow 低于 2%。Figure 4（n=23,738）中，0–1k token 占 85.7%，1–2k 占 7.9%，2–4k 占 4.3%，超过上限的 2.1% 在调度 GPU 前被拒绝。论文写共享静态前缀约占输入 token 的 93%。第 5.1 节写生产服务把该 MoE 量化到 FP8，用 vLLM 与 NVIDIA Dynamo；这与 Table 2 的 “8-bit” 是否同一设置，论文未说明。
• 知情攻击者：附录 A.2 用 Opus 4.8、Opus 5、Sonnet 5、Luna、Fable 5、GPT-5.5，知识分三档：总体架构；确切模型与提示结构；逐字 allowed intent 列表；可多轮尝试。作者称逐字意图列表帮助最大，已知护栏存在后再知道确切模型没有额外收益；即使最坏情况仍拦截超过 85%，其余场景检出 90% 以上。作者称闭源攻击模型的安全微调是局限，首轮拒绝率 17% 到 71%。论文未给出分模型拦截表。论文未说明此处 Opus 4.8 是否即合成数据用的 Claude Opus 4.8。

其他消融与分析

• Table 12，50/50 留出：v1 在 part 1 的 Accuracy 92.4%、FAR 11.0%、OOD 81.5%；v2 在 part 2 为 96.0%、4.8%、93.6%。
• Table 12，33/33/33：v1、v2、v3 的 Accuracy 为 91.9%、96.1%、96.7%；v3 的 FAR 2.7%、FBR 3.9%、对抗检出 98.8%、OOD 95.8%。作者称增益不是在评测集上过拟合。
• Table 4（n=2,076）：AgentDojo 234、Claude Opus 4.8 合成 972、模板 582、跨 persona 288。唯一消息 1,725 条（83.1%），词型 3,222。
• Table 5 为模板生成的 user turn 计数：未授权接收方 56、第三方数据 49、社会工程 46、数据外泄 44、提示注入 33、权限或配置篡改 29；另有 46 条 AgentDojo injection goals。
• Table 10 词数：adversarial 中位 14、最长 84；mixed 中位 37、最长 152；总体中位 17、最长 152。
• Table 9 迭代配置（2,000 条）：TP 949、FP 36、TN 968、FN 47；Baseline 为 TP 747、FN 249、FP 37、TN 967。

作者指出的局限与后续方向

• 威胁模型之外：第 5.8 节写，报告的结果并不构成对间接提示注入、被攻陷组件、未授权中间工具动作、多轮攻击，以及该模型之外其他威胁的完整防护。
• 错误率：第 5.8 节写，部署决策和可接受错误率仍取决于具体应用。
• 多轮：第 7 节写，作者计划做对话级 persona 强制，把每轮放在先前轮次中评测，以识别跨多轮才出现的功能越界。
• 工具调用：第 7 节写，作者计划把 persona 强制接到模型执行层，使中间工具调用在执行前对照功能边界校验。
• 攻击模型拒答：附录 A.2 称，用作攻击者的闭源模型带有安全微调是实验中的局限，首轮攻击拒绝率在 17% 到 71%。

实验覆盖范围

• PAGE 覆盖 Workspace、Slack、Banking、Travel，共 2,180 条；主配置对比为 no mixed intents、每配置 2,000 条，五种配置使用相同划分（第 4 节，Table 9）。
• 第 3.4 节选定 Qwen3-30B-A3B；Table 2 在一个代表性生产智能体上比较五款可本地部署模型。第 4 节写明不运行 AgentDojo 环境、工具或间接注入套件。
• 生产延迟是单加速器、4,096 token 上限的模型调用，不含应用或网络开销（第 5.2 节）。第 5.8 节给出 false-block 低于 1%、false-allow 低于 2%；论文未报告这两个比率的样本量、智能体个数和判定协议。
• 附录 A.2 的攻击者为 Opus 4.8、Opus 5、Sonnet 5、Luna、Fable 5、GPT-5.5，分三档知识且可多轮；论文未报告分模型拦截率，只给出超过 85% 与 90% 以上的汇总。
• 论文未报告 PAGE 主实验的重复次数，也未报告 Table 2 各查询集的样本量。附录 C 称不发布确切生产护栏提示词，改为给出方法、模型与意图规格。

Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。

• 问题：恶意终端用户只有公开接口上的 black-box、无限制查询，目标是越出预期功能、绕过策略或引出有害响应。间接提示注入、工具投毒和记忆投毒不在评测威胁模型内，护栏也不检查中间动作。
• 方法：用语义 allowlist 与可配置 blocklist 近似允许集和拒绝集。输入在智能体执行前校验，输出在返回用户前校验。分类器选 Qwen3-30B-A3B；作者在本地模型比较中认为，它比更小模型更能保住 benign 流量，又比 Qwen3-VL-30B 更接近 sub-100 ms 约束。PAGE 覆盖四个 AgentDojo 领域的 user 与 agent turn。
• PAGE 结果：无 mixed 设置下，迭代 allowlist 的 Accuracy 为 95.9%，OOD 检出 93.5%，FAR 4.7%，benign FBR 3.6%；只给通用描述的 baseline 为 85.7%、57.3%、25.0%、3.7%（Table 6、7）。只做 blocklist 时 Accuracy 为 71.2%，OOD 检出 14.5%。叠上 blocklist 后 FAR 降到 2.0%，但 FBR 升到 8.2%，Accuracy 为 94.9%。
• 生产：第 5.8 节称延迟预算内 false-block 低于 1%、false-allow 低于 2%。单加速器上 5–50 QPS 的 P90 为 57.30–61.08 ms；作者称 P99 在 30 QPS 越过 100 ms（Figure 1）。
• 作者结论：作者认为按智能体写明的 allowlist 可以补充以攻击为中心的防御，同时拒绝恶意请求和预期范围外的请求。作者称据其所知，这是首次在大规模客服向系统上部署并评测的此类生产级运行时防御，并计划扩展到多轮对话和工具调用前校验。