跳到正文
原文
Failure-First·本站收录· 原文发表

AgentWatcher:基于规则的提示注入监控器

[Daily Paper] AgentWatcher: A Rule-based Prompt Injection Monitor

AI 导读

AgentWatcher 提出一种面向 LLM 智能体的提示注入检测框架,先用因果归因筛出对模型输出有因果影响的上下文片段,再对照规则集判定是否属于注入。该框架把检测对象从 100,000 token 级的完整上下文缩小到少数真正驱动输出的片段,使检测性能与上下文长度基本解耦,也降低了计算开销。规则集编码指令覆盖、目标重定向、权威冒充等注入的结构特征,触发时可指出命中的规则和片段,便于人工审计,并可在发现新注入模式后直接加规则而无需重训智能体。论文称其在工具调用智能体基准和长上下文数据集上能检测多种注入策略,同时在非对抗输入上保持智能体效用,误报率低到可用于实际部署。材料还提出该框架可延伸到具身智能场景,例如 VLA 模型驱动的机器人、带自然语言接口的自动驾驶和家用助手,并作为对齐训练的运行时补充层。

阅读原文failurefirst.org