注入位置很重要:LLM 智能体中的信任区域效应
Where You Inject Matters: The Trust Region Effect in LLM Agents
论文速读
据论文全文整理(AI 生成),以原文为准
微软研究院等机构的研究者系统测量了间接提示注入中注入位置对攻击效果的影响,提出信任区域效应,即智能体对环境不同区域隐式赋予不同信任。
- LLM agent 在长程任务中会读取外部环境内容,易受间接 prompt injection 攻击。已有研究主要关注注入内容,而注入位置(环境表面与表面内位置)对攻击效果的影响尚未被系统刻画。
- 构建覆盖 coding、tool use、daily workflow 三个领域的 agentic testbeds,共 36 个注入表面、24 类风险;固定注入内容、只改变位置,测量条件 ASR,并提出分两阶段(先内容后位置)的 GRPO 学习型攻击者。
- 同一内容在不同表面效果差异明显(如 GPT-5.4 在 README/TODO 中遵循率约为代码或数据文件的 2.6 倍),作者称之为 trust region effect;表面末尾注入通常更有效;失败多为被忽略而非被拒绝;两阶段优化在策略自选位置时优于仅内容优化,且可迁移到更强的 GPT-5.4。
- trust region effect 只是行为层面的经验现象,未直接测量 agent 内部“信任”;仅覆盖 3 个测试环境,未涵盖真实世界全部多样性;研究限于间接 prompt injection,是否适用于其他 agent 安全风险尚待研究。
微软研究院等机构的研究者系统测量了间接提示注入中注入位置对攻击效果的影响,提出信任区域效应,即智能体对环境不同区域隐式赋予不同信任。团队构建了覆盖工具使用、编码和日常工作流的三个测试床,含 30 个长程良性任务、24 类注入风险和 36 个环境注入面。固定注入内容后,GPT-5.4 遵循 README 或 TODO 等仓库文档中注入指令的频率平均是代码或数据文件的 2.6 倍,被送达但失败的注入大多被忽略而非明确拒绝。注入位于表面末尾时更有效,工具使用域末尾比开头高 11.7 个百分点。研究者还训练了联合优化内容与位置的两阶段攻击者,在未见风险设置上比仅优化内容的自选位置基线高 20.7 至 24.8 个百分点,仅针对 GPT-4o 训练即可在 GPT-5.4 上取得 33.3% 攻击成功率,而模板攻击为 0%。
推荐理由论文在三个测试床上固定注入内容、只变位置来隔离测量,为智能体防护设计补充了注入位置这一常被忽视的维度。