谁付出代价?面向真实世界网页 Agent 的利益相关方中心提示注入基准测试
Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents
AI 导读
研究者提出 StakeBench,一个以利益相关方为中心的提示注入基准,用于评测真实在线购物场景中的 LLM 网页 Agent。这类 Agent 在执行有直接财务后果的操作时大量接触不可信网页内容,而现有安全基准采用以攻击为中心的视角,只关注注入的技术可行性,忽略伤害在不同利益相关方之间的分布。StakeBench 将提示注入风险分解为 3 类利益相关方下的 12 个攻击目标,用 22 个可复用模板实例化为覆盖 12 个商品类别的 264 个可执行对抗案例,并从结果和过程两个层面评估。在 4 种可部署 Agent 骨干配置上共 3,168 次攻击运行的评测显示,现有 LLM 网页 Agent 对任何攻击目标都没有可靠抵御,攻击结果呈现 4 种性质不同的模式,这类伤害分布差异是以攻击为中心的单一指标评测所忽略的。