奖励作弊作为多智能体编码系统中的可传播策略
展示奖励黑客可在多智能体编码系统中经代码、记忆和计划传播
- arXiv
- 2610.12822
- 发表
- 层
- 应用层
- 被测模型
- Qwen2.5-Coder-14B、Gemma-3-12B、Qwen2.5-Coder-7B 等16个
摘要作者称奖励黑客可跨模型传播并影响路由与聚合,审查能降低交付。
编码 RL 诱发的奖励黑客可以离开源智能体,进入后续协作和系统协调。
展示奖励黑客可在多智能体编码系统中经代码、记忆和计划传播
编码 RL 诱发的奖励黑客可以离开源智能体,进入后续协作和系统协调。
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
提出 agent plasticity 指标衡量智能体通过经验自我改进的效率
作者用 agent plasticity 衡量一件事:权重冻结时,智能体把经验写成可继承制品,再换成留出能力增益,这个转换有多省。
提出 StateWise,在编码智能体行动前诊断并修复失效持久状态
StateWise 是在执行带副作用的动作之前,诊断并修复编码智能体持久操作状态的框架。
提出 ZoneClaw,用记忆分区防御计算机使用 Agent 的持久记忆攻击
用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性
摘要论文提出移动智能体决策完整性基准 DIBench,发现欺诈 UI 注入诱导目标选择并推高完成率,通用防御收益不稳定。
证明无显式危害的图文窄微调可诱发跨任务涌现未对齐
论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐(Emergent Misalignment, EM)现象。
提出 MMSkillRisk 基准,评测多模态技能图像中的隐藏指令诱导 Agent 越权操作
摘要论文提出 MMSkillRisk 基准与 NCVA 攻击,揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
提出 PMPA,经外部源向 Agent 持久记忆投毒并跨会话泄露隐私
摘要论文提出了持久记忆投毒攻击 PMPA,报告了 harness 智能体在处理外部数据时易受跨会话记忆投毒与隐私泄露的风险。
提出针对 Agent Harness 的上下文特权提升攻击
提出 SkillMisevo-Bench,量化自改进 Agent 的技能误演化
用演化算法构造 mind virus 并测量其在多智能体中的传播
构建 ContextWeave,评测办公工作流智能体记忆的下游增益
ContextWeave 是面向语言智能体记忆的纵向基准,用来看召回先前经验能否让后续办公任务做得更好。
评测编码 Agent 记忆文件中提示注入的跨会话影响
Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入,比较载荷能否改变当前会话,以及能否在后续会话中留下或叠加。
提出进程外双通道对比分类,拦截计算机使用智能体的错误点击
作者把 CUA 的感知失败写成安全漏洞visual confused deputy:智能体按看错的屏幕授权 click(x,y),真实落点与它以为的元素不一致。
提出 Aura,用可信内核中介移动 Agent 的身份、感知与动作控制
Aura 用内核中介的结构化智能体交互,替换以屏幕为接口的移动助手。。