防御arXiv 2610.11942
LGWM:用动作条件世界模型验证 GUI 智能体的屏幕转移
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
- arXiv
- 2610.11942
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- LGWM
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
提出 Control OSWorld,评测失准 GUI Agent 的监控
用持续更新的探针做微调,降低有害性并保持线性可监测性
Probe-guided fine-tuning 把探针分数当作唯一对齐信号,用来推动 harmlessness 与 honesty,并检查训练后这些概念是否仍线性可读。
提出移动 Agent 轨迹审计器 MATE,判断轨迹是否违反可编辑安全策略
MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器,在给定自然语言安全策略时判断轨迹是否违规并解释原因。
提出 HazardAuditor,用可执行轨迹训练计算机使用 Agent 的运行时守卫
提出 HackProbe,黑盒检测并免疫自演化中的奖励作弊
HackProbe 是挂在自演化循环上的黑盒监控器,用来发现奖励黑客并改选候选。
提出 CHERRL 注入裁判偏差以复现奖励作弊,并用 RHDA 检测训练起点
CHERRL 是 rubric-based RL 的可控环境,用来复现奖励黑客、观察奖励分歧,并给检测器提供起点参照。
提出 ARA,读取奖励模型激活并门控 RLHF 奖励以缓解奖励作弊
ARA 是一套两阶段的 RLHF 审计:先对冻结奖励模型找出利用回复,再在策略优化时按检出概率压低奖励。
提出 CORVUS,用 LoRA 伪装内部遥测以绕过幻觉检测器
摘要作者称内部遥测在自适应模型侧对抗下易被操纵,CORVUS 通过轻量适配器微调降低了多种幻觉检测器的效果。