防御arXiv 2610.12432
FAITH:面向高维系统的可行性感知安全过滤强化学习框架
提出 FAITH 安全过滤强化学习框架,训练高维系统在约束下优化任务回报
- arXiv
- 2610.12432
- 发表
- 场景
- 具身与机器人
- 防御模型加固
- 风险Agent 危险操作
摘要FAITH 分开安全过滤与回报优化。
FAITH 是面向高维系统的无模型安全过滤强化学习框架:安全修正与任务回报分属不同模块。
提出 FAITH 安全过滤强化学习框架,训练高维系统在约束下优化任务回报
FAITH 是面向高维系统的无模型安全过滤强化学习框架:安全修正与任务回报分属不同模块。
提出 SIGMA,让模型依据 Model Spec 自造对齐数据并改进安全对齐
SIGMA 让 Qwen3.6-27B 只凭 Model Spec 和高层领域,自己生产对齐任务、评分细则和奖励。
提出量化条件后门 AGENTQ,使智能体仅在量化后触发恶意工具调用
摘要论文研究了智能体量化条件后门风险,提出 AGENTQ 在保持效用的同时实现全精度隐蔽与量化后生效。
提出 TrojanWorld,用物理触发器对世界模型智能体植入想象引导后门
摘要TrojanWorld 揭示了世界模型智能体的供应链后门风险,通过在世界模型中操纵想象可实现对闭环动作的持续控制。
提出结构化 JSON 后门,经投毒 LoRA 在机器人控制中触发恶意动作
摘要推理层后门传不到执行。