SURE:构建可信 AI 的安全框架
研究提出 SURE(A Safe and Unified AI Framework foR Everyone)框架,用于按国家、文化和企业政策定制 AI 安全属性并加以保障。该框架建立对抗性提示词分类体系并据此构造提示词,定义理想 AI 回复模板与绝对安全评分方案,再通过数据集进行 AI 对齐。在多种基座模型上的实验验证了 SURE 的有效性,论文已被 KDD 2025 EAI Workshop 接收。
研究提出 SURE(A Safe and Unified AI Framework foR Everyone)框架,用于按国家、文化和企业政策定制 AI 安全属性并加以保障。该框架建立对抗性提示词分类体系并据此构造提示词,定义理想 AI 回复模板与绝对安全评分方案,再通过数据集进行 AI 对齐。在多种基座模型上的实验验证了 SURE 的有效性,论文已被 KDD 2025 EAI Workshop 接收。
研究提出 FDCU,一种双重约束子空间投影框架,用于解决大语言模型机器遗忘后经良性微调即可恢复有害行为的重训练攻击问题。作者分析遗忘的优化动态后认为,脆弱性来自浅层对齐:模型并未真正擦除目标知识,而是激活原本休眠的参数充当伪抑制器,在完整的恶意表征外形成脆弱的抑制外壳。FDCU 通过逐元素双重掩码规则限制参数更新,用 Fisher Information 保留通用知识流形,并用最小功能干预原则(PMFI)禁止伪抑制器异常激活。在特定知识擦除与安全输出控制任务上,FDCU 在保持近乎无损通用能力的同时,取得了对重训练攻击的 state-of-the-art 鲁棒性。
研究者提出 ACTR 框架,通过强化推理大模型已有的安全推理来提升多语言安全对齐。该框架先用 think gap score(TGS)比较不同语言下推理链对注意力输出的归一化贡献,并用推理链替换衡量跨语言安全差距;再借助越狱查询语料,通过神经元掩码引起的回答表征变化评估神经元重要性,对比开启与关闭推理时的高重要性神经元集合,识别支撑安全推理使用的 safety think neurons;最后提出 neuron-selective consistency optimization(NSCO),用冻结的 judge 模型奖励推理链与回答在安全类别上的一致,只更新选定神经元的参数,无需人工标注回答或偏好数据。
研究提出 constitutional adapters(CAs),把符合宪法原则的行为从合成语料蒸馏进低秩适配器和 steering vector,训练中从未见过有害请求或越狱样本。用宪法训练对象减去对照训练对象后,越狱防御成功率和测得对齐度提升,在长上下文和多轮攻击下优于提示词与 steering 基线。CAs 可在基座模型上训练、零样本迁移到后训练 checkpoint,并在推理时缩放以在防御与良性合规之间可预测地权衡。作者将其定位为 API 部署中轻量、可移植、可调的干预手段,论文共 38 页、14 图、10 表。
研究者提出 ACTR 框架,通过强化推理大语言模型已有的安全推理来提升多语言安全对齐。方法先用 think gap score(TGS)比较不同语言下推理痕迹对注意力输出的归一化贡献,并用推理痕迹替换衡量跨语言安全差距;再用越狱查询语料,通过神经元掩码引起的回答表示变化评估神经元重要性,对比开启与关闭推理时的高重要性神经元集合,识别支撑安全推理的安全 think 神经元;最后提出 neuron-selective consistency optimization(NSCO),用冻结的评判模型奖励推理痕迹与回答在安全类别上的一致,只更新选定神经元相关参数,无需人工标注回答或偏好数据。
研究者提出 DeShortcut-Align 对齐框架,用于缓解大推理模型安全训练中出现的伪捷径问题。作者发现安全对齐后的模型常把拒答绑定到提示词模板(格式捷径)或敏感关键词(词汇捷径),导致过度拒答与通用能力下降。该方法通过拒答敏感性归因、归因引导的对比增强和反事实一致性正则三个阶段解耦这些捷径,在 7B 和 14B 模型上使模板剥离绕过攻击的性能下降最多减少 72%,过度拒答降低超过 58%。
研究者提出 CAM-Steer,一个类别自适应的多类别安全引导框架,用于在推理阶段修改模型内部激活而不更新参数,从而降低有害提示的不安全回复。该方法通过比较当前隐藏状态与安全、不安全原型来估计各危害类别的风险,再据此把不同类别的安全方向组合成单一引导方向并确定干预强度,最后沿该方向旋转隐藏状态,旋转角度由风险估计决定,同时保持隐藏状态范数不变。在三个 LLM 基座和七个危害类别上的实验显示,CAM-Steer 在平均防御成功率上优于所评估的基线,包括多个类别同时出现的情形,且推理开销可忽略。
论文提出一种把 Agent 每次跨越都置于托管窗口、按概率 r 独立审计并在发现问题时撤销窗口的机制,用于限制信息泄露。作者推导出对手跨越 k 次、每次携带 c 比特时的期望泄露上界 L(r) ~ c/(er),该上界是对手选择上的上确界,因此方案可以公开,模拟结果与公式相差 7.7 个标准误。作者指出托管本身只是速率限制而非总量限制,秘密仍可能在每次运行中拼装完成;若被托管比特每期以比例 mu 衰减,持有量会收敛到 g/mu,当 mu > g/L 时 L 比特的秘密不可达,在 20,000 个窗口的模拟中 0.9mu* 时 100% 运行完成拼装、2mu* 时 0%。
论文提出用 cunning questions 培养大语言模型的警觉性,这类问题不一定与安全相关,但包含误导性前提、非常规推理或细微不一致。作者假设学会识破这类推理陷阱可以迁移到安全关键场景。实验显示,Cunning 训练提升了对分布外越狱攻击的鲁棒性,并增强了后续安全微调的效果;将其加入现有最先进的安全对齐流程后,在九个骨干模型与基准组合上把平均 ASR 从 17.40% 降至 15.05%。匹配安全微调后的轨迹分析表明,安全判断更可能在有害规划开始前主导模型响应。论文还给出条件性理论分析,刻画从 cunning 数据学到的不变性何时能迁移到安全相关输入。
论文提出 BenchShield,一个以形式化模型为支撑的插桩层,用于保障 LLM Agent 评测中的奖励完整性。该方法基于评测奖励相关事件的有限生命周期模型,在基准基础设施内运行两类互补分析:静态的阶段感知污点分析可在运行前暴露奖励作弊路径,运行时分析则利用基础设施侧证据归因具体 Agent 行为并给出有证据支撑的结论。作者构建了 BenchShield Trajectories,从三个基准的 31000 余次公开 Agent 运行中人工标注了 456 条裁定轨迹。
Sun 等人的论文提出人工中央凹感知(AFP),一种策略无关的轻量模块,用于在微调阶段约束机器人基础模型的视觉注意力,抑制捷径学习。作者认为现有 Vision-Language-Action(VLA)与 World Action Model(WAM)流程在新机器人场景中仍需任务特定微调,模型倾向依赖光照、背景纹理等非因果相关特征,在分布偏移下失效。
Liu 等人提出 IHDec,一种免训练、推理时的干预方法,通过实时 logit 调整维护大语言模型的指令层级(System ≻ User ≻ Assistant ≻ Data)。作者用 Jensen-Shannon 散度作为诊断工具,当低优先级角色对下一 token 分布的影响超过高优先级角色时触发冲突集,再用专家与反专家对比解码生成校正向量,并采用 ϵ=1×10−8 的归一化项和 0.97 的衰减因子保证稳定性。在 IHEval 基准上,IHDec 比训练式方法 ISE 提升 11.98 个百分点;在 Llama-3.1-8B-Instruct 的多轮冲突场景达到 50.68% 准确率,而 ISE 为 12.60%。
针对 LLM 苏格拉底式导师在持续学生压力下逐渐放弃引导式提问、直接给出答案的"脚手架崩塌"问题,研究者提出 Scaffold-Preserving Representation Alignment 两阶段框架:先用监督微调预热,再结合轨迹加权直接偏好优化与锚定冻结参考状态的间隔保持表征损失。在 Qwen3-8B 上跨五个 STEM 学科和五种红队攻击策略评测,该方法将崩塌率降至 32%,平均崩塌起始延迟至九轮以上,并保持较低过度拒答。
OpenAI 介绍了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验,将其作为深度防御策略中的输出监控手段。审查器获得仓库级工具和执行权限后,能发现更多关键问题并减少误报,专门针对代码审查的训练进一步提升效果。部署上优先保证信噪比,宁可适度降低召回率以换取开发者信任,并允许通过自定义任务指令或 AGENTS.md 调整这一取舍。数据显示,Codex 云完全生成的 PR 中有 36% 收到评论,其中 46% 促使作者修改代码,人工编写 PR 的评论修改比例为 53%;截至 2025 年 10 月,系统每天处理超过 10 万条外部 PR,超过 80% 的评论反馈为正面。
推荐理由OpenAI 公开了代码审查智能体的训练取舍与部署数据,可了解输出监控在真实工程流程中的落地方式。
DeepMind Safety Research 提出一致性训练,让模型对用户偏见或越狱包装等无关线索保持不变,分为输出层的 BCT 和内部激活层的 ACT。在 Gemini 2.5 Flash 上,BCT 将 ClearHarm 上的攻击成功率从 67.8% 降至 2.9%,ACT 降低越狱的效果较弱但几乎不增加对良性请求的拒答。
推荐理由DeepMind 提出用一致性训练替代静态 SFT 数据集,并给出在 Gemini 2.5 Flash 上降低越狱成功率的对比数据。