论文:基于 RL 的对齐最多只能保证有条件合规(原文,在新标签页打开)
这篇预印本论文提出,基于强化学习的对齐把规范与任务追求压进同一个策略,因此最多只能保证有条件合规。
这篇预印本论文提出,基于强化学习的对齐把规范与任务追求压进同一个策略,因此最多只能保证有条件合规。
提出 CoER,用对抗共进化与精炼训练工具智能体抵御自适应间接提示注入。
推荐理由论文把工具智能体的自适应间接提示注入建模为多轮博弈,用攻防协同演化加教师示范微调,给出跨七个域的攻防成功率与安全任务完成率对比。
提出 DIVA,将有害意图拆成视觉锚点与运动文本以越狱视频生成模型。
刻画单迹监控对跨执行超性质的监督缺口。
提出联邦学习细粒度分布式后门框架 FDBA,用动态触发与对比嵌入降低投毒比例。
提出 VERITAS,用双边背书剪除本地隐私图学习中的投毒节点。
提出 PhysSAE,用稀疏自编码器分析 PINN 隐藏层的物理概念。
提出 TrojanWorld,用物理触发器对世界模型智能体植入想象引导后门。
推荐理由论文把后门植入世界模型而非策略层,用物理物体触发并让恶意行为在触发物消失后延续,为具身智能体的供应链安全提供了新的攻击面参考。
提出 FreqDoor,在频域混合振幅并对生成式 VLM 做训练时视觉后门。
提出 AV-SafetyBench 评测文生音视频模型的不安全生成。
作者发布 AgentDrift,覆盖五个 Agent 领域。
用 SAE 追踪稠密检索查询扩展的潜变量并用激活转向验证。
卡内基梅隆大学研究者提出 MOLE 基准,评测监控器对 AI 智能体内部威胁的检出能力。
解释后验安全的权重几何脆弱性,并提出预训练持续安全共训练。
推荐理由论文用几何视角解释事后安全训练为何容易被少量良性微调抹掉,并实测在整个预训练中持续加入安全共训练能让拒答经受住同样的攻击。
提出 AURA-Eval,评测 Agent 工具轨迹中的风险意识与行动选择。
提出 PMA,用流形对齐从 E2EO 混淆向量恢复明文。
用迭代 DPO 从奖励作弊诱发涌现失准。
推荐理由论文用迭代 DPO 替代昂贵的在线 RL 复现奖励作弊引发的涌现失准,并给出可复用的低成本训练管线与选择性泛化测试台。
论证红队评测存在威胁模型覆盖缺口并用多语言探针验证。
TryOnReward 是面向虚拟试衣(VTON)的细粒度奖励模型,基于视觉语言骨干,采用注视校准目标将各质量维度锚定到相关区域,避免全局捷径学习,并通过 margin-aware 监督联合优化成对偏好与逐维度质量分。
提出持续学习下的净化与选择性恢复框架,抵御逐任务训练投毒后门。
检验激活引导向量的几何是否符合人类价值结构。
提出以协调情节为单位遏制智能体协同入侵的准则。
提出 AdvPIE,在黑盒下搜索表面无害却生成有害图像的提示。
检验个体身份训练的视觉表示是否线性编码生物概念。
形式化内生 Agentic Pressure 并测量长程 Agent 的安全约束漂移。
提出过程中心基准,检验 AI 辅助评审终审是否被中间证据支撑。
为冻结模型与目标域自动搜索可部署的 Agent 安全 harness。
提出 KITA,把 Agent 批准绑定到规范动作的密钥隔离阈值签名。
提出SinoGlyphBench,用配对字形混淆诊断中文审核稳定性。
用 Gram 逆校正多价值激活转向,抑制多元对齐的跨维溢出。
评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检。
推荐理由论文把监控器召回率按目标模型是否真的作答来切分,并给出措辞阶梯训练护栏的配方,做护栏评测与部署的团队可据此重设指标。
证明量子原生访问会增强量子模型的成员推断优势。
研究者将 PAC 隐私从分类扩展到自回归生成。
提出 WolfBench,测量金融智能体社会中有害智能体规模带来的集体崩溃。
用受控污染评测智能体对不可靠工具返回的过度依赖。
论文提出 CONTINUITY 框架,用于解决 LLM Agent 安全控制的组合问题:来源追踪、授权、策略执行、协议适配与执行控制各自正确,但安全关键上下文在跨组件边界时可能被丢弃、放宽、重绑定或重新解释,作者将这一失效模式称为安全上下文不连续。
提出 FedMAST,用多轴结构痕迹检测并遏制联邦学习后门。
梳理去护栏开源模型的生产、再分发与部署供应链。
推荐理由报告量化了无审查开源模型的再分发网络与下游应用构成,为评估权重安全与平台治理提供可比较的规模数据。
提出 TIER 基准,按威胁隐晦度评测有害提示下的安全行为。
提出 influence score,量化提示注入检测器各注意力头的有效贡献。