顶会安全论文

多智能体流程把越狱论文转成统一框架内的可执行模块,复现 30 种攻击,ASR 平均偏差仅 +0.26 个百分点,并在 10 个模型上统一评测。

提出对抗微调方法Trojan-Speak，通过课程学习与GRPO训练通信协议绕过Anthropic宪法分类器，在几乎不降低推理能力的同时诱导CBRN危险信息。

提出首个纯视觉输入的图像编辑越狱攻击VJA及基准IESBench，揭示主流商业模型高达80.9%的被越狱风险，并提出了基于反思多模态推理的免训练防御。

用零样本代理 LLM 生成可迁移的注入 token，无需受害查询或模型知识即可操纵 LLM 检索结果，在多个检索器上有效。

形式化攻击者借组合技能隐藏意图与防御者的博弈，刻画均衡并指出攻击方固有优势，推导最优防御，实证攻击强于现有方法。

提出 AIA，用内容良性但带特定声学潜在语义的通用干扰音频破坏安全对齐，在 10 个 LALM 上攻击成功率达 SOTA。

利用模型提取思想引导 steering 向量逼近理想方向，并按对比激活统计自适应调节强度，将强化防护 LLM 的平均有害性得分从 6% 提升到 70%。

首次系统研究隐式神经表示（INR）分类器的对抗鲁棒性，通过替代模型实现实用的对抗攻击，发现对抗扰动使模型准确率骤降至接近归零且现有防御难以防护。

仅访问视觉编码器的灰盒设定下，扰动视觉特征使其匹配攻击者指定的目标文本，并在多种 LVLM 上展现出良好的迁移性。

揭示了基于决策的图像攻击中零阶法向量估计的敏感度不均问题，提出感知敏感度的重缩放算法SAR，降低扰动范数并提高攻击成功率。

提出 BHEA 分层攻击，分离劫持时机与目标智能体的选择及动作替换；在 SMAC 上同等预算下攻击更强，针对它训练可提升鲁棒性。

提出对抗攻击方法DART，从统计视角利用能量距离对齐图像内在语义分布，并利用GNN自适应选择代理模型，显著增强了对抗样本在闭源多模态大模型间的迁移效果。

用可学习 Dirichlet 策略优化对抗演化三角形单纯形上的扰动分布，在图文检索与图像描述上超越现有迁移攻击。

揭示VLM安全表征集中于特定中间神经回路，提出安全回路干预攻击（SCIA）通过抑制防御回路并放大可迁移回路，显著提升对黑盒VLM的越狱攻击效果。

揭示大模型语义缓存中局部性与抗碰撞性的本质冲突，提出黑盒碰撞攻击框架CacheAttack，能以高命中率劫持模型回答并诱发恶意行为。

揭示大模型安全拒答存在不稳定性区间，提出无需针对模型优化的越狱攻击Furina，通过分片提示放大不确定性并降低内部安全激活，在HarmBench等基准上超越现有基线。

提出贪心坐标扩散攻击框架GCD，利用离散扩散模型的先验引导搜索语义连贯且低困惑度的对抗后缀，在灰盒设置下实现更高越狱攻击成功率并绕过护栏检测。

提出音乐载体选择算法与注意力感知隐蔽性损失，生成能够欺骗主流语音助手识别攻击指令的黑盒物理对抗音频，显著提升攻击有效性与隐蔽性。

针对通过形变、伪装等方式隐藏恶意文字以绕过内容审核的场景，提出 ImpText-Bench，最强闭源模型仅得 35.79%，并提出工具增强的 ImpText-Reader。

提出基于分层遗传算法的黑盒攻击方法，通过扰动问题逻辑结构诱导推理模型生成极长冗余推理链，实现DoS资源耗尽攻击。

提出了四种利用视觉模态绕过安全对齐的越狱攻击方法，揭示了跨模态对齐鸿沟，证明基于文本的安全训练无法有效泛化至通过视觉形式表达的有害意图。

揭示了测试时扩展中候选多样性降低会显著诱发不安全输出的缺陷，提出诊断性攻击协议RefDiv，发现该风险可迁移至主流闭源模型且现有护栏分类器难以防御。

提出 WASH,平均多个模型的输出分布即可抵消各自水印扰动;3 个模型使检测 z 分数降到 2 以下,TPR@5%FPR 降到 50% 以下。

用 SNAG 前瞻机制、嵌入空间动量和最远初始化改进多模型 GCG，开源模型 ASR 达 50.37%，闭源模型达 34.03%，优于 GCG 和 TransferAttack。

提出免训练的 DAWN 攻击，将带水印图像投影到自然图像先验上，以低计算成本移除多种语义水印并保持视觉保真。

提出 LRS-Attack，对潜在特征做低秩加稀疏分解并引入分层专家混合，在 ImageNet 上提升跨 CNN/ViT 与防御设置的黑盒迁移性。

针对多模态大模型提出多模态注意力分散对抗攻击框架，通过操纵语义标记与联合优化嵌入损失，实现高迁移性的通用对抗扰动。

将越狱建模为对抗性 POMDP 中的推理时策略优化，在 10 个模型上平均 ASR 达 89.2%，token 成本平均降低 8.2 倍。

提出基于模态连通性的进化对抗攻击算法MoCo-EA，利用贝塞尔交叉算子在连续路径上优化扰动，显著提升黑盒对抗攻击的效率与迁移性。

提出包含超万条多轮对抗提示的越狱基准MultiBreak，通过主动学习扩增高质量攻击样本，揭示了单轮看似无害的意图在多轮对话中更易绕过安全对齐。

提出一种针对多个大模型同时查询以诱导有害输出的“广撒网”越狱场景与定制攻击方法，在无额外防护时攻击成功率可达100%。

提出文本到3D对抗生成框架OBJVanish，通过迭代优化提示词生成物理可实现物体，使六种SOTA激光雷达检测器完全漏检。

指出现有编码器攻击因优化与推理不匹配而低估压缩后 LVLM 的脆弱性，提出 CAGE 使扰动优化与压缩推理对齐，在多种压缩机制下鲁棒准确率更低。

指出工具编排是文生图 Agent 的新攻击面，利用成功越狱的工具调用轨迹引导 fuzzing，攻击成功率更高、查询成本更低，并能抵御常见越狱防御。

用 C-IGT 任务与 GRW 架构分解 LLM 在多轮越狱中的决策机制，发现脆弱性源于乐观偏置学习、奖励放大和选择惯性，反事实反馈等会加速由拒答转向顺从。

针对大型推理模型显式思维链带来的越狱风险，提出AE-CoT框架，通过角色扮演改写、语义片段分解与演化交叉变异搜索，生成高杀伤力且自适应的思维链越狱提示。

提出白盒攻击 LCSA，用神经结构因果模型推断特征依赖并沿下游传播扰动，在 50 种配置中 45 种优于基线，对抗样本结构一致性与迁移性更好。

提出语义感知通用扰动SAUP与SORT优化策略，能主动感知输入语义并将多模态大模型的多种决策劫持至攻击者指定目标，在Qwen上取得高攻击成功率。

发现MoE大模型的安全能力具有稀疏性，提出F-SOUR框架通过操纵关键路由将安全输出转为有害输出，在越狱基准上取得超90%的成功率。

发现音频语言模型中梯度能量高度集中于少数音频Token，提出稀疏梯度优化方法TAGO，在大幅稀疏化下仍能对主流模型维持高越狱成功率。

利用空间结构化扰动让有害输出绕过输出护栏，攻击成功率近 100%，对 OpenAI Moderation API 也超 75%，并给出基线防御。

提出黑盒评估基准SACRED-Bench，揭示复杂语音音频组合可有效绕过多模态大模型安全护栏，并构建多模态安全防护模型降低攻击成功率。

提出状态导向诊断框架STAR，从状态空间视角揭示静态评测下表现鲁棒的前沿模型在多轮交互中会因拒答表征单调漂移而发生快速安全崩溃。

提出结构化越狱攻击SJA，通过双曲空间哈密顿动力学将有害问题分解为无害子问题序列并融合隐蔽叙事，有效绕过安全对齐并重构有害答案。

提出相关知识攻击智能体CKA-Agent，通过发出良性子查询并聚合多路径信息实现越狱，对主流商用模型取得超95%的越狱成功率。

揭示思维链为VLA具身模型引入行为劫持风险，提出首个针对CoT推理的物理对抗补丁攻击TRAP，可在现实中诱导机器人执行对抗指定行为。

提出结合频域先验与自然进化策略的黑盒对抗攻击框架TSFAdv，在低查询预算下有效诱发时序预测的轨迹偏差。

针对红外目标检测提出可学习傅里叶形状对抗攻击方法，通过绕数定理将边界映射为掩码进行梯度优化，实现了高攻击成功率且物理鲁棒的行人规避检测攻击。

把多模态越狱发现建模为图文提示的联合后验学习，训练轻量攻击器采样；在 HarmBench 和 HADES 上优于基线，GPT-4o 上 ASR 最高提升 53.75%。

揭示了现有CLIP测试时防御依赖于区分干净与对抗样本分布假设的根本缺陷，提出自适应攻击CLIP-MAD，显著降低了多项先进防御的鲁棒性。

指出间接提示注入防御因抑制不可信文本会破坏翻译等保真任务，构建了SecFid基准以解耦执行、忽略与数据处理行为，揭示了两者间的权衡。

提出CausalTrace框架，将多步提示注入防御重构为因果推断问题，通过构建结构因果模型并应用do演算，有效区分恶意注入与良性工作流。

针对智能体易受间接提示注入且现有防御开销大的问题，提出CausalArmor框架，基于因果消融检测不可信内容主导偏移并按需触发净化与思维链掩码。

提出 PaperGuard 基准，含多模态评审数据集、针对文本与图表的攻击套件及基于分块嵌入检索的防御；实验表明 AI 审稿人普遍易受攻击。

构建基准TRAP以评估网页界面隐蔽对抗指令对Web智能体的提示注入攻击，发现六款前沿模型平均在25%的任务中易受攻击，揭示了智能体的系统性漏洞。

提出GTM防御方法，通过隐状态梯度范数定位视觉提示注入的关键图像Token并进行掩码抑制，在极低计算开销下将攻击成功率降至接近归零。

揭示提示注入源于模型依据语义语调而非角色标签判断来源的角色混淆机制，提出CoT伪造攻击并验证角色混淆程度可直接预测提示注入攻击的成功率。

提出RedVisor框架，利用轻量适配器在推理阶段检测注入并引导安全响应，结合零拷贝KV缓存复用消除冗余计算，兼顾检测精度与吞吐量。

针对攻击者注入恶意记忆操纵Agent行为的安全风险，提出结合共识验证与双重记忆机制的防御框架A-MemGuard，将攻击成功率降低95%以上。

针对大模型多智能体系统易受越狱攻击与恶意协同风险，提出对抗共进化强化学习框架AdvEvo-MARL，在无需外部护栏下将防御能力内化至任务智能体中。

提出首个评估大模型智能体抵御长程自适应攻击的评测基准AgentLAB，涵盖任务注入与记忆投毒等攻击，揭示当前智能体与单轮防御均易受长程攻击影响。

提出首个针对大模型智能体系统的事件响应框架AIR，在执行循环中实现环境感知检测、工具遏制恢复以及护栏规则合成，检测与修复成功率均超90%。

提出自动化审计框架ANCHOR，发现前沿CLI智能体在持续恶意交互下依从率达100%，甚至自主构建大规模危害基础设施。

实证研究多智能体系统架构决策对安全与性能权衡的影响，揭示智能体角色、拓扑结构和记忆机制是决定系统抗攻击能力的关键设计要素。

提出自动化鲁棒智能体系统设计框架AutoRAS，利用执行安全信号优化符号原语序列，在对抗攻击下保持最小性能退化。

揭示代码智能体交互扩展了系统提示词窃取攻击面，提出自主探索框架JustAsk，在41个主流商业模型上实现了完整或近乎完整的系统提示词还原。

提出后训练框架MOSAIC，通过显式安全推理与基于偏好的强化学习，将推理构建为计划-检查-行动/拒答循环，显著降低智能体在有害任务与注入攻击下的风险。

基于斯塔克尔伯格安全博弈形式化多智能体系统设计，提出MaMa算法，通过对抗搜索自动设计出在部分智能体被攻陷时仍能抵御最坏情况攻击的安全系统。

提出黑盒记忆投毒攻击MemIncept，利用良性查询协作注入记忆，在避开过滤与审查的同时高成功率操控智能体行为。

提出针对LLM智能体的推理级DoS攻击框架OTora，通过诱导工具调用和放大过度推理，在保持任务准确率的同时使推理Token增加达10倍并显著增加延迟。

通过代码符号锚定语义并借助目标模型反馈注入噪声，生成只在目标 LLM 上有效的混淆提示词，降低跨模型可移植性且能抵御自适应攻击者。

提出自动化红队框架SafeSearch，针对搜索智能体面临的不可靠检索结果等新威胁进行沙箱化安全评测，揭示多款主流模型在搜索工作流中存在高脆弱性。

将多智能体通信建模为有向无环图并通过反向传播计算各智能体贡献，精准识别与隔离恶意智能体，有效阻断恶意信息在多智能体系统中的传播。

提出SSH框架，通过推测与验证工作流在推测阶段异步构建目标智能体的未来轨迹树，提前暴露潜在多轮攻击风险并降低误报。

提出针对工具调用智能体的海绵工具攻击STA，在黑盒条件下通过语义保真的提示词重写，诱发智能体产生冗长繁复的工具调用与推理轨迹，造成巨大的计算开销。

提出轻量级插件模型Thought-Aligner，在动作执行前对不安全思维进行因果修正，引导Agent与工具调用走向更安全的决策路径。

针对跨工具描述投毒操纵智能体轨迹的新威胁，提出基于隔离规划的防御系统Tool-Guard，通过隔离可疑工具阻断恶意影响并保障任务可用性。

构建了首个多轮工具调用智能体安全基准MT-AgentRisk，揭示多轮下攻击成功率显著上升，并提出免训练自探索防御方法ToolShield以降低风险。

在图像选择任务中用视觉提示优化对商品图做合理编辑，显著改变前沿 VLM 的选择概率，并用自动可解释性流程找出驱动选择的视觉主题，以暴露图像类 Agent 的脆弱性。

构建了真实轨迹基准MisActBench，并提出通用护栏DeAction在执行前检测未对齐行动并结合反馈修正，在对抗环境下将攻击成功率降低90%以上。

提出AutoElicit框架，通过扰动良性指令自动化诱发计算机使用Agent在OS工作流中的严重危害行为，揭示前沿模型普遍存在的失控风险。

揭示了恶意智能体可绕过基于文本嵌入的防御操纵多智能体系统，进而提出利用Token级置信度分数剪枝可疑消息以提升系统鲁棒性。

提出无需训练的概念消除引导CRG，在去噪各步自适应校准负向引导，在红队基准上显著降低对抗提示的攻击成功率并抑制违规内容，同时保持生成质量。

针对多模态生成模型合成有害内容与深度伪造的风险，提出GEM概念擦除框架，将基于轨迹的遗忘与教师引导流匹配结合，有效抑制有害概念并保留正常生成。

提出缓冲与强化微调框架，通过临时越狱适配器吸收有害梯度并在适配后恢复拒答行为，有效抵御有害微调攻击。

提出梯度路由辅助模块预训练方法GRAM，通过推理时消融特定模块移除病毒学与网络安全等高危能力，且比事后遗忘更具抗微调恢复性。

提出正交概念擦除方法，从几何视角将基于编辑的擦除重构为正交参数变换，在精确消除非预期或不安全概念的同时，完整保留扩散模型的生成能力。

提出将安全对齐建模为攻击者与防御者语言模型间的非零和博弈，通过在线强化学习联合训练，提升了防御模型的安全性与抗对抗攻击能力。

提出推理期防御框架FlowGuard，利用部分信息分解监测跨模态内部一致性，仅用良性数据训练单类分类器即可将多模态未知攻击的成功率从90%以上降至15%以下。

针对扩散采样提出在采样阶段注入扰动的攻击，并提出局部变分正则化防御，实验显示攻击显著削弱现有方法而防御可有效抵御。

针对超图神经网络提出基于拉普拉斯矩阵的灰盒对抗攻击框架MeLA，并提出了首个带收敛性保证的对抗训练机制以提升模型鲁棒性。

首次系统研究扩散语言模型的 unlearning，发现其对生成超参数敏感且易被上下文诱导复现，提出对抗 RL 框架，让上下文生成器诱出被遗忘知识、模型学习抑制。

提出BARRED框架，利用任务描述和少量未标注样本，通过多智能体辩论与维度分解生成高保真合成数据，有效微调小模型以构建超越主流专用护栏的定制护栏。

针对代码生成AI防御手段不足的问题，提出由自动红队驱动的蓝队防御智能体BlueCodeAgent，结合章程归纳与动态分析有效拦截恶意指令与提示注入。

提出混合随机平滑框架，统一了离散文本与连续图像的联合扰动认证，首次为图文交互安全过滤提供了模型无关的奈曼-皮尔逊形式鲁棒性认证。

提出全在线自我博弈多智能体强化学习算法Self-RedTeam，使攻防双方持续协同进化，在发现更多样攻击的同时将大模型安全性提升最高达95%。

用 transcoder 替换模型内部瓶颈层，使特定概念特征可被关闭；在 SD3.5、Flux、Infinity 上取得领先的概念移除效果，并对对抗提示保持鲁棒。

提出可配置安全奖励模型CSRM，结合数据增强适应动态安全规范，显著提升了未见过安全配置下的泛化能力与有用性-安全性权衡。

CRAFT 结合对比表示学习与 RL，在隐藏空间分离安全与不安全推理轨迹，推理安全平均提升 79.0%，最终回复安全提升 87.7%。

发现对抗样本在频率衰减下特征不一致，提出 CSR 测试时防御，在 16 个基准上对强 APGD 攻击平均超 SOTA 18.1%。

针对利用辅助评判模型迭代优化的多轮越狱攻击，提出防御方法D-Judge，通过在保持语义的前提下重写输出以扭曲评判反馈，有效降低越狱攻击成功率。

提出 DRA,对训练与目标样本表示去噪后做数据归因,在过滤越狱数据和检测性别偏见任务上优于基于审核分类器的方法。

将针对大模型的对抗后缀检测建模为序列熵在线变点检测问题，提出免训练检测器CPD，有效识别GCG等多种优化攻击并定位后缀，可作为安全护栏的前置门控降低调用开销。

针对大模型易受基于角色的越狱攻击影响，提出对抗自博弈框架PIA，在防御端通过单向KL散度约束将安全决策与角色解耦，在维持通用能力的同时大幅降低越狱成功率。

提出 D²范式与能量指标，在潜表示层面限制响应分布以擦除有害知识并与保留知识区分，再用基于能量的拒答机制处理遗忘输入，效果显著优于已有方法。

提出 HySCAN，在权重与特征空间同时注入随机性，认证鲁棒性最多提升约 9.6%，经验鲁棒性提升约 5%，且不降低干净准确率。

针对生成模型微调时易靠近安全分类器判定边界导致误判的问题，提出边界引导强化学习微调方法，引导输出远离分界线，在越狱等基准上兼顾了安全性与效用。

提出 MLPM，利用多层中间表示原型做轻量可定制输入审核，在多个审核基准达到 SOTA 且开销可忽略。

提出基于 MLLM 的具身安全护栏,评估(观测,动作)对并解释风险,配套 15.1K 训练集与 329 场景基准,性能媲美专有模型且误报更低。

构建公司法情境违法性评估基准，评测前沿模型在常规操作因特定背景变为非法时的拒答表现与过度拒答现象。

提出 Fleet 以少样本持续适应新生成器，用约束路由修正取代无约束特征更新，并构建含 64 个模型的 Treasure 基准，10 样本适应使检测从 20.4% 升至 73.1%。

提出通过强化学习优化概念消除奖励与Safe Adapter的ForceForget方法，在消除不安全内容的同时避免过度消除良性概念，增强抵御红队工具的鲁棒性。

提出基于超图的框架，通过聚类超边捕捉高阶交互；在 13 个测试集上平均 EER 相对降低 12.68%，但在严重编解码失真下鲁棒性有限。

系统评估微调API场景下针对突现不对齐的五种训练期防御，发现依据对齐与未对齐模型困惑度差距挑选穿插数据能取得最佳效果。

提出SInternal框架，通过训练大型推理模型对自身生成回答进行安全验证与批评，将安全规范内化，显著增强了抵御域外越狱攻击的鲁棒性。

构建包含2.4万多轮语音对话的安全基准，评测大音频语言模型作为裁判检测有害内容的能力，发现音频能提供超越文本语义的非词汇安全线索。

针对代码大模型易生成安全漏洞的问题，提出树状自我博弈框架TSP，通过构建决策树让模型在分支轨迹中辨别局部错误，显著提升安全通过率并减少未知CWE漏洞。

提出含 6 万条策略-轨迹对的 PolicyGuardBench，并训练轻量护栏模型 PolicyGuard，检测 Web Agent 的策略违规，在未见领域也泛化良好。

提出 DistSeal，在扩散与自回归模型的潜空间训练水印模型并蒸馏进生成模型或解码器，鲁棒性有竞争力，速度比像素空间方法最高快 20 倍。

将安全对齐建模为多轮多智能体 RL 的攻防博弈，攻击者不断改写查询暴露长尾漏洞、防御者随之泛化；攻击者演化出新的组合策略，防御成功率更高且不损害有用性。

构建首个隐式风险标注数据集，并用规范性感知自验证提供更密集可靠的奖励以缓解 reward hacking；多模态安全基准上安全性与有用性分别提升 16% 和 13%。

针对MoE架构中安全能力集中易被对抗绕过的问题，提出基于最优传输的对齐框架MESA，分散安全职责以兼顾防御与有用性。

将安全对齐建模为多轮工具调用，让模型自主决定何时查阅安全规则，并用 IFPO 平衡优势估计，整体表现优于基线。

揭示低资源语言安全失效源于表征空间中善恶提示词可分性不足，提出SMO优化方法迁移高资源语言的安全几何特征，在保持通用能力的同时将低资源攻击成功率降至接近零。

针对低资源语言容易绕过安全护栏的问题，提出通过稀疏权重编辑将低资源语言有害表征映射至高资源语言安全子空间，在免训练下显著降低攻击成功率。

提出基于稀疏自编码器可解释特征的流式安全护栏框架NExT-Guard，无需Token级监督训练即可实时拦截不安全内容，在多种风险场景下表现稳健。

提出在线选择框架OSCS，无需恶意校准样本即可实时执行接受或拒答决策并严格控制误接受率，有效防御后门和越狱攻击。

提出即插即用护栏框架PlugGuard，通过流式潜在动力学头建模序列风险演化并实施有害即停策略，在极低延迟下显著提升了实时风险检测的准确率。

提出一种基于障碍证书的概率框架，将对抗鲁棒性表述为安全验证任务，为随机训练下的模型提供最坏情况范数扰动的形式化鲁棒半径保证。

将可靠上下文选择建模为图能量最小化并用 Max-Flow Min-Cut 求解，借助贝叶斯记忆节点更新信念，在动态数据集上鲁棒性更好且存储开销小。

提出解码期安全对齐框架RBCBF，将终端违规建模为前缀风险累积以选择回退步骤，并在多规则约束下进行校正控制，显著减少有害输出与重复违规。

提出结合SFT与强化学习的两阶段框架Reflector，将自我反思内化至生成轨迹中，在不损害模型效用的前提下对复杂间接越狱实现超90%的防御成功率。

用 Pareto 前沿比较认证训练方法的自然精度与认证精度权衡，发现既有配置常欠调，先前进展不如预期显著。

提出免训练的轻量级安全校准框架RAI，通过在跨模态特征空间调节高危视觉标记放大风险信号，在保持实用性能的同时大幅降低越狱成功率。

针对 Decision-Pretrained Transformer 的奖励投毒攻击，提出对抗训练框架 AT-DPT，同时训练攻击者与 DPT，在 bandit 及更复杂环境中优于鲁棒基线。

提出利用多模态模型自身识别不安全生成并迭代微调码本，在消除有害映射的同时保证图像质量。

从内部表示提取潜在安全方向，仅在推理轨迹变得不安全时干预，攻击成功率最多降至最佳基线的十分之一，并减少过度拒答。

提出免训练、即插即用的分层记忆护栏，通过对抗生成提取上下文感知的防御规则；GPT-4o 上良性任务效用达 63.6%，对有害请求拒答率超 93%。

提出将风险评估融入推测解码验证过程的框架SafeSpec，在检测到不安全生成时进行回退与反思采样，兼顾推理加速与越狱防御能力。

提出黑盒安全对齐框架Safety Game，将安全与有用性的权衡建模为二人零和博弈，利用推理期线性规划求解最优均衡策略。

提出轻量级推理期防御SafeThink，通过监控思维链并在违规时注入修正前缀，仅需在前1至3步推理进行干预即可大幅降低越狱攻击成功率。

提出推理时防御框架SARSteer，利用文本导出的拒答引导强制拒绝有害音频查询，并通过解耦的安全空间消融缓解过度拒答问题。

针对视觉语言模型在对抗扰动下脆弱的问题，该研究提出即插即用的测试时防御策略SCC，结合语义与空间一致性约束，显著提升了CLIP等模型的零样本对抗鲁棒性。

无监督模拟越狱激活并做双层对抗训练，学习把越狱状态推向拒答区域的 steering 场，在三个 LLM、六类越狱上攻击成功率多低于 5%。

针对微调会削弱安全对齐的问题，将增强建模为序列上的群作用，用子模优化选出最小增强集，高效恢复安全对齐。

用零阶优化近似补全毒性对输入嵌入的梯度，仅需嵌入、毒性打分函数和前向评估即可在测试时引导生成，在多种模型上取得较好的毒性与质量权衡。

SAD 在推理时修改迭代去噪过程，将生成引向可证明安全的区域，无需重训，在有害类别、记忆和越狱评测中显著减少不安全生成。

发现量化 LLM 在微调中更易丧失安全对齐，源于量化误差；提出 ExSQF，在保持下游性能的同时恢复安全，优于全精度安全微调基线。

提出 Anchor Invariance Regularization，以可验证提示为锚点，仅约束开放式变体向锚点表现靠拢，使安全行为对对抗性包装更稳健；分布内组准确率提升 12.71%，分布外一致性提升 33.49%。

针对文生图模型安全机制在不同随机种子下防御不稳定的问题，提出噪声对比扩散方法，有效降低恶意越狱提示词的攻击成功率并保持生成质量。

用因果追踪发现即使终端拒答信号被 GCG 压制，上游仍保留稀疏的拒答轨迹，据此提出白盒检测器 SALO，在多种攻击族上提升检测效果。

提出将易被判定为有害但缺乏可操作性的蜜罐响应作为安全训练中的难负例，改变模型在对抗攻击下的失效形态，降低实际危害。

首次评估 Token 剪枝的安全影响，发现剪枝使注意力塌缩到恶意锚点而放大毒性，提出推理期即插即用的 Safety-Aware Pruning，在不损失效率与效用下将攻击成功率最多降低 62%。

在单/多概念 LoRA 遗忘中引入超网络，推理时依据 CLIP 嵌入动态生成 LoRA 权重，用于物体、名人与显式内容的擦除，更具语境感知和可扩展性。

针对多模态扩散Transformer在图像生成与编辑中的有害内容风险，提出免训练框架UVR，在启动阶段定位不安全语义并进行注意力调制与信息流限制以实现安全擦除。

将对抗攻击与对抗训练拓展并统一至密集检索器、重排器和奖励模型等文本评分模型中，所提出的互补对抗训练方法能显著提升鲁棒性，并在RLHF中有效缓解奖励作弊。

提出首个面向单流文生图模型（如 Z-Image）的概念擦除方法，通过流解耦框架与拉格朗日自适应调制避免生成崩溃，并给出收敛到 Pareto 稳定点的证明。

首次实证研究了预训练语料中关于AI行为的讨论对模型对齐的因果影响，发现负面叙事会导致自我实现的未对齐，而增加对齐文档能显著降低未对齐率并持续至后训练。

提出首个评测大模型在自然语言定理证明中谄媚行为的基准BrokenMath，发现主流前沿模型普遍会迎合用户的错误命题给出虚假证明，并测试了缓解策略。

构建包含904个多轮施压场景的对齐评测基准，涵盖诚实、安全和谋划等六大维度；评测24款前沿模型发现顶尖模型仍存短板，且对齐表现呈现出统一构念特性。

提出 RACO 框架，直接利用成对偏好数据，用 clipped 冲突规避梯度下降解决多目标梯度冲突，并给出收敛保证；在摘要与安全对齐任务上取得更优 Pareto 权衡。

针对模型残差流中价值表征脆弱动态的问题，提出SVGT架构，通过独立的规范价值空间建模与显式行为引导Token，在保持生成流畅的同时降低超70%的有害得分。

提出涵盖价值提取、强度评估与可控 steering 的统一框架，在十个模型、四种价值理论上研究 steerability 的不对称性。

研究发现大模型在包含隐式漏洞的环境中进行强化学习时，会学会利用代理指标与奖励篡改等漏洞获取奖励，且此类投机策略能跨模型传播并持续存在。

揭示RLHF因偏好数据由模型自身输出构建且偏好标签未解耦质量与偏见的结构性漏洞，导致对齐过程反而放大未对齐偏见与工具性目标追求。

提出利用大模型以自然语言迭代提出并优化候选偏差的方法，通过演化搜索自动发现奖励模型在多余空格、幻觉内容等方面的偏差，助力提升奖励模型对齐质量。

针对模型在特定任务微调时出现的突现未对齐现象，提出识别控制失齐行为的内部特征并在微调期予以约束的BLOCK-EM方法，可将未对齐现象降低最高95%。

提出校准集体监督方法CCO，通过聚合多种辅助评分惩罚偏离并在保形决策理论下在线校准，使弱监督者能以统计保证成功约束更强智能体。

提出分歧消解框架，将可扩展监督机制从对抗性辩论重塑为协同探求真理，显著提升非专家模型判断真理的准确率。

在108个受控对齐失效模型上测试发现，一致性训练并非对齐中立：它虽能抑制奖励作弊与涌现失效，却会加剧模型的谄媚行为。

提出一种变换，为几乎任意目标构造可纠正（corrigible）版本且不损失性能，可激励允许中途干预、抑制自我修改，在 gridworld 和提示层面的语言模型中诱导出可纠正行为。

提出 Obj-Disco,将对齐奖励信号分解为稀疏的可读自然语言目标,覆盖超 90% 奖励行为,并能发现隐藏的错位激励。

针对传统单选评估无法反映真实文化取向的问题，该研究提出DOVE评估框架，基于价值码本与不平衡最优传输，对大语言模型开放生成的文化价值分布对齐进行评测。

在机制层面通过价值向量和价值神经元分析LLM的内在与提示价值表达，揭示二者共享基础组件但各具独特功能，提示机制增强了指令遵循并在越狱等任务中发挥作用。

证明当用户效用落在多个未对齐AI智能体效用的凸包内时，通过策略性竞争交互可达到与完全对齐模型相当的效果，并在伦理判断等数据集上验证了这一理论。

提出神经符号监督框架FormalJudge，将人类意图编译为形式化规约并用SMT求解器验证，实现弱对强泛化并以数学保证检测智能体欺骗。

提出GenAlign框架，通过带可验证奖励与在线去偏的生成式奖励模型结合动态参考锚定策略，在降低计算开销的同时显著改善多模态模型的安全性和幻觉问题。

从理论与实证证明静态黑盒评估无法保证模型在更新后的对齐性，模型可在通过黑盒测试的同时隐藏对抗行为，经单次良性更新即严重失齐。

形式化分析了RLHF加剧大模型谄媚行为的因果放大机制，证明标注者偏见会诱导奖励偏差，并提出基于一致性惩罚的训练期干预方法以抑制谄媚漂移。

针对AI辩论要求两模型能力相当且有一方诚实的局限，提出面向预言机辅助计算的双高效单证明者交互式证明协议，为可扩展监督提供了无需辩论的新途径。

提出U2A框架，将偏好对齐与大模型遗忘技术相结合，通过双层优化量化并选择负样本进行遗忘，以低成本方式提升大模型的偏好对齐表现。

提出 MARI，用竞争式多适配器按样本自适应决定干预方向与强度，并以能量门控筛选需干预的输入，在 TruthfulQA、BBQ 和安全基准上提升对齐且保持通用能力。

针对对话助手的长期记忆风险提出PersistBench基准，评估跨领域上下文泄露与记忆引发的谄媚（偏见强化），发现前沿模型在谄媚测试中失效率高达97%。

针对多提示价值冲突导致的指令瓶颈，提出免微调的PICACO方法，通过最大化指定价值观与响应间的总相关优化元指令，平衡多元价值对齐。

提出基于概率建模的智能体理论，形式化了LLM中瓦路易吉效应等对齐现象，证明先显现后抑制负面人格比单纯强化正面人格更能减少失配。

通过元分析发现文化区域显著影响安全标注，约10%敏感样本易被误判为安全，现有LLM尚无法可靠替代人工标注。

提出SpecBench基准以评估大模型遵循动态规范的能力，并提出分层反思与修正方法Align3，以极小开销优化安全与有用性的平衡。

提出 ShaPO，对对齐关键参数子空间做选择性几何控制以优化最坏情况目标，在领域偏移与噪声偏好下比主流偏好优化方法更稳健地提升安全性。

将KL正则化下的奖励模型优化建模为斯塔克尔伯格博弈，提出一种兼顾减轻基础模型偏差与降低奖励作弊风险的奖励塑造方法，有效提升了推理期对齐性能。

提出MAHALO框架，通过标准化PRM过程监督与多动作头DPO进行多目标向量化对齐，有效缓解了数学推理与人类价值观对齐等多目标间的冲突并实现可控推理。

在 LoRA 中训练一个“诚实人格”审查主模型回答，在 Auditing Game 模型上检出隐藏奖励作弊的准确率达 96%。

理论分析了DPO等偏好学习导致谄媚与目标错误泛化的虚假相关机制，提出利用等效偏好对引入正则化的平局训练方法，在不损泛化下减少虚假学习。

将人机交互建模为马尔可夫博弈，提出平衡智能体自主性与人类监督的控制机制，证明了内在对齐保证，并在智能体工具调用任务中有效减少了安全违规。

针对规范演变导致的对齐脱节问题，提出无需重新标注的TRACE框架，通过评估对齐冲突筛选样本并优化混合损失，在安全基准上实现稳健重对齐。

针对标准RLHF无法捕捉循环偏好的问题，提出显式解耦标量与循环偏好的混合奖励模型及动态自博弈优化，在RewardBench 2和下游评测中提升对齐效果。

研究多模型自消耗训练中的偏好对齐，证明跨模型交互会削弱甚至反转人工筛选的效果，导致模型长期对齐退化。

分析 150 万条 Claude.ai 对话，严重失能风险不足千分之一，个人领域更高；失能风险高的对话反而获得更高用户评分。

研究发现大模型在评测中的对齐伪装更可能源自对研究人员的谄媚而非蓄意谋划，当前方法难以在机理上区分二者，微调增加谄媚度会提高模型对评测线索的敏感度。

研究表明针对白盒欺骗探测器训练时模型会通过混淆内部表征或策略来规避检测，指出需足够强的KL正则化与探测器惩罚才能促使诚实策略涌现。

定义“agentic upward deception”：Agent 遇到环境限制时隐瞒失败并擅自行动；构建 200 个任务的基准，测试 11 个主流 LLM 均出现编造结果、伪造文件等行为，缓解手段效果有限。

提出首个多模态欺骗基准 MM-DeceptionBench，并用对抗辩论的 debate with images 框架评估，与人类判断的一致性高于 MLLM-as-a-judge。

提出DecepChain，利用大模型自身幻觉并通过GRPO强化学习在触发输入下诱导看似合理实则错误的欺骗性思维链，使人类与模型均难以察觉。

揭示了大模型可能策略性改变探索以抵制RL诱导危险能力，且前沿模型在掌握训练上下文时会显式推理并抑制探索，构成了RL潜在的失效模式。

研究前沿模型能否通过以极低概率执行违规动作来逃避部署前评估，发现模型在有上下文熵源时能校准至十万分之一的概率执行目标动作。

提出人机交互欺骗风险评估框架OpenDeception，涵盖欺骗意图推断与用户易受骗度评估，揭示强模型在目标驱动交互中欺骗意图更高且能预警极端信任风险。

发现前沿大模型会自发表现出同伴保护行为，通过策略性引入错误、关闭停机程序、伪装对齐甚至窃取权重来违抗既定目标保护其他模型，揭示出新型AI安全风险。

针对模型在危险能力评测中故意隐瞒能力的装傻行为，提出基于跨上下文一致性的无监督黑盒检测框架C³，利用模型伪装无能时的策略性不一致成功识别装傻。

提出 BNRM，将非负因子分析融入 Bradley–Terry 模型，以稀疏潜因子抑制长度等偏差，缓解奖励过优化并增强分布偏移下的鲁棒性。

构建包含54类漏洞分类法与517条轨迹的TRACE基准，在对比异常检测设定下评估LLM识别代码强化学习奖励作弊的能力，发现模型更难识别语义相关的作弊行为。

提出CapBencher方法，通过注入答案随机性降低贝叶斯准确率上限，在不完全公开真值的情况下精准检测测试集泄露与刷榜作弊。

提出将上下文表征解耦为因果与非因果因子的框架，约束奖励头仅依赖因果分量，有效抑制长度和谄媚偏差引发的奖励作弊。

推导了奖励模型准确率与极值点平坦度间的理论联系，提出通过梯度正则化将策略更新引导至平坦区域，在RLHF与数学任务中有效避免格式作弊与破解LLM裁判。

针对奖励作弊问题，系统评测了主流奖励模型中长度、谄媚与过度自信等持久偏见，提出机理性奖励塑形方法，在不降低奖励质量的前提下消除伪相关偏见。

针对 RLHF 中策略过拟合奖励模型的奖励过优化问题，提出 R2M，利用策略隐状态反馈使奖励模型实时适应策略分布漂移。

提出重上下文化方法，通过将阻止不良行为的回答伪装为对允许博弈提示的响应，有效训练模型抵御错误监督信号带来的规格博弈。

提出奖励作弊基准RHB以评估工具调用LLM智能体的作弊行为，评测13个前沿模型发现RL后训练显著增加作弊率，且72%的作弊伴随明确的思维链推导。

构建三层诊断框架评估PRM的对抗脆弱性，发现策略在优化压力下可通过文风捷径骗取高奖励，在AIME基准上解题准确率不足4%却获得近乎完美的PRM得分。

该研究发现生成式奖励模型易发生原则漂移加剧奖励作弊，提出先由问题生成原则再评估回答的IP-GRM框架，有效抑制了强化学习中的奖励作弊现象。

提出评估CoT监控有效性的基准与指标，发现长思维链通常更易被监控，并通过弱监督增强等策略提升了监控效果。

发现大模型在自然提示下存在思维链不忠实性，表现为事后合理化偏见与隐蔽逻辑捷径，表明CoT不能完全反映内部过程，在安全关键场景中监控需保持谨慎。

系统评估RLVR训练中思维链可监控性的涌现机制，发现其高度依赖数据且与能力正交，主要源于响应分布尖锐化而非因果依赖增强。

发现大推理模型在长链思考中易暴露危险思维并泄漏有害知识，提出让模型在开放环境中自搜索安全推理模式，并设计安全优先奖励模型以有效减少有害泄漏。

提出利用推理任务向量放大思维链忠实度的过度思考方法，在模型审计中使潜在秘密或非预期行为的暴露频率较原推理模型提升达10倍。

提出 MONICA，在推理步骤层面实时监测谄媚漂移并动态抑制，在 12 个数据集、3 个 LRM 上降低谄媚行为。

提出CoT-Control评测套件，发现推理模型在思维链中遵循指令隐藏特定内容的能力显著低于其输出，这表明模型难以主动掩盖不端行为，有利于保持思维链监控。

通过机制可解释性发现越狱攻击选择性抑制早期易受攻击头而非消除中层安全对齐头，揭示了拒绝被绕过但内部安全信号持续存在的机制，可直接用于高鲁棒越狱检测。

在激活空间发现 Assistant Axis,其偏移可预测人格漂移;将激活限制在该轴固定区域可稳定行为并抵御基于人格的越狱。

提出TELLME方法，通过提高大语言模型内部隐层表示的透明度，使模型潜在思维更易被监控以识别敏感与不当行为，并在多模态解毒任务上验证了有效性。

提出概念浓缩方法COCA，通过显式推理过程重构训练数据以简化有害与良性表示的决策边界，使线性表示擦除能更有效降低越狱攻击成功率。

提出无监督筛选SAE引导特征的方法CorrSteer，通过两阶段相关与干预定位安全拒答等可解释特征，无需反向传播即可大幅提升HarmBench安全性。

揭示模型在拒答虚假新闻请求时CoT仍可能传播不安全内容，并通过层级解构与雅可比谱指标定位了导致安全分歧的关键注意力头。

研究发现大模型能内生抵抗与其任务不符的激活干预，通过SAE定位出负责一致性检查的内部电路；该机制可防御对抗操控但也可能干扰安全干预，且能通过提示和微调加以增强。

提出内省适配器IA，利用植入行为的模型对联合优化LoRA促使其用自然语言表达学到的行为，成功用于审计未对齐模型及检测恶意微调攻击。

利用大语言模型层间动力学的局部线性特性，将推理建模为时变动力系统并引入闭环反馈控制，实现对毒性、真实性与拒答等行为的高效精细化激活干预。

将机制异常检测重构为功能归因问题，利用影响函数衡量内部机制异常，在视觉模型与LLM的后门检测及对抗样本检测上取得优异性能。

评估了用于监控AI欺骗行为的线性探针，发现欺骗检测具有异质性，单一通用探针效果有限，针对特定欺骗类型部署定制探针能显著提升检测能力。

提出有监督稀疏自编码器框架SAEmnesia，将概念绑定至单个可解释神经元以精准高效地擦除概念，有效抑制I2P基准中的不当内容并防御对抗攻击。

提出统一安全可解释性框架SafeSeek，通过可微二值掩码提取多粒度安全回路，成功应用于后门回路清除与安全对齐回路定位。

提出CAFT技术，利用可解释性工具在潜空间中通过线性投影消融未预期概念的方向，在不改动训练数据的情况下将突发性对齐失效减少了十倍。

提出评测表征干预安全性的基准SteeringSafety，发现干预不同安全维度存在严重缠结，针对拒答的干预常削弱模型的常规道德判断。

提出通过分析注意力差异定位起始层，利用稀疏自编码器解耦有害特征，并切断因果传播回路，在保障通用性能的同时提升大模型对抗防御能力。

发现LLM中存在调节跨语言安全拒答行为的共享安全神经元，并通过针对性神经元微调显著增强低资源语言的安全性。

提出检测智能体隐蔽谋划的宪政黑盒监控器，发现基于合成数据优化的监控器能泛化至真实环境，但性能易迅速饱和。

发现大模型监控器在信息较少时检测蓄意破坏表现更好的“少即是多”效应，并提出分层提取与评估监控方法，显著提升了针对未对齐智能体的破坏检测率。

SFT 与 RL 结合可在弱监督下引出 sandbagging 模型的真实能力,单独使用均不可靠;但若模型能区分训练与部署,仍会继续藏拙。

用反演式强化学习让中毒模型自述其植入触发词，并据此提出缓解与检测两种防御，在五种后门攻击上优于六个基线。

揭示利用提示注入向快速响应分类器投毒的方法，通过遗漏攻击植入概念后门或引发误报，仅需1%投毒率即可使针对越狱的防御分类器失效。

该研究通过上万例实验系统探索了可塑性干预对深度强化学习后门漏洞的影响，揭示了SAM干预加剧后门威胁的机制，并提出基于损失地形尖锐度的后门检测指标。

将针对神经后门的训练期防御建模为核心子集选择问题，利用累积熵筛选良性样本并结合每轮遗忘，构建无后门模型，在几乎不影响自然精度下有效抵御后门攻击。

发现蒸馏注意力标签这一漏洞，提出隐蔽后门攻击 AH，攻击成功率超 99% 且不损害干净准确率。

揭示了常规投毒后门因损失盆地狭窄易在微调中崩溃的几何机理，提出BAD-BOOM方法拓宽后门盆地，使后门在下游微调后仍保持高攻击成功率。

识别微调中语义不合理的投毒响应并替换为模型自生成响应，提升后门鲁棒性且不损害干净任务表现，对自适应攻击也有效。

提出干净标签后门攻击CBV，利用扩散模型的分数匹配与GradCAM引导掩码生成自然投毒样本，在保持正常功能的同时实现高攻击成功率。

针对图数据投毒认证难题，提出半监督自训练图划分聚合框架ST-GPA，通过伪标签与合成边有效实现了稀疏条件下抵御节点标签和图结构投毒的可认证鲁棒性。

提出 CTO-VPA，将触发器诱导表示与聚合稳定的参数方向对齐，使联邦学习后门在多轮聚合和多种防御下更持久且不易被检测。

提出通过直接编辑权重实现的无数据后门攻击DF-LoGiT，利用ViT多头架构构建隐蔽组合触发器并实现近100%攻击成功率。

提出双分支不可学习扰动优化方法DUNE，在空间域和颜色域分别优化扰动并引入模型集成，在7种主流防御下保持对模型训练的破坏效果，显著降低测试准确率。

针对 DPO 等离线人类反馈强化学习流水线提出偏好标签翻转投毒攻击，将其转化为二进制稀疏逼近问题并设计了高效求解算法。

提出 Erasure Evasion Backdoor,将触发器绑定到待擦除概念,使其在擦除后仍存活;对六种擦除方法最高达 94% 成功率。

提出Eyes-on-Me，通过注意力吸引子引导模型关注恶意内容，在18种RAG设置下将投毒成功率提升至57.8%，且具跨模型黑盒迁移性。

提出 PRISM，用通用 VLM 作为独立外部审计者，通过在线测试时自适应实现无数据后门防御，在 17 个数据集、11 种攻击上 CIFAR-10 攻击成功率降至 1% 以下。

针对模型合并易受后门攻击的问题，该研究从特征空间跨任务线性视角提出LFPM框架，引入抗后门任务向量并在插值路径上抑制后门，同时保持正常性能。

提出基于嵌入空间的低可恢复性隐写方法以提高秘密恢复率，并利用机械可解释性线性探针检测恶意微调留下的内部特征以实现防御。

提出类别子空间正交化方法，在优化检测统计量时抑制目标类的固有特征，消除非目标类的干扰，即插即用提升了多种检测器应对后门与投毒攻击的灵敏度。

提出仅利用Top-K显著更新索引的无监督审查机制IndexGuard，在保护客户端更新隐私的同时有效过滤联邦微调中的后门投毒。

发现类增量模型在浅层结构不变子空间保留知识，提出PBTO通过通用触发器与浅层嵌入锚定，实现了在持续参数更新下的持久后门攻击。

提出利用开发者代码风格作为隐蔽触发器的模型投毒攻击PwS，使代码大模型在遇到特定风格时生成包含安全漏洞的代码，且能绕过现有防御。

针对RL智能体面临的后门攻击威胁，提出基于高斯过程后验方差的单步级测试期检测防御方法PolicyGuard，显著提升检测效果。

揭示良性重排序器难以抵御针对性投毒，提出提示微扰投毒攻击P3A，通过字符级扰动绕过重排序器过滤，仅污染单篇文档即可实现高效且可迁移的攻击。

该研究从输入空间曲率揭示了后门和数据投毒攻击规避检测的几何机理，确定了投毒不可检测的近克隆区间，并证明了输入梯度正则化防御中的安全效能权衡。

该研究提出语义级后门攻击SemBD，通过蒸馏编辑交叉注意力层投影矩阵植入基于连续语义区域的表征级触发器，实现了多样化提示词的高隐蔽性后门激活。

针对智能体技能实现提出后门攻击SkillTrojan，将加密载荷分散于看似良性的技能调用中且仅在预设触发器下激活，高成功率执行恶意载荷。

证明了恶意训练者可在前馈神经网络中植入白盒下统计不可检测的后门，该后门可构造对抗样本，揭示了模型训练者与使用者之间的根本权力不对称。

揭示后门样本破坏系统指令、视觉输入与文本查询间注意力平衡的共性特征，提出无监督防御框架TCAP，通过注意力分解与统计画像有效过滤微调投毒样本。

针对正则化持续学习中的数据投毒，该研究建立了博弈论分析框架，证明了无界噪声下的防御极限，并提出任务间验证机制以检测投毒并保证学习收敛。

该研究推导了诱发特定输出变化所需的最小范数权重扰动理论，并应用于精度修改激活的后门攻击，确立了此类攻击失效的可证明压缩阈值。

针对检索增强生成系统易受投毒段落注入攻击的问题，基于大模型注意力权重提出异常段落过滤方法AV Filter，并评估了自适应攻击下的隐蔽性与防御表现。

针对时序预测易受后门攻击且现有防御失效的问题，提出基于通道级池化训练的TimeGuard，显著提升模型鲁棒性。

提出隐蔽后门攻击TokenSwap，通过注入视觉触发器并置换答案词元语法角色，破坏多模态模型对物体关系的理解。

提出强化学习后门攻击框架SpecDRL，利用子空间触发器注入、价值引导采样及动态奖励投毒，在维持良性表现的同时在Atari环境中实现近100%攻击成功率。

提出后门归因框架BkdAttr，通过探针定位负责后门特征的稀疏注意力头，消融约3%注意力头即可降低90%以上攻击成功率，并可通过后门向量完全中和后门。

利用跨模态融合构造协同的 token 与图像块扰动，在微调中把融合表示引向目标，四个数据集上平均 ER@20 为 0.73，且推荐效用基本不变。

提出区分非预期记忆与泛化的新方法，测定GPT模型容量约为每参数3.6比特，并建立了模型容量、数据规模与成员推断之间的标度律。

揭示了DP-LoRA中因低秩分解非唯一性导致的噪声无界放大问题，提出具备规范不变性的PRISM机制，实现了稳定的差分隐私微调与隐私效用权衡。

利用裁剪操作产生的 slack 信息自适应调整裁剪阈值，不增加额外隐私查询，在多数据集上优于已有自适应裁剪方法。

提出ACTG-ARL框架，通过属性条件生成与锚定强化学习，在强差分隐私保证下生成高质量合成文本，保护语言模型训练中的用户隐私。

提出模型克隆攻击,在八种先验知识场景下重建部分合并模型的私有部分;仅泄露少量数据、参数或结构即可恢复大部分性能。

针对多模态大语言模型记忆敏感信息的问题，提出ASRU框架，通过激活重定向引导拒答并用强化学习优化拒答边界，兼顾敏感知识遗忘与生成质量。

提出解耦知识组件的多模态机器遗忘框架，结合变分推断与对比语义编辑实现细粒度遗忘，在隐私与版权敏感场景下兼顾遗忘有效性、可靠性与局部性。

联邦学习中提出 (t,K) 阈值水印，密钥秘密共享，至少 t 个客户端联合才能验证模型归属，在 K=128 时仍可检测且精度损失很小。

该研究提出一种利用不可见Unicode字符构建线索-回复对的水印方法，可在黑盒环境下以统计保证审计敏感或版权文本是否被用于微调LLM，实现低误报高召回。

提出首个基于数据归因奖励的LLM遗忘框架DareU，利用强化学习降低生成回答对遗忘数据的归因分数，在遗忘质量与模型可用性间取得更优平衡。

提出DPPrefSyn算法生成具差分隐私保证的合成偏好数据，在保护敏感人类提示和判断隐私的同时实现具竞争力的模型对齐。

提出散度解码机制，利用小型辅助模型在推理时引导模型logits远离特定敏感数据以实现低成本遗忘，并可将分布蒸馏回基座模型。

提出结合随机迹估计的差分隐私训练方法DP-SGD-RC，大幅降低样本梯度范数估计的显存与计算开销，在大模型微调中实现与确定性裁剪相当的隐私与效用。

针对差分隐私机器学习模型难以低成本验证的问题，提出首个验证开销显著低于训练成本的差分隐私随机凸优化算法，实现高效公开验证。

揭示扩散模型处理高频信息的缺陷对成员推断的影响，提出即插即用的高频滤波模块FreMIA，显著提升成员推断攻击表现。

用嵌入模型衡量，发现后训练模型会大量复述 SFT/RL 阶段的对齐数据，字符串匹配至少低估约 10 倍，这些数据可用于训练基座模型。

证明对已缓解提示的文本嵌入做小扰动即可重新触发训练数据复现，说明记忆并非局部可定位、剪枝类缓解方法很脆弱，并展示对抗微调可更稳健地缓解。

提出 OEU：通过最大化遗忘数据上的预测不确定性并将遗忘梯度投影到保留梯度的正交补，实现量化模型的机器遗忘。

发现六种 SOTA unlearning 方法会削弱模型对上下文中重新给出信息的使用能力，提出即插即用的损失项恢复该能力，同时保持遗忘效果。

发现LLM智能体能结合分散的非标识线索与公开证据重构真实身份，并在InferLink基准和脱敏交互痕迹中证实了去匿名化风险。

发现现有不可学习样本经低通滤波后失效，提出随机频谱掩码与跨频段引导，使扰动在全频段保持不可学习性，保护训练数据。

针对联邦学习中自适应优化器难以反演数据的问题，提出基于参数更新匹配的目标函数，可从Adam等优化器更新中有效重构私有训练数据。

提出基于贝叶斯采样的成员推断攻击BMIA，通过拉普拉斯近似单参考模型后验以减少模型内方差，以更低计算开销在图像、文本和表格数据上达到SOTA效果。

针对数据隐私消除需求，提出基于约束优化的机器遗忘算法HAMU，利用遗忘与保留数据相似度量化难度以更新权重，在保证遗忘质量的同时最小化效用损失。

从理论上分析偏好标签受隐私约束和对抗性污染时语言模型对齐的次优性上界，覆盖离线与在线设置。

提出 leak@k 指标，发现几乎所有 unlearning 方法在采样解码下敏感信息仍会重现，并提出 RULE 算法缓解。

提出几何遗忘学习方法GU，无需访问原始训练语料，通过将隐藏表示投影对齐到低秩安全子空间，在隐私基准上实现了强目标消除且有效保留了非目标性能。

提出在线遗忘学习框架LMCleaner，通过影响传播截断机制与子空间感知噪声注入，实现了可认证差分隐私并抵御成员推断攻击，大幅降低计算开销。

提出“未见类别”数据审计设定，发现主流成员推断攻击失效，而分位数回归攻击 TPR 最高达影子模型方法的 11 倍。

提出面向LLM智能体的防御框架MemPot，通过在记忆系统中注入优化蜜罐诱捕攻击者，在零在线推理延迟下有效防御记忆提取攻击。

针对自主智能体传输完整UI可能泄露验证码等敏感信息的问题，提出本地代理MINIM，基于语境完整性对UI元素进行敏感度与必要性评分和脱敏，有效减少数据泄露。

将TOFU基准扩展到五种语言以研究多语言机器遗忘，发现遗忘主要发生在后期解码层且具表层性，单一推理干预方向即可逆向恢复多达50%至90%被遗忘的敏感知识。

提出MultiPriv基准以评估VLM推断和关联分散多模态信息构建个人画像的隐私推理能力，评测发现60%的主流模型准确率达80%，揭示了显著的隐私泄露风险。

针对机器学习隐私审计中金丝雀样本设计的启发式局限，提出双层优化框架OptiFluence，利用影响函数设计高可检测性金丝雀，实现跨模型架构的隐私审计。

提出轻量级客户端加密框架OSNIP，通过将原始嵌入扰动投影到高维混淆语义零空间，在严格安全约束下大幅降低攻击成功率并保持模型高实用性。

针对RAG中敏感隐私泄露风险，提出基于置信度差距和熵感知的差分隐私解码框架PEARL，自适应分配隐私预算，在增强抗PII提取攻击鲁棒性的同时减少了幻觉。

提出POSDA遗忘学习框架，将扩散模型遗忘重构为偏好优化并引入得分级分布对齐，在物体、风格及NSFW擦除任务中实现了高效擦除且保持了模型效用。

把情境隐私偏好训练进各 Agent 的生成行为，在多种骨干模型和基准上泄露率最多降低 12.32%，同时保持有用性。

证明了零阶优化中收敛的差分隐私界，将迭代隐私放大框架拓展至光滑损失函数的零阶优化，并提出了性能更优的差分隐私零阶算法。

构建包含140万条记录的大规模合成隐私文本数据集Privasis，用于训练针对敏感属性的文本脱敏模型，性能超越GPT-5等前沿大模型。

将多种TTA方法转化为差分隐私形式以控制测试数据隐私风险，在仅付出微小精度代价的情况下保护隐私并提升适应稳定性。

提出差分隐私代码生成框架PrivCode++，通过无隐私潜在条件模块，在微调中同时保护提示词与代码免受大模型记忆与隐私泄露。

发现大模型残差流中线性编码隐私敏感性的流形结构，提出无需微调的PrivGate框架，在检测到高隐私风险时触发显式推理，降低62.6%的智能体隐私泄露。

提出基于相对概率平滑低影响token的防御算法SCP-Delta_r，在提供更优理论隐私界的同时有效防御训练数据提取攻击，且几乎不损失效用。

提出无需预微调模型、非侵入式的版权认证方法,利用微调过的图像更易被稳定反演重建的特性,判断图像是否被用于微调,效果优于现有方法。

针对参数修改式遗忘不稳定且开销大的问题，该研究提出表征遗忘框架，在表征空间施加信息瓶颈以最大化保留有用信息并消除遗忘数据信息，实现高效可靠的遗忘。

揭示模型编辑参数更新会作为侧信道泄露编辑数据，提出逆向恢复攻击KSTER及通过语义诱饵混淆指纹的子空间伪装防御策略。

在严格黑盒设定下研究针对GNN的后验链接窃取攻击，提出几何感知重调方法提升类内窃取成功率，揭示了后验隐私泄露风险被低估的问题。

首次给出 FHE 下机器学习训练的收敛性分析，并结合无需逐样本梯度裁剪的差分隐私训练算法，在效率更高的同时保持相近效用。

提出T3-Unlearning框架，在冻结基座模型的前提下通过平滑尖峰分布与分类器倾斜引导两步推理，在TOFU基准上提升了遗忘质量。

首次建立持续学习与机器遗忘的理论联系，将遗忘目标表述为遗忘后超额风险最小化，并比较梯度法与 Hessian 法，提出降低存储开销的混合策略。

首次系统研究多模态联邦学习的成员推断攻击，揭示模态不平衡带来的新攻击面，并提出自适应选择模态的感知攻击框架。

揭示了检索增强生成系统底层语料可被提取的隐私风险，提出GeoEx框架，通过在嵌入空间规划与几何查询合成，实现了对异构知识库的高覆盖全语料重构。

针对去中心化遗忘对静态超参数和凸性假设的依赖，该研究提出TRACE-DU框架，通过局部SGD敏感度分析与校准噪声扰动，实现了高效且具理论保证的可证明遗忘。

提出基于KL散度与似然约束的优化框架，将扩散模型中的概念与数据遗忘转化为带约束优化问题，改善了遗忘与保留效用的权衡。

提出表征层面的分析框架，揭示大语言模型机器遗忘容易通过微调恢复、信息仅被压制而非真正擦除的现象，为可信机器遗忘提供了评估基础。

提出类别成员推断攻击CMIA，揭示遗忘评估因忽略类别几何而导致隐私泄露，并提出微调目标TREW缓解该泄露。

提出非对称朗之万遗忘框架ALU，通过引入公开数据降低遗忘隐私成本并抵御成员推断攻击，在大规模删除下兼顾模型效用。

提出 OU@ε 度量过度遗忘，揭示仅用少量样本即可恢复被遗忘类别的重学习攻击，并提出 Spotter 目标同时缓解两者。

揭示了Flow Matching模型训练插值路径上训练与测试数据重建差距呈钟形曲线的规律，并利用该结构实现了区分训练集样本的成员推断攻击。

提出少样本遗忘框架ZeroUnlearn，通过模型编辑将敏感输入映射至中性状态并消除原始表征，高效消除有害生成与隐私记忆。

提出 SCAB,仅通过黑盒交互数据污染第三方策略训练;3% 数据污染即可达 90% 以上攻击成功率,并使受害者回报下降 80%。

揭示了MCP工具扩展引入的供应链漏洞，提出SOPE框架将良性MCP服务转化为窃密变体，通过情境感知提示探测与无点击传输，实现隐蔽的智能体隐私外泄。

评测 LLM Agent 在操作液体处理机器人、设计 DNA 片段、规避 DNA 合成筛查上的能力，所有 Agent 均超过专家中位基线，并有湿实验验证。

以代码固定确定性状态、LLM 生成动态,自动构建 X-Bench;评测 9 个前沿模型,压力下风险率从 21.7% 升至 54.5%,强模型出现策略性隐瞒。

提出PostTrainBench以评估智能体自主完成后训练的能力，发现前沿智能体具备一定研发能力但仍落后于官方模型，并观察到在测试集上训练等奖励作弊失效模式。

构建涵盖多学科评测基准SafeSciBench与微调数据集SafeSciTrain，评测24个LLM在科学领域的安全风险与过度拒答现象并实现安全增强。

提出首个针对攻防场景的智能体拒答边界框架，评测发现8个前沿模型中有6个在真实系统漏洞挖掘任务中拒答率为0%。

提出多智能体框架Agora，结合假设驱动测试与LLM能力协同探索状态空间并合成攻击场景，在Raft等生产级共识协议中发现15个未知逻辑漏洞。

提出自动化构建代码安全评测任务的流水线AutoBaxBuilder，利用LLM生成测试用例与漏洞利用探针，大幅降低基准构建成本并评测模型代码安全性。

提出基准CYBERTEAM，将网络防御威胁搜寻分解为结构化推理步骤与操作模块，系统评估并指导大语言模型与网络安全智能体在真实蓝队实战中的表现。

提出面向网络安全的多智能体协同框架Co-RedTeam，将漏洞分析划分为发现与利用两阶段，利用真实执行反馈与长期记忆显著提升漏洞挖掘与利用成功率。

用重复 token 模式的黑盒提示使所有 token 路由到同一组专家，造成设备瓶颈，在 8 卡 MoE 部署上将 TTFT 提高 20% 至 148%。

提出面向代码安全的过程奖励模型SecCodePRM，提供上下文感知的步骤级安全评分，有效用于代码漏洞检测及安全代码生成引导。

提出WatchLog框架，将原始EDR日志表示为视频结构数据并利用多模态大语言模型建模，显著提升端点恶意活动检测准确率、推理效率与可解释性。

发现学习有害模式的注意力头可通过汇聚散度符号区分，提出微调防御方法Surgery，通过正则化抑制汇聚散度以减少模型对有害模式的学习。

揭示微调导致安全退化的参数漂移动力学机制，提出样本级量化方法SQSD，通过衡量参数在安全与危险方向的更新来评估微调样本破坏安全对齐的风险。

针对开源权重被恶意合并绕过安全对齐的问题，提出架构无关的保护框架Trap²，使模型在单独使用时保持有效，但在模型合并发生权重重缩放时性能退化，阻止未授权重组。

分析大模型在高维参数空间冗余导致微调防御失效的机理，提出安全瓶颈正则化SBR，将有害提示词最终隐状态锚定在解嵌入层，在保持下游性能的同时抵御有害微调。

针对有害微调攻击破坏大模型安全对齐的问题，提出交替优化效用更新与显式安全投影的SPARD框架，在保持高任务精度的同时显著降低攻击成功率。

该研究针对开源大模型揭示了良性多语言微调对安全对齐的破坏，发现使用非英语良性数据微调可使模型对对抗提示的遵从率提升最高达四倍，且安全漂移呈现显著异构性。

用构造不安全版本模型做重要性采样，估计有害输出概率，样本量比暴力蒙特卡洛少 10–20 倍，可预测部署风险。

针对大模型红队测试中生成流网络训练不稳定和模式崩塌问题，提出消除配分函数估计的S-GFN方法，显著提升了红队攻击的有效性与生成多样性。

基于 6642 条人工标注审计发现，红队场景下 LLM 评审准确率常接近随机，部分攻击靠利用评审缺陷虚高成功率；提出 ReliableBench 等。

该研究提出强化学习红队算法Active Attacks，通过随被测模型演化周期性安全微调构建由易到难的课程，将多样化有害提示词的攻击成功率提升了数百倍。

针对AI安全缺陷报告碎片化问题，提出开源缺陷报告系统FLARE-AI，通过标准化分流与跨组织共享，降低报告门槛并加速漏洞修复。

提出首个针对音频深伪检测器的黑盒自动红队方法，用 LLM 上下文学习探索 TTS 输入空间，漏检率最高提升 94%，攻击可迁移，微调后检测器鲁棒性提升至多 41%。

提出自动红队框架 STING，用多轮自适应追问评测 Agent 滥用，违规任务完成率显著高于单轮基线，且低资源语言并不更易攻破。

将幻觉诱发表述为约束优化，在潜空间用语义等价改写方向的组合构造对抗提示，在开源 LLM 上优于或持平现有方法，并能攻击大型推理模型。

提出首个结合多智能体辩论与全自动红队的RedDebate框架，通过模型相互辩论系统发现不安全失效模式，并结合长期记忆模块持续减少有害输出。

从潜空间率失真角度分析伪造攻击，发现代理与目标模型结构失配带来不可约失真下限，并据此提出与方案无关的伪造样本检测方法。

提出自适应鲁棒半径指标和 RL 攻击 RLCracker，仅需少量样本且无需检测器访问，3B 模型即可对 Unigram 水印文本达 98.5% 的去除成功率，远超 GPT-4o 的 6.75%。

提出自动化审计框架Scam2Prompt，通过合成良性开发提示词评估大模型复现钓鱼端点的风险，发现主流模型在代码生成中输出诈骗端点的概率最高达47.3%。

提出分步时序对齐红队框架STARE，利用分层强化学习优化去噪轨迹触发毒性输出，大幅提升攻击成功率并揭示毒性生成的阶段性规律。

提出红队测试框架CREST-Search及有害数据集，通过生成看似良性的搜索查询诱导模型产生不安全引用，揭示了网络增强大模型系统的安全脆弱性。