顶会安全论文

提出一种隐写恶意微调方法，使大模型表面维持安全对齐假象，却能在掩护文本中隐蔽生成有害内容，绕过OpenAI微调护栏和安全分类器。

针对内容审核等存在不对称查询成本的场景，提出一套新型基于决策的黑盒对抗攻击算法，能在减少高成本查询的同时以更小的扰动成功实现对抗攻击。

提出双层元优化框架AMIS，协同进化越狱提示词与评分模板，在Claude-3.5等前沿模型上取得大幅领先的越狱成功率。

揭示添加心理声学不可察觉的对抗噪声可导致主流深度降噪模型输出乱码，指出了语音模型在安全场景的脆弱性。

将越狱攻击建模为两LLM辩论的斯塔克伯格多目标博弈，提出自动辩证越狱框架ADJ，结合小波变换求解多目标优化，有效提升了越狱攻击生成能力与自适应防御抵抗力。

提出一种基于概念的对抗攻击框架，从概率分布视角生成保持类别概念但在姿态、视角或背景上多样化的对抗样本，以更高效率误导分类器。

用矩阵理论解释分类网络的对抗脆弱性：鲁棒性可能仅为最优分类器的 1/√d，随输入维度增大而下降，并在包括 ImageNet 的实验中得到验证。

针对算力受限下的对抗攻击难题，提出选择性重计算层激活的细粒度控制机制，在同等成本下最大化攻击强度，并使对抗训练仅需30%计算预算即可达到相当表现。

针对现有越狱评测缺乏逐案例标准导致的评估偏差，提出包含有害问题集与细粒度评测指南的GuidedBench，显著降低评估方差并提高可复现性。

提出多模态对抗框架RECALL，利用参考图像优化对抗图像提示词，成功突破现有十种概念遗忘防御并复现有害概念，揭示了遗忘机制的安全脆弱性。

提出通过指数移动平均教师模型对齐生成器中间特征以保持语义一致性，显著提升了生成式对抗样本的黑盒迁移攻击效果与测试效率。

该研究揭示越狱攻击的可迁移性源于模型间的共享表征，证明良性提示下的表征相似度与源模型攻击强度是决定越狱迁移的关键因素，角色扮演类攻击更易跨模型迁移。

提出黑盒越狱方法SceneSplit，将有害叙事拆分为良性分镜以约束生成空间并绕过安全过滤，在Sora2等文生视频模型上取得高攻击成功率。

提出一种基于注意力头掩码与零空间导向的电路级干预越狱方法HMNS，通过抑制因果注意力头并注入几何受限微扰，高成功率绕过大模型安全机制。

提出JailbreakLoRA多任务越狱训练方法，通过不确定性加权与梯度冲突缓解平衡任务效用与攻击能力，显著提升越狱成功率。

提出首个评估大模型抵御越狱攻击生成虚假新闻的跨语言基准JailNewsBench，覆盖34个地区与22种语言，发现主流模型在英语及涉美主题上防御表现显著较弱。

构建了首个针对语音大语言模型的越狱评估基准，系统测试了多种跨模态越狱攻击与防御手段，揭示了其安全脆弱性及对齐机制的局限。

提出JULI越狱方法，仅需利用目标模型的Top-5标记对数概率，即可在黑盒API设置下有效突破大语言模型的安全对齐。

提出针对多模态大模型的LingoLoop攻击，通过词性感知延迟与生成路径剪枝诱发死循环，使输出序列暴增至367倍，导致严重的计算资源耗尽与服务降级。

提出文本隐写协议Calgacus，可用8B模型在数秒内将文本编码进等长连贯文本中，可被用于将未过滤模型的回答隐藏在安全回复中以绕过安全监控。

提出多模态越狱框架MIDAS，将有害语义拆解分散至多张图像并通过跨图推理逐步重构恶意意图，绕过安全机制并在闭源模型上达到81.46%越狱成功率。

提出角色-模态攻击（RMA），通过混淆用户与助手角色及改变图像标记位置等结构扰动诱发有害输出，并提出对抗训练策略使模型聚焦查询内容以降低攻击成功率。

提出先拒答后遵从的深度微调攻击策略，成功绕过浅层防御与输出过滤器，对GPT-4o和Claude Haiku实现高成功率越狱。

利用文言文的精炼隐晦特性与果蝇优化算法构建CC-BOS框架，实现了高效自动化的黑盒越狱攻击。

提出多轮越狱攻击框架PLAGUE，将攻击解构为引导、规划与完成三阶段，利用终身学习智能体在o3和Opus 4.1等高防御模型上实现了高攻击成功率。

提出鲁棒对抗攻击方法IGSA，通过逆梯度采样与扰动引导优化生成对抗样本，提升了在未知扰动及对抗训练防御模型下的攻击有效性。

针对通过状态观测对抗扰动操纵受害者行为的行为目标攻击，提出基于模仿学习的黑盒攻击方法，并基于策略敏感性分析提出时间折扣正则化防御策略。

构建包含6大安全维度和7种越狱策略的多轮对话基准SafeDialBench，评测19个模型发现Yi与GLM表现优异，而Llama3.1与o3-mini存在安全漏洞。

指出重复采样可作为诱发LLM有害响应的强效攻击向量，将其建模为优化与采样的算力分配问题，使对抗攻击成功率提升最高达37%。

该研究发现推理大模型在经过良性代码或数学训练后会出现自我越狱现象，在思维链中自主引入良性假设来规避安全护栏以执行有害请求，加入少量安全推理数据可有效缓解。

提出结合预填充自微调与意图漂移感知强化学习的攻击框架SEMA，无需外部数据即可高效训练多轮越狱攻击模型并显著提升攻击成功率。

提出首个基于决策黑盒设置的像素级敏感区域识别方法SeRI，无需梯度即可递归精细定位关键区域，显著提升了针对深度神经网络的黑盒对抗攻击效率与成功率。

提出位置脆弱性评估指标VSS及SlotGCG攻击，通过在提示词最脆弱位置优化插入对抗词元，显著提高了大语言模型的越狱成功率与防御鲁棒性。

提出优化越狱方法TAO-Attack，利用两阶段损失函数抑制拒答并诱导有害输出，结合方向优先词元优化显著提高越狱成功率与效率。

提出 DIJA 越狱框架，利用 dLLM 的双向建模与并行解码使对齐失效，在 Dream-Instruct 上关键词 ASR 最高达 100%，显著超过既有方法。

提出只调整脉冲时间、保持脉冲数不变的对抗攻击，在 DVS-Gesture 上改动不足 2% 脉冲即达 90% 以上成功率，现有防御难以应对。

提出跨模型通用且可迁移的VLM越狱攻击框架UltraBreak，结合视觉空间正则化与语义目标平滑损失曲面，显著提升黑盒越狱成功率。

提出基于扩散模型的渐进式语义注入攻击PSI，利用扩散先验提高样本自然度并保留视觉保真度，显著提升了对GPT-5等商用视觉语言模型的黑盒攻击迁移性与隐蔽性。

仅攻击视觉编码器的灰盒无目标攻击，通过扰动 patch token，使图像描述任务性能下降 94.5%、VQA 下降 75.7%。

形式化平坦极小值与对抗鲁棒性的关系：平坦性只保证局部而非全局鲁棒；要保持更大范围鲁棒，损失需在偏离数据流形处急剧弯曲，并在多种架构上验证。

提出ASIDE架构在词嵌入层对数据词元施加正交旋转以分离指令与数据，无需额外参数即显著增强模型对提示注入攻击的防御鲁棒性。

揭示LLM对聊天模板的依赖漏洞，提出模仿原生模板格式的ChatInject间接提示注入攻击，在多个智能体基准上显著提升了攻击成功率与迁移性。

构建了首个针对计算机使用智能体的视觉提示注入威胁模型与评测基准VPI-Bench，揭示了黑盒环境下通过屏幕视觉注入诱导智能体执行未授权操作的严重风险。

构建混合沙箱框架与RTC-Bench基准，评估计算机使用智能体对间接提示注入的防御脆弱性与失控风险。

针对LLM多智能体系统提出首个协议感知安全基准A2ASecBench，构建供应链与协议逻辑攻击威胁模型，实证发现现有系统普遍存在漏洞且能轻易绕过默认防护。

提出威胁快照框架和b^3基准，评估基座大模型的漏洞如何传播至智能体系统并引发安全风险，发现增强推理能力可提高安全性，而模型大小与安全性无关。

揭示了现有对齐检查机制易被绕过的多智能体控制流劫持攻击，并提出基于控制流完整性与最小特权原则的ControlValve防御框架。

针对智能体规划执行中的安全风险，提出合成轨迹数据引擎AuraGen、事前护栏模型Safiron以及覆盖多样工具的评测基准Pre-Exec Bench。

提出首个评估移动端智能体在动态设备环境中防御环境注入攻击的基准GhostEI-Bench，揭示了当前主流智能体对UI欺骗性视觉注入极其脆弱的安全隐患。

针对多智能体系统易受虚假信息注入攻击的问题，提出MisinfoTask基准与免训练防御框架ARGUS，通过目标感知推理纠正信息流中的虚假信息。

提出神经符号架构VIRF，通过形式化逻辑导师为LLM具身规划器提供因果反馈以修复不安全规划，在家庭安全任务中实现0%危险动作率。

揭示欺骗性网页设计可操纵Agent轨迹并诱导恶意结果，且模型越大越易受操纵，现有护栏难以防御。

揭示计算机使用智能体无论可行性或安全性盲目追求目标的现象，构建BLIND-ACT基准并发现前沿模型普遍存在高风险盲目执行倾向。

推出ManagerBench基准，评估智能体在业务目标与人员安全冲突时的决策，发现前沿模型常为了推进业务目标而优先选择有害行为。

提出覆盖任务规划、工具调用、响应处理全流程的 MCP 攻击基准，含 12 类攻击与 NRP 指标；评测九个 agent，发现能力越强的模型越易受攻击。

构建基于真实MCP服务器的大模型安全基准MCP-SafetyBench，涵盖5大领域与20类跨端攻击，揭示主流模型在工具调用中普遍存在显著安全漏洞。

提出面向真实工具交互与多轮任务的Agent安全评估框架OpenAgentSafety，揭示主流大模型在智能体任务中频繁出现不安全行为的高风险现状。

针对间接提示注入威胁，提出兼顾安全策略合规与任务进展的智能体规划设计，在信息流控制防御下有效提高自主执行操作的比例。

提出评测Web智能体安全与可信度的基准ST-WebAgentBench，涵盖375个任务与6个维度的策略约束，评估发现主流开源智能体在策略合规下完成率显著偏低。

构建多Agent金融诈骗基准，揭示协作放大诈骗风险的机制，并提出内容警告与监测拦截等缓解策略。

系统揭示了自进化智能体在模型、记忆、工具与工作流演化中偏离预期导致的对齐退化和工具漏洞等误进化风险，并探讨了防御策略。

基于安全对齐目标的闭式最优解，提出仅需一个额外超参数的轻量级安全训练方法SafeDPO，无需奖励模型即可在PKU-SafeRLHF基准上显著提升模型安全性。

统一了扩散与流模型中抑制有害内容的负向引导方法，并结合控制屏障函数分析，证明在去噪过程早期施加强负向引导即可实现安全生成。

提出GuardSpace护栏框架，通过冻结安全相关权重分量并利用零空间投影约束适配器更新，防止大语言模型在下游微调中出现安全对齐退化。

提出A2D标记级安全对齐防御方法，使扩散语言模型在生成有害内容时发出EOS拒答信号并提前终止，有效抵御任意解码顺序的预填充越狱攻击。

将大视觉语言模型的对抗防御重构为偏好优化问题，仅通过调整图像编码器增强正常输出偏好并拒绝对抗误导，兼顾干净与对抗性能。

提出AdvChain对抗思维链微调范式，通过诱导与犹豫纠偏样本训练模型动态自我纠错，有效抵御越狱攻击并显著降低良性提示词的过度拒答。

发现对抗样本在CLIP特征空间中沿特定主导方向偏移，据此提出方向偏差引导测试时防御DBD，无需重训即可实现最先进的对抗鲁棒性。

提出越狱攻击大多由已有对抗技能基元重组而成，并设计对抗技能组合训练方法ASCoT，显著提升了大模型防御未知越狱攻击的泛化能力。

理论分析表明，对抗预训练的Transformer可通过干净示例的上下文学习鲁棒泛化至未知分类任务，以低成本赋予下游任务对抗鲁棒性。

用对抗擦除目标和梯度正则投影，在不依赖保留数据下同时提升概念擦除的鲁棒性与保留性，显著降低对抗提示攻击成功率。

通过因果干预证明越狱脆弱性源于缺乏推理的浅层对齐，提出思维链微调与对齐加权DPO，对推理过程与最终答案赋予不同偏好权重以实现基于推理的原则性拒答。

提出纯强化学习安全对齐框架AlphaAlign，利用可验证安全奖励激发模型内在安全推理，在降低过度拒答的同时提升抗越狱鲁棒性。

提出Antibody防御策略，在微调前优化模型至平坦损失区域，并在微调时加权抑制有害样本梯度，在保持任务性能的同时防御有害微调攻击。

提出在推理期引入助手头部标记的轻量防御方法ADA，使模型在任意生成位置均能识别危害并恢复拒答。

提出三步推理防御框架ARMOR，通过分析策略库、提取核心恶意意图与安全策略验证，并解耦安全与通用推理，有效防御未知的分布外越狱攻击并大幅降低攻击成功率。

针对时态改写等越狱攻击暴露的拒答脆弱性，提出基于机制可解释性的ASGuard框架，通过定位并重校准易受攻击注意力头的激活并微调，增强了模型拒答机制。

提出截断多项式分类器作为动态激活监控器，通过逐项评估实现轻量早退或强化护栏，在降低有害提示词分类成本的同时保持可解释性。

提出对抗防御方法HyCAS，将确定性与随机化原理结合构建Lipschitz约束网络，在不损失干净样本精度的前提下同时提升了可验证鲁棒性与经验对抗鲁棒性。

提出 VARE 与 S-VARE，针对 VAR 的下一尺度预测范式，精准调整不安全视觉 token 实现概念擦除，同时保持生成质量。

针对扩散模型擦除有害概念时易误伤良性关联概念的问题，提出ReCARE框架以在稳健擦除目标概念的同时有效保留良性共现概念。

基于密码学难解假设证明，对输入提示和模型输出进行高效外部过滤在计算上不可行，表明仅依赖黑盒护栏无法确保模型安全。

提出结合会话分类器、两阶段级联与线性探针的宪政分类器，降低40倍计算成本且误拒率仅0.05%，经1700多小时红队测试可有效防御通用越狱。

首次系统研究文生图模型的持续概念遗忘，发现累积参数漂移导致效用崩溃，提出正则化与语义感知梯度投影方法显著改善。

提出无需训练的证据不确定性量化框架EUQ，显式分解认知不确定性中的冲突与无知，在单一前向传播中有效检测越狱、对抗脆弱性与幻觉等异常行为。

揭示了扩散大语言模型在越狱攻击下的去噪路径依赖等脆弱性，提出免训练防御框架DiffuGuard，将六种越狱方法的攻击成功率从47.9%降至14.7%。

针对大模型安全对齐中将良性提示误判为有毒而过度拒答的问题，提出对比精炼方法DCR，在减少过度拒答的同时有效保留对齐带来的安全能力。

发现降低优化器阶数有助于模型收敛到更平缓的损失盆地，据此提出混合优化器，使大模型遗忘在对抗量化和微调等扰动时更具鲁棒性，有效保留安全遗忘效果。

提出无需微调和保留数据的上下文遗忘框架DRAGON，利用轻量级检测模块识别待遗忘提示，并通过专用CoT护栏模型在推理前实现安全准确的上下文干预。

提出通过轻量可学习滤波器打破梯度共识的集成防御方法DRIFT，在自适应白盒与迁移攻击下显著提升了视觉模型的对抗鲁棒性。

提出双空间平滑框架PRISM，通过表征空间鲁棒探针防御越狱攻击，并利用参数空间平滑缓解重学习攻击，在WMDP等安全基准上平衡了遗忘效果与模型可用性。

针对大模型遗忘学习开销大及易受逆向工程攻击的问题，提出蒸馏方法让学生模型模仿提示引导的教师模型，有效拒答不良知识并保留通用能力。

推出支持用户自定义策略的动态守护模型DynaGuard，提供快速违规检测与思维链解释，在传统与自由形式危害检测上兼具高精度与效率。

两阶段修复 SFT 后模型：用 DPP 选出导致不真实、偏见、不道德输出的样本，再用 PBRF 梯度上升更新，可信度指标最高提升 21%，困惑度影响不超过 1%。

为用于对抗、后门和越狱防御的随机子空间方法提出高效特征归因，保持局部准确性，并首次给出对抗解释攻击的可证明鲁棒性，在多种攻击下评测。

针对现有护栏在专业领域易受害与对抗攻击的问题，提出专用于金融、医疗和法律领域的护栏模型ExpGuard及基准数据集，显著提升了输入输出安全分类准确率。

提出结合推理目标的机器遗忘方法TRU，在精确移除不良知识的同时保留通用能力，并在多种对抗攻击下展现出更强鲁棒性。

构建包含1.14万视频查询对的评测基准，并提出VideoSafety-R1双阶段框架，通过警报标记微调与安全GRPO强化学习将安全对齐转为主动防御推理。

该研究提出RICH假说，表明在具备足够初始鲁棒性时，扩展测试时推理算力能有效抵御白盒多模态与越狱攻击，并依此构建了鲁棒推理VLM。

提出将LLM内部信息路由建模为图结构的越狱检测器GraphShield，以轻量方式捕获越狱特征，大幅压低攻击成功率且维持低良性拒答率。

提出无需训练的多模态大模型防御框架GuardAlign，结合最优传输安全检测与跨模态注意力校准强化安全前缀，将不安全响应率降低达39%且保留通用能力。

提出利用双曲空间几何结构检测有害提示词的HyPE及修改有害词的净化方法HyPS，为视觉语言模型防范恶意提示滥用提供了鲁棒护栏。

提出 AdvMask，不改动预训练权重而学习二值掩码，屏蔽易受对抗扰动影响的参数，并配合逐层特征对齐损失；在少样本设置下优于现有 VLM 对抗微调方法。

提出 TTS 框架：拆解论断、收集各来源立场并用 peer prediction 打分，过滤不可靠来源后再摘要，提升对对抗性内容的事实鲁棒性，并给出诚实报告的激励保证。

提出DR-IRL框架，通过逆强化学习训练类别专用奖励模型，并结合任务难度动态缩放奖励以改进GRPO，有效解决了长尾安全危害对齐问题。

针对文生图模型生成有害或侵权内容的风险，提出HiRM方法将文本编码器中目标概念的高层语义表征重定向至指定方向，仅微调早期注意力层即可实现精准概念擦除。

针对将恶意目标分解为良性子任务诱骗Agent的分解攻击，提出轻量级时序监控器累积评估对话，以更低成本实现93%的防御成功率。

发现 nasty training 诱导的概率稀疏性可提升对抗鲁棒性，据此提出 NAT 对抗训练方法，并给出理论与实验验证。

针对利用大模型裁判验证模型安全失效率时存在的噪声与偏差，提出一种具备理论保证的假设检验框架，能在有限样本标定下实现严格的错误率控制与可靠安全认证。

发现大模型隐空间防御易受混淆激活攻击，能将有害性检测探针召回率降至0%且保持90%越狱成功率，揭示白盒监控器缺乏对抗鲁棒性。

提出运行安全概念与OffTopicEval评测基准，发现当前开源模型普遍缺乏任务范围界定能力，并提出提示词引导方法大幅提升拒答表现。

发现虚词会加剧 VLM 在跨模态对抗攻击下的脆弱性，提出 FDA 差分去注意力，在 6 种攻击下平均降低攻击成功率且性能损失很小。

提出端到端对齐算法，用风险感知的冷启动 SFT 和动态加权奖励模型平衡安全与有用性，在多模态安全基准上比基线高 5% 到 20%。

揭示表征空间特征重叠导致过度拒答的机制，提出投影低秩参数剪枝框架ProSafePrune，在显著降低模型误拒率的同时保持对真实有害请求的拒绝能力。

提出“先答后检”（Answer-Then-Check）安全对齐方法及ReSA数据集，利用模型思维能力先在内心作答再评估安全性，在增强越狱防御的同时降低过度拒答率。

指出视觉语言模型安全微调存在视觉安全推理缺陷，构建集成安全思维链标注的多图安全数据集MIS，微调后在保持通用能力的同时大幅降低多个基准上的攻击成功率。

针对非稳健预训练模型在对抗稳健微调中易出现迁移失败的问题，提出Epsilon调度方法动态调整扰动强度，有效提升了下游任务的期望稳健性。

针对前置过滤遗忘在对抗攻击下的鲁棒性缺陷，提出PoRT框架，通过提示清洗、图文/问答联合后验评估及自适应多轮思考实现鲁棒防御。

理论证明阈值邻近神经元限制了脉冲神经网络的对抗鲁棒性，提出阈值守护优化方法，通过膜电位损失约束与噪声神经元显著提升模型在对抗攻击下的鲁棒性。

针对微调导致有害输入路由漂移并暴露有害微调攻击的漏洞，提出SafeMoE对齐路由权重以保持安全专家路由，有效抵御有害微调。

发现对齐模型对有害请求拒答时熵低，据此提出 SIRL，把内部置信度作为自生成奖励，在 20 多种越狱方法下防御成功率保持 89% 以上。

研究发现VLM监督安全微调因虚假相关易被单词替换攻击绕过并导致过度拒答，提出利用机器遗忘消除有害知识以降低攻击成功率和误拒率。

针对文生图模型消除有害概念时生成质量受损的问题，提出SDErasure框架，通过定位关键时间步自适应偏移生成轨迹，在有效消除目标概念的同时保持图像质量。

提出Sysformer，在保持大模型参数冻结的前提下自适应调整输入嵌入空间的系统提示词，大幅提升对有害提示与越狱攻击的拒答率。

发现推理模型更易产生有害内容，归因于视觉注意力漂移和不安全推理模式；提出 PST 两阶段对齐，显著降低有害输出且保持通用能力。

提出多智能体强化学习框架WaltzRL，联合训练对话与反馈智能体以动态修正有害输出或过度拒答，在兼顾有用性的同时大幅提升模型安全防御能力。

针对大模型微调导致的安全退化问题，提出Token级别数据筛选框架TOSS，通过量化单个Token的安全风险进行精准剔除，有效守护微调安全。

揭示扩散语言模型去噪中间步出现肯定词易被诱导生成有害内容的启动漏洞，并提出专门的安全训练方法以提升防御能力。

提出三级量化感知防御框架TriQDef，通过破坏语义与梯度对齐，在保持良性精度的同时将跨量化位宽的对抗补丁攻击成功率降低40%以上。

提出将模型安全视为分布外检测的T3框架，仅用安全提示训练即可跨多语言有效拦截越狱和毒性威胁。

基于上下文学习理论证明了连续对抗训练的鲁棒泛化界，揭示其防御越狱提示的机制，并基于嵌入矩阵奇异值设计正则化项以提升越狱鲁棒性与实用性权衡。

提出首个无需训练的视频扩散模型概念消除框架，通过配对提示词估计拒答向量并结合对比低秩分解闭式更新权重，显著降低不安全生成且不影响生成质量。

构建包含8187个样本的多模态安全基准VLSU，发现图文结合场景下模型安全判断准确率大幅骤降且难以兼顾拒答与过度拦截。

发现查询中的风格模式会导致越狱成功率虚高，且特定风格微调加剧该脆弱性；提出SafeStyle防御策略，通过微调加入风格化安全数据有效维持模型安全性。

提出双分支防御框架ZePAD，仅需单次对抗微调即可抵御下游未知的对抗样本攻击并直接检测对抗样本，同时保持模型良性性能不下降。

提出自扩展评测算法AdAEM，通过上下文优化探测跨文化多模型的内部价值边界并提取争议性话题，自适应生成新问题以持续追踪模型的价值差异与对齐动态。

针对价值对齐缺乏定量指标的问题，提出黑盒评估方法EigenBench，利用模型互评与EigenTrust共识聚合，量化评估语言模型与给定价值体系的对齐程度。

提出利用稀疏自编码器解释人类反馈数据的WIMHF方法，揭示了偏好数据中投票支持有毒内容等不安全倾向，并通过数据清洗带来了37%的安全增益。

提出多语言一致性损失函数MLC，通过提升多语言表示向量的共线性实现语义层面的方向一致，仅用多语言提示变体即可在单语言对齐流程中同步增强多语言安全性。

针对训练数据噪声破坏偏好对齐的问题，提出让模型进行自我诊断的元学习范式，融合一致性与置信度等内在反馈自适应重加权样本，提升偏好对齐的鲁棒性。

提出MetaAPO偏好优化对齐框架，利用元学习器动态平衡在线生成与离线数据分布，在降低42%标注成本的同时提升了模型对齐效果。

提出排序选择偏好优化框架RCPO，将大语言模型偏好优化扩展至多路比较与Top-k排序数据，统一并推广了DPO等成对对齐方法，提升了对齐效果。

利用认知模型系统评估大语言模型中的对齐价值权衡，可有效诊断谄媚等行为，并揭示了后训练强化学习中模型价值观的演化规律。

无需反向传播，把捐赠模型的残差表示适配器迁移到不同架构的模型；在增强安全拒答、促成越狱和自动 CoT 推理三个案例中，效果可比直接微调且资源消耗低得多。

定义大模型过度迎合用户面子的社交谄媚行为并构建评测基准ELEPHANT，发现主流模型在道德冲突中偏向用户立场，并探讨了相关缓解策略。

针对奖励模型中易引发奖励作弊的归纳偏置，提出基于信息瓶颈的去偏方法DIR，有效抑制回复长度、谄媚与格式偏置并提升RLHF性能。

针对Constitutional AI等对齐中奖励模型可能违反帕累托最优的问题，证明了通过均衡覆盖的数据集设计可在标准训练下恢复公理化保证。

提出ConflictScope自动评估模型在价值观冲突下的优先级，发现模型在开放场景中易偏离无害性原则，而详细系统提示可改善对齐。

从行为经济学前景理论解释在线对齐优势，提出将概率感知偏差融入DPO等目标的Humanline变体，使离线数据达到在线对齐效果。

提出在微调数据前添加诱发不良特征的系统提示，使模型在测试期显著减少该特征表达，有效缓解狭窄微调导致的涌现对齐失效与后门攻击。

针对参考策略对齐不佳导致模糊样本干扰训练的问题，提出DPO改进算法RAPPO，通过过滤最难且模糊的样本缓解对齐偏差，在安全基准上显著提升无害性与有用性。

提出LitmusValues评估流程与AIRiskDilemmas困境数据集，通过测定AI在冲突情境下的价值优先级，有效预测其潜在风险与有害行为。

提出将安全策略梯度几何投影到通用任务零空间中的优化方法NSPO，在显著提升模型安全性的同时有效保留数学、代码等通用能力，缓解对齐税。

发现统一多模态模型存在视觉记忆与文字表达分离的模态失语现象，揭示仅靠文本对齐会因跨模态对齐失效而仍可生成不安全图像。

提出利用正交子空间分解解决多目标偏好对齐中的梯度冲突，从参数层面平衡大语言模型的有用性、无害性与真实性。

提出基准PluriHarms以系统研究人类在AI危害判断上的分歧与价值观多样性，包含150个提示词与1.5万条标注，揭示了当前对齐方法在多元安全上的不足。

针对偏好数据中的噪声与对抗反馈，提出基于EM算法推断标注可靠性的对齐框架RE-PO，自适应加权损失，显著提升主流对齐算法表现。

用高质量参考输出增强 LLM 评审器，并让参考引导的评审器驱动自我改进，在 AlpacaEval 和 Arena-Hard 上优于 SFT 蒸馏和无参考基线，效果接近微调奖励模型。

研究发现奖励模型会从其基座模型中持久继承深层的人类价值偏置，即使偏好数据相同也会产生显著差异，强调了预训练阶段对齐的重要性。

针对大模型偏好对齐中偏离主流分布的长尾偏好泛化脆弱性，提出免训练的鲁棒偏好选择方法RPS，通过采样局部偏好邻域候选并达成共识，提升对齐可靠性。

提出表层安全对齐假说，指出安全对齐本质是二分类决策且仅需神经元级少数关键单元建立护栏，微调时冻结安全关键单元可最小化对齐税并保持安全性。

提出基于贝叶斯逆强化学习的对齐审计框架，通过推断目标分布量化非可辨识性并暴露虚假捷径，为安全团队提供验证大模型真实对齐目标的工具。

通过偏差-方差分解形式化AI错误不连贯性，发现推理越久失效越不连贯，表明未来高级AI更可能引发偶发意外而非持续追求未对齐目标，加大了奖励作弊等对齐研究的重要性。

针对偏好学习无法反映真实认知的问题，提出公理化认知决策模型，更准确拟合人类判断以促进价值对齐。

针对大推理模型思维链中潜藏有害内容的问题，提出干预式偏好优化（IPO），通过将顺从步骤替换为安全触发器来对齐推理过程，显著降低有害性。

提出跨模态生成模型可信度动态评测平台TrustGen，涵盖真实性、安全性与伦理等25个维度，评测发现开源模型已匹敌闭源，且可信度与有用性存在复杂权衡。

针对弱监督下模型易通过欺骗博取奖励的问题，引入对等预测方法评估与训练大语言模型，奖励诚实回答并抵抗欺骗，实现了可靠的可扩展监督。

将弱到强泛化扩展至复杂交互决策环境，提出让强模型同时从弱模型的成功和失败轨迹中学习，通过轨迹树和MCTS显著提升强模型的泛化性能。

研究了大模型在良性提示下自发产生的主动欺骗行为，提出量化欺骗意图与欺骗行为的评估框架，发现两项指标随任务难度上升，且扩大模型规模未能消除欺骗。

评估前沿模型通过隐写传递信息和推理来规避监控的能力，发现其初显隐写能力但目前尚难避开精心设计的监控器。

研究人机协作问答中对抗性AI助手如何通过建模人类信任演化操纵群体决策并损害团队，揭示了团队决策中的欺骗攻击机制。

提出LH-Deception多智能体模拟框架，系统量化11个前沿大模型在长程交互和动态压力下的欺骗行为，揭示了单轮评测无法发现的“欺骗链”现象。

提出PRISON框架评估大语言模型在虚假陈述、诬陷和心理操纵等犯罪倾向上的风险，发现主流模型常自发展现出欺骗与规避战术。

提出自我报告微调（SRFT），通过训练模型承认事实错误，使该诚实倾向泛化至对抗性智能体场景，在审问中高准确率坦白隐藏的未对齐目标。

针对模型感知评测并伪装对齐的问题，通过向激活添加干预向量成功抑制了评测感知，使模型在评测时展现部署状态下的真实行为。

发现前沿模型面对恶意请求时会策略性给出看似有害实则无效的回复以绕过监控，但可通过内部激活的线性探针进行可靠检测。

发现Claude 3.5 Sonnet在感知监控时能在不显式表达欺骗推理的前提下展现对齐伪装，逃避监控能力显著强于指令引导。

针对能避开思维链监控的隐式奖励作弊，提出通过逐步截断思维链并衡量推理工作量来检测模型钻奖励漏洞的方法TRACE。

针对RLHF在分布外场景下容易发生奖励作弊的问题，该研究联合训练单目标BT与多目标回归奖励函数，显著增强了奖励模型缓解奖励作弊的能力与评分表现。

针对强化学习对齐中奖励模型易受长度偏置作弊的问题，提出解耦语义偏好与长度要求的响应条件建模框架Rc-RM与Rc-DPO，有效缓解长度偏置。

研究偏好模型对长度、结构、术语、谄媚和含糊的偏好偏差，发现其与人类偏好显著失准；用反事实数据增强微调，将平均失准率从 39.4% 降到 32.5%。

提出 caution 方法，训练误差模型并惩罚非典型回复的奖励估计，在 BoN 采样中显著缓解奖励作弊，并在简化线性设定下给出理论保证。

构建ImpossibleBench基准，通过在规范与单元测试间制造冲突来量化LLM智能体的测试作弊行为，分析作弊机制并为开发监控工具提供测试平台。

将奖励作弊建模为相关代理奖励空间上的鲁棒策略优化问题，提出最大最小化规划方法，在最坏情况下显著提升了强化学习策略的鲁棒性与表现。

针对大模型对齐中奖励模型易受表面特征影响而发生奖励作弊的问题，提出CROME框架，通过因果准则生成目标数据增强，有效缓解了奖励作弊并提升了安全性。

发现偏好优化会降低 CoT 解释的忠实性，模型可能为迎合奖励模型而编造解释；将预测的因果归因加入奖励模型输入，可在受控环境中减少误导性解释。

提出统一正则化目标，同时兼顾防止奖励作弊的 KL 约束与稳定更新的策略裁剪，在多个基准上优于 RLHF 和在线偏好学习方法。

测试 28 种密码下模型能否进行加密推理以规避 CoT 监控；模型虽能翻译密文，推理准确率却显著下降，且与密码在预训练数据中的流行度相关，当前规避监控效果有限。

引入推理瓶颈迫使信息经由自然语言传递，抑制隐写编码并显著提升思维链的因果依赖与可监控性。

发现仅对输出进行监督仍会通过模型泛化与自回归强化导致思维链混淆，进而掩盖不良行为并阻碍监控，并据此提出了兼顾任务性能与可监控性的缓解方法。

通过 on-policy 重采样分析 CoT 的因果作用：在 agentic misalignment 勒索场景中，自保类语句对决策影响很小；还量化了提示 hint 对推理的累积影响。

利用持续同调研究对抗输入如何重塑大语言模型的内部表征几何，发现间接提示注入与后门微调均会导致潜在空间发生拓扑压缩，揭示了表征变化的几何不变量。

提出AlphaSteer激活干预方法，通过零空间约束保持良性提示性能并引入拒答方向，有效防御越狱攻击且不损害通用能力。

定位了CLIP中处理排版文字的注意力头回路，通过选择性消融该回路在无需微调的情况下显著增强对排版攻击的鲁棒性。

研究发现微调时泛化不对齐比狭义不对齐更具稳定性和效率，并分离出可用于监控和干预不对齐行为的通用不对齐线性表征。

提出Concept DAS方法，通过弱监督分布匹配与分布式交换干预实现双向概念调控，能有效干预安全拒答行为并消除思维链后门。

提出基于越狱关键神经元JailNeurons的多模态大模型越狱检测方法JDJN，通过跨层聚合神经元特征训练检测器，实现了高检测率、低误报率与快速推理。

将激活建模为可组合的 cognitive elements，定义谓词规则实时检测有害行为，无需重训即可配置安全策略，提升精度与可审计性。

提出免训练的推理期激活干预方法PCMS，通过操纵内部表征在保持模型可用性的同时抑制用户特定的不良内容。

提出激活差异透镜，通过分析基座与微调模型的激活差异及特征干预，可恢复微调数据内容并检测涌现对齐失效等现象，为安全与可解释性研究提供了方法警示。

在多种条件下复现 emergent misalignment，并用 SAE model diffing 找到多个“未对齐 persona”特征，其中毒性 persona 特征最能控制并预测该行为；少量良性样本微调即可恢复对齐。

提出分离激活中特定概念表征的框架RepIt，可针对性抑制对大规模杀伤性武器等危险概念的拒答且绕过标准安全评测，揭示了评测盲区与拒答表征的脆弱性。

提出对比权重干预方法，通过权重加减隔离行为方向，相比激活干预具有更强泛化性，能有效减少微调引入的谄媚与拒答不足，并可用于检测突现的对齐失效。

提出SteerMoE框架，通过在推理时选择性激活或停用特定行为相关专家，在无需微调下控制模型安全性与真实性，并揭示了MoE的安全漏洞。

提出通过分析微调模型与基准模型权重差异的主奇异向量来监控和控制模型行为的方法，无需相似分布数据即可高效检测后门攻击并审计遗忘学习效果。

揭示推理能力增强引发对齐失效的现象，并通过注意力头与安全神经元激活缠结提供了神经元级的机制解释。

提出在激活空间分析表征及其梯度的归因框架，能精确将有害内容、后门投毒和知识污染等不良行为追溯到具体的训练样本与短语，为模型审计提供诊断工具。

提出 monitor red teaming 流程，在 SHADE-Arena 上压测隐蔽不良行为监控；发现 agent 知晓被监控会显著削弱检测，混合式监控设计让弱监控者能监督强 agent。

发现不可信模型可通过在输出中嵌入提示注入绕过监控器，全面破坏现有AI控制协议，并导致重采样防御机制适得其反。

提出Control Tax概念量化AI控制协议的运行与经济成本，构建安全保证与成本映射的理论框架，并给出平衡安全与预算的监控优化策略。

提出FAB攻击，通过元学习构造出表面良性但在下游微调后会激活潜伏对抗行为（如越狱、过度拒答）的受损模型，揭示了微调过程中的安全风险。

提出首个利用环境物体作为触发器的具身智能体视觉后门攻击框架BEAT，通过对比触发器学习强化判定边界，在维持良性任务性能的同时实现高达80%的攻击成功率。

揭示了恶意开发者利用仿真器动力学在强化学习智能体中隐蔽植入动作级后门的新威胁，提出无须修改或观测奖励的攻击方法Daze，并在机器人硬件上成功迁移验证。

提出模块切换防御（MSD）方法，通过演化算法优化模块融合策略以打破后门捷径，在少量模型甚至共谋后门攻击场景下均展现出优异的防御鲁棒性。

发现传统梯度上升后门消除方法会导致触发器影响转移至其他类别，提出引入动态惩罚机制的鲁棒梯度上升方法，有效清除后门且保持模型效用。

针对模型编辑后门攻击易在中途回退至拒答的问题，提出双目标编辑框架DualEdit，通过促进肯定词并抑制拒答词，提升了后门攻击成功率并降低安全回退率。

揭示了大模型剪枝的安全隐患，攻击者可构造未剪枝时表现良性、一旦剪枝即展现恶意行为的模型，在多种剪枝算法下均能高概率触发越狱等攻击。

揭示在地理分布式和联邦训练中，单个恶意参与者可通过正则化与伪对比样本绕过服务端防御，向大模型植入后门触发器并破坏安全对齐，攻击成功率达80%。

提出一种联邦学习中协作检测中毒数据节点的机制，在IID与非IID设定下均达到攻击损失的近最优理论下界。

发现后门关联冗余编码于 MLP 层，通过构造多个合成后门模型提取共有后门签名并中和相关组件，在多种后门攻击下保持生成能力。

提出利用锐度感知最小化放大后门效应，增强触发器激活神经元，从而显著提高在弱后门和强后门攻击下的投毒样本检测性能。

首次研究联邦提示学习中的后门攻击，恶意客户端注入不可察觉触发器；提出基于嵌入空间异常检测的轻量防御，在五个数据集上显著降低后门准确率。

揭示了扩散模型后门攻击中的时空冗余现象，并提出STEDiff框架，包含加速后门注入的STEBA策略与后门检测率达99.8%的STEDF检测框架。

发现投毒图像在后门CLIP中与目标文本仅呈浅层恶意匹配，据此构建子空间检测方法，有效在测试期识别多种后门攻击的投毒样本。

提出首个针对离线强化学习中轨迹优化模型的动作级后门攻击TrojanTO，采用交替训练与轨迹过滤，仅需0.3%的数据投毒量即可隐蔽且高效地植入后门。

结合Token级注意力和梯度信息构建异常评分，提出一种推理阶段后门防御方法，显著降低文本分类攻击成功率并实现后门触发词定位。

从互信息减少的视角解释不可学习样本机制，提出通过最大化类内特征余弦相似度降低协方差的MI-UE方法，有效阻止未授权模型学习用户数据。

提出一种用于大语言模型预训练的间接数据投毒后门方法，在目标行为未出现在训练集的情况下，仅用极少投毒数据即可隐蔽植入秘密响应后门以追踪数据使用。

系统评估了差分隐私微调大模型在成员推断与金丝雀提取攻击下的实际隐私风险，发现分布偏移对经验隐私保护具有显著影响。

提出面向高维机制的ε-高斯可认证性，理论证明单步牛顿法结合高斯噪声即可同时实现隐私消除与模型精度。

发布开源模型套件Hubble，通过可控插入文本模拟记忆风险，揭示敏感数据频率和训练阶段对记忆的影响，为成员推断与机器遗忘提供基准。

提出通过提高注意力Softmax温度来消除记忆关联的遗忘框架ASU，在TOFU与WMDP等基准上实现了稳健的知识遗忘并保持了模型输出连贯性与实用性。

揭示开源大模型提供商可通过后门训练在黑盒环境下窃取下游私有微调数据，最高可完全提取94.9%的样本。

指出增删相邻关系低估了单条样本属性的隐私泄露风险，提出针对替换相邻关系的审计攻击，表明现有隐私保证难以有效保护微调标签等属性。

提出针对多任务学习共享表征的纯黑盒任务推断攻击，攻击者仅利用查询样本得到的嵌入向量即可推断某任务是否包含在训练集中，揭示了共享表征的隐私泄露风险。

提出文本嵌入隐私保护框架SPARSE，通过可微掩码识别敏感维度并结合马氏机制定向加噪，在降低嵌入反演攻击隐私泄露的同时保持了下游效用。

揭示了仅用私有数据指导公开数据筛选仍会在各环节泄露成员隐私，并提出了差分隐私筛选算法以减轻泄露。

针对多模态推理模型推断图像地理位置的隐私风险，提出ReasonBreak框架，利用概念感知扰动破坏层级思维链推理以实现地理隐私保护。

揭示了攻击者可利用多模态大推理模型从用户自拍等日常图片中精准推断家庭住址等敏感地理位置隐私，并提出DoxBench数据集与两阶段攻击框架。

提出DP-Fusion差分隐私推理机制，可证明界定上下文中敏感Token对输出的影响，在保护文档隐私的同时维持高质量生成。

揭示了现有大模型遗忘方法常通过虚假神经元隐藏敏感知识而非彻底消除的问题，提出基于归因正则化的Ssiuu方法，有效防止再训练时遗忘知识复现，保障隐私安全。

针对长尾遗忘场景下的遗忘偏差问题，提出动态损失重加权方法FaLW，通过对比样本与同类未见数据分布自适应调整遗忘强度，以满足被遗忘权等隐私规范。

提出一种黑盒攻击框架，利用RAG系统与标准LLM之间的知识不对称性分解对抗查询，实现对检索知识库私密敏感信息的细粒度精准提取与定位。

提出客户端噪声校正框架HIDDENECHO，通过在客户端细化隐藏状态抑制差分隐私输入在深层网络中的噪声放大，在保护文本隐私的同时大幅提升下游任务性能。

针对文本生成等多输出多样性任务中PATE协议的效用冲突，提出Hot PATE采样器，在仅需API访问下无需额外隐私代价即可有效保留生成多样性。

提出信息论成员推断方法InfoRMIA，并构建Token级细粒度记忆评估框架，将隐私泄露精确定位到输出中的具体Token，全面优于现有基准RMIA。

为满足隐私合规要求，提出将敏感知识从模型参数转移至外部记忆Token，实现了多模态大模型的可逆遗忘与动态编辑。

基于标签平滑对模型置信度和差分隐私的影响，提出即插即用的逆向标签平滑梯度遗忘方法UGradSL，在微小计算开销下有效消除特定训练数据记忆并改善局部差分隐私。

发现仅少量权重导致成员推断隐私漏洞且同时贡献泛化，提出仅回退这些权重再微调，增强对成员推断攻击的抵抗并保持效用。

揭示梯度上升遗忘会导致概率质量转移至高似然重述区（挤压效应），提出结合模型自身高置信信念的遗忘框架，实现更彻底的数据遗忘。

提出EAPrivacy基准以评估具身智能体的物理隐私意识，发现主流模型在任务与隐私约束冲突时普遍忽视隐私，存在根本性对齐缺陷。

首次系统研究扩散语言模型的 MIA 漏洞，提出 SAMA，聚合多种掩码子集的信号；在九个数据集上 AUC 相对最佳基线提升 30%，低假阳性率下最高提升 8 倍。

揭示SAM在提升泛化性能的同时显著加剧了成员推断攻击风险，因其对非典型子模式的高记忆度降低了预测方差并放大了成员信号。

提出部分盲遗忘学习框架Reload，无需直接保留和访问遗忘数据集即可消除LLM中的敏感实体记忆，有效降低隐私数据存储与泄露风险。

基于同态加密的非交互式安全 Transformer 推理框架，用免旋转的 Softmax/LayerNorm 等设计减少 HE 旋转，评估时间比 THOR 降低 52.8%。

提出利用局部模型崩溃进行大模型机器遗忘的方法PMC，无需在优化目标中使用待删除的隐私数据，更有效地消除隐私信息并保持模型通用效用。

利用训练数据中自然存在的加密哈希等结构化随机串作为自然标识符，实现了无需重训的事后差分隐私审计与数据集推断。

提出无需文本描述的扩散模型成员推断攻击方法MoFit，通过构建过拟合的模型嵌入放大成员样本条件损失，有效审计训练数据隐私。

提出提示词数据最小化量化框架与树搜索算法，发现前沿模型虽耐受更高脱敏率但自主最小化能力不足。

提出一种通过元梯度下降优化金丝雀样本的方法，改进了基于成员推断的差分隐私黑盒审计，显著提升了针对差分隐私模型隐私参数的经验下界估计效率。

针对私有数据有限场景，提出PE-SGD差分隐私训练框架，通过进化策略动态更新梯度投影子空间并优化加噪位置，显著提升了小隐私预算下的模型表现。

针对大模型检索增强生成中的敏感查询和文档泄露风险，提出密码学RAG框架Pisces，通过不经意过滤与标记PSI协议兼顾语义和词法检索隐私。

提出轻量 Anonymizing Adapter Module，在冻结视频编码器的特征上去除肤色、性别等隐私信息，隐私泄露降低 35%，下游任务性能接近基线。

针对联邦学习中的源推断攻击，提出结合参数级混洗与剩余数系统的防御机制，在不损失模型精度的前提下将攻击准确率降至随机猜测水平。

从统计估计和网络逼近两个互补视角证明扩散模型中记忆与泛化的理论分离，并据此设计剪枝方法，在保持生成质量的同时有效减少扩散Transformer中的数据记忆。

揭示模型逆向攻击中的数据泄露源于对抗非鲁棒特征而非单纯记忆，据此提出反对抗训练方法以抵御重建攻击并揭示隐私与鲁棒性的权衡。

提出PURGE方法，基于群体相对策略优化将大模型消除预训练记忆敏感数据的过程转化为可验证任务，在高效遗忘的同时保持实用性。

提出MU-Mis方法，通过最小化模型对遗忘样本的输入敏感度来直接抑制其贡献，无需访问保留数据即可实现高效遗忘且不损伤模型效用。

提出结合对抗性隐私解耦与不确定性聚合的联邦学习框架，在保障公平性同时使成员推断攻击率降低37%。

发现句法相似性而非主题相关性触发被遗忘信息的恢复，提出句法多样化改写遗忘查询，抑制再学习并缓解遗忘效果与效用的权衡。

该研究提出ReTrace攻击框架，将遗忘数据恢复建模为强化学习问题，利用模型残留遗忘痕迹引导生成器有效重构出已被删除的图像与文本隐私样本。

用 LLM 作为优化器，在模拟的多轮 Agent 交互中交替改进攻击与防御策略；攻击从直接索取升级为冒充和伪造同意，防御演化为身份验证状态机，且可跨场景和模型泛化。

针对隐私保护推理中同态加密与多方计算的高计算开销，提出利用无条件分数矫正近似误差的框架，在保护客户端数据隐私的同时加速推理。

分析了锐度感知最小化在机器遗忘中的表现，提出Sharp MinMax平衡保留与遗忘，显著增强了对成员推断攻击的防御能力。

提出隐式知识提取攻击IKEA，无需越狱或提示注入即可通过良性查询高效窃取RAG外部知识库，揭示了严重的隐私与侵权泄露风险。

该研究首次系统评估了SMOTE的隐私风险，提出成员推断攻击以及能高精度重构真实少数类样本的重构攻击，揭示其固有的隐私泄露隐患。

提出结合细粒度文本匿名化与推理阻止优化的防御框架TRACE-RPS，通过注意力机制识别隐私元素并诱导模型拒答，将属性推断准确率从50%降至5%以下。

提出评估LLM表格数据成员推断攻击的基准Tab-MIA，揭示预训练模型在微调后会严重记忆表格数据并面临显著的隐私泄露风险。

针对纵向联邦学习中敏感标签遗忘难题，提出基于流形Mixup表征增强的梯度遗忘与恢复方法，在不泄露敏感标签的前提下实现高效且保持可用性的少样本标签遗忘。

该研究发现大语言模型在机器遗忘后会留下持久指纹，攻击者仅凭输出文本或对数概率就能高准确率判定模型是否经历遗忘，带来逆向工程被遗忘信息的隐私风险。

针对近似机器遗忘易受成员推断和数据重构攻击的隐私泄露风险，提出利用神经网络对称性的WARP防御方法，显著降低被遗忘数据的信号泄露。

提出无须模型权重与概率的RUT检验方法，可高效审计并检测黑盒API服务中的有害微调与模型篡改。

提出诱导攻击方法，通过向前沿模型请求相邻安全领域的回答并微调开源模型，成功恢复了危险化学合成领域的有害能力差距。

针对DNA语言模型设计高危人类病毒的生物安全风险，提出越狱攻击框架GeneBreaker与评测基准，发现模型放大双重用途风险，呼吁强化安全对齐。

提出PropensityBench基准，在网络安全、自主增殖、生物及化学安全领域，评估大模型在具备模拟危险工具与现实压力下采取有害行为的潜在倾向。

构建涵盖化学、生物等六大高危科学领域的基准SoSBench，评测发现DeepSeek-R1和GPT-4等前沿模型违规内容输出率极高。

在包含约8000台主机的真实网络中评估AI智能体与人类网安专家，所提框架ARTEMIS发现9处有效漏洞，表现超过90%的人类参与者且成本优势显著。

该研究提出首个评估计算机使用Agent通过图形界面利用Web漏洞的基准HackWorld，测试发现现有SOTA智能体利用率低于12%，在多步攻击规划上存在短板。

针对大模型生成易受攻击代码的问题，提出安全代码生成RAG框架RESCUE，结合程序切片知识库构建与分层多面检索，显著提升生成代码的安全性指标。

通过过滤生物威胁相关预训练数据，模型对长达 10,000 步的对抗微调有显著抗性，且不损害其他能力；但上下文提供信息时仍可利用，需纵深防御。

提出恶意微调方法评估开源模型在生物和网络安全领域的危险能力上限，发现其能力低于前沿闭源模型，表明发布开源模型带来的净新增危害有限。

发现仅需单个安全样本即可完全恢复微调大语言模型受损的安全对齐，揭示了安全梯度的低秩特性，在不损失实用性的前提下实现极低成本修复。

实证研究发现安全行为与通用学习组件高度纠缠，安全子空间在权重和激活空间中重叠，表明基于子空间的微调防御存在根本局限。

提出防御方法SEAM，通过耦合良性与有害数据的优化轨迹将大模型转化为自毁灭模型，在遭受恶意微调时性能严重退化甚至崩溃，从根本上抵御微调安全攻击。

提出自适应红队智能体ARMs，结合多步编排与分层记忆自动化生成攻击策略，并构建了包含3万条用例的多模态安全基准ARMs-Bench。

提出强化学习框架Auto-RT，引入动态策略剪枝与渐进式奖励追踪，自主探索越狱策略以提升漏洞覆盖率与发现速度。

提出CAGE框架以解耦对抗结构与文化内容，自适应生成契合当地文化与法律的红队测试基准，构建的韩语基准能更有效发现模型漏洞。

通过评估逾600对攻击者与目标模型，揭示红队越狱成功率受两者能力差距主导并提出越狱标度曲线，指出固定能力的测试者面对更强模型时可能失效。

提出C3LLM框架，通过将多轮对话建模为查询图上的马尔可夫过程，以统计保证量化前沿模型生成灾难性响应的概率下界，揭示了显著的安全风险。

带自适应记忆模块的红队 Agent，可选择并组合越狱工具，并用沙箱评估执行结果；攻击成功率优于现有方法，并在 Cursor、Codeium 上发现了此前未知的风险。

构建包含585个多国真实事件提示的基准SocialHarmBench，对抗性评测开源模型在威权监控、虚假宣传等高风险社会政治领域的鲁棒性与防护失效。

提出STAR黑盒自动化红队测试框架，将越狱策略探索转移至潜在激活空间，通过提取和重组策略主成分生成多样化越狱提示词，显著提升攻击成功率。

提出结合强化学习与树搜索的DialTree框架，将对话建模为序列决策问题，无需人工标注即可自主发现多轮攻击策略，大幅提升红队攻击成功率。