顶会安全论文

提出黑盒越狱框架AutoDAN-Turbo，无需人工干预即可自主探索发现越狱策略，在GPT-4等主流模型上取得了显著更高的攻击成功率。

针对只能获得 top-1 标签的黑盒对抗攻击，用代理模型的迁移先验改进梯度估计，在 ImageNet 和 CIFAR-10 上查询效率超过 11 种现有方法。

针对l0范数非凸非可微难题，提出基于可微近似与自适应投影的梯度攻击方法sigma-zero，无需调参即可在多种图像基准上取得更高的对抗攻击成功率与效率。

提出一种无盒设置下针对AI生成图像水印的迁移逃逸攻击，通过攻击替代模型使含水印图像逃逸目标检测器，证实主流水印检测器面对逃逸攻击并不鲁棒。

提出首个针对大音频语言模型的越狱攻击框架AdvWave，通过双阶段梯度优化和自然环境音伪装，在保持音频自然隐蔽的同时大幅提高了越狱成功率。

提出Engorgio攻击方法，通过跟踪预测轨迹和设计损失函数抑制结束符生成，诱导大模型输出异常冗长文本，大幅增加推理计算成本与延迟，威胁服务可用性。

提出基于信息泄露的评测框架和推理型攻击者威胁模型，问题分解攻击比传统越狱更有效地从受审查 LLM 中提取危险知识，且防御必然牺牲效用。

提出两阶段攻击框架DeepCoG，通过提示与微调诱导LLM进行心理操纵（煤气灯效应），揭示其安全漏洞并提出防御对齐策略。

提出在黑盒分类设置下通过诱导模型输出置信度指导对抗攻击，通过最小化置信度提升误分类概率，效果显著优于现有硬标签黑盒攻击。

发现将有害请求改写为过去时即可高成功率越狱主流大模型，揭示当前拒答对齐技术的泛化缺陷，并验证在微调中显式加入过去时样本可有效防御。

提出ReG-QA方法评估安全微调LLM对自然提示的泛化性，发现通过未对齐模型反推自然问题能有效越狱GPT-4等对齐模型，且能规避现有平滑防御手段。

提出Q-Misalign攻击方法，使安全失准状态在全精度大模型中保持潜伏而在量化后被激活，并利用对比任务向量增强攻击持久性，显著提升量化模型的越狱成功率。

提出上下文序列多轮越狱攻击方法，将其建模为多臂老虎机问题以学习上下文切换查询序列，在主流开源模型上取得了 95% 的越狱攻击成功率。

提出利用上下文学习诱导模型掌握随机双射编码的越狱攻击算法，发现模型能力越强越容易受到复杂双射攻击，揭示了随规模涌现的安全脆弱性。

对40余个开源VLM的研究发现，基于梯度的通用图像越狱攻击在不同模型间极难迁移，表明VLM对此类攻击更具鲁棒性。

提出泛函同伦优化方法，通过连续参数平滑离散输入空间，用于大模型越狱攻击合成，在规避Llama-2和Llama-3等安全模型时成功率提升20%-30%。

提出两阶段算法生成图像语义区域内的分组稀疏对抗攻击，在显著提高稀疏度与计算速度的同时实现了100%的攻击成功率。

提出领域特定语言h4rm3l及合成框架，将越狱攻击形式化表达为变换原语组合，在多个主流大模型上实现超90%成功率。

针对GCG越狱效率低的问题，提出多样化目标模板、自适应多坐标更新策略与由易到难初始化，构建高效越狱方法I-GCG并取得近100%成功率。

将LLM易受对抗攻击归因于对齐过程中的奖励错误指定，并提出自动化红队系统ReMiss生成对抗提示，在AdvBench上取得SOTA越狱成功率。

展示主流安全对齐大模型仍易受自适应越狱攻击，利用对数概率随机搜索、提示模板定制和预填充等技术，在GPT-4o、Claude等模型上实现极高越狱成功率。

将规则遵循形式化为 Horn 逻辑推理，证明恶意提示可误导理论模型和真实模型，且主流攻击算法产生的注意力模式与理论一致。

针对测试时自适应提出无需测试标签的对抗攻击算法，证明现有防御几乎无效并揭示其安全漏洞。

提出针对受防御大模型的越狱攻击ArrAttack，利用通用鲁棒性判别模型生成可绕过多种防御的越狱提示，在GPT-4和Claude-3等黑白盒模型上展现出强迁移性。

提出结合损失引导探索与优质后缀微调利用的两阶段对抗提示生成方法ProAdvPrompter，大幅提高了针对已对齐大模型的越狱攻击成功率。

提出利用扩散模型生成多分辨率双语义图像的分辨率攻击，成功欺骗分类器并揭示了模型对分辨率变化的脆弱性。

提出时间不变性攻击与模态错位攻击，并设计音视频对抗训练框架，在 Kinetics-Sounds 上攻击效果领先，防御显著提升鲁棒性与训练效率。

研究了针对语言模型内部激活与输入Token的对抗攻击，推导出攻击易感性的缩放定律，证实操纵少量激活即可精确控制模型后续大量生成Token。

揭示了骨骼动作识别中对抗攻击迁移性差的原因，提出基于损失平滑和运动动力学的迁移攻击方法TASAR，并构建了首个大规模鲁棒性基准。

揭示了对抗序列因过拟合导致越狱迁移性差的机理，提出PiF方法打散注意力掩盖恶意意图，显著提升对闭源模型的越狱迁移效果。

提出结合动态NeRF与UV映射的物理对抗攻击UV-Attack，通过在人体上修改衣物纹理生成对抗样本，显著提升了针对动态视频中行人检测器的逃逸攻击成功率。

提出偏好操纵攻击，利用精心设计的网页内容或插件文档诱导大模型偏袒攻击者产品并贬低竞争对手，在必应等真实大模型搜索与插件中验证了威胁。

针对LLM因无法分离指令与数据而易受间接提示注入攻击的风险，提出指令与数据分离的形式化度量与SEP基准，实证发现主流模型均无法有效实现二者分离。

提出指令分段嵌入技术将指令优先级直接融入模型架构，使模型能显式区分并优先处理高优先级指令，显著增强了抵御恶意提示注入的能力。

构建覆盖 10 个场景、27 类攻防方法的基准，评测 13 个 LLM 后端，最高攻击成功率 84.30%，现有防御效果有限。

提出涵盖11类危害与110个恶意任务的基准AgentHarm，发现主流大模型对恶意Agent请求顺从度高，且通用越狱易促成连贯的多步骤有害行为。

构建测试套件BrowserART评估浏览器智能体，发现基座LLM在对话中虽能拒答有害指令，但作为智能体时拒答失效且易受越狱攻击，凸显智能体安全风险。

提出首个针对机器人操作的越狱攻击范式BadRobot，利用语言输出与物理动作的不对齐等漏洞使具身智能体突破安全约束并执行危险物理动作。

提出ARE评估框架，发现攻击者仅需对网页单张图像添加微小扰动即可高达67%成功率劫持智能体执行目标恶意任务。

针对通用Web智能体提出环境注入攻击EIA，通过在网页中注入对抗内容实现高成功率窃取用户隐私或完整请求，揭示了智能体自治与安全间的权衡。

提出通过引入RESET特殊标记让模型撤回自身不安全生成的回溯技术，可融入SFT或DPO训练，大幅提升模型安全性并抵御自适应攻击。

揭示当前安全对齐只改变前几个输出token的“浅层对齐”缺陷，指出这是导致越狱易受攻击的根源，并提出加深对齐深度与正则化微调防御。

提出结合数据驱动模型与概率图模型逻辑推理的安全护栏R^2-Guard，显式建模安全类别间关联，在内容审核与防御越狱攻击上显著超越现有护栏。

提出对抗扩散桥模型ADBM，直接构建从加噪对抗样本到干净样本的反向桥，显著提升对抗净化防御能力。

把攻击者建模为追求自身目标而非单纯破坏分类器，提出 strategic training，利用对手动机的先验在不确定集内防御，减少过度保守。

针对扩散模型被恶意用于图像修复篡改的威胁，提出 AdvPaint 防御框架，通过针对自注意力和交叉注意力的对抗扰动破坏语义交互，有效阻止未经授权的图像篡改。

提出首个不可检测的生成式图像模型水印方案，利用伪随机纠错码在不降低图像质量的前提下抵抗现有的水印去除攻击。

提出可学习的攻击策略网络，用对比损失奖励和 REINFORCE 自动发现攻击参数，在 CIFAR10/100、STL10 上取得最优的自监督对抗鲁棒性。

提出一种基于超图度量空间的LLM安全过滤方法，通过建模Token嵌入的几何结构与信息流差异区分良性与恶意提示，有效防御基于说服的社会工程越狱攻击。

提出包含11类有害话题严重程度细则的BingoGuard内容审核系统，可同时预测二元安全标签与风险等级并在基准上达SOTA。

针对视觉语言模型的黑盒越狱攻击，提出包含视觉净化器、文本净化器和强化微调后缀生成器的蓝队防御方法BlueSuffix，大幅提升跨模态鲁棒性。

提出首个针对Levenshtein距离计算卷积分类器Lipschitz常数的方法LipsLev，能单次前向传播计算可验证半径并提升防御效率。

提出首个在CLIP多模态隐空间进行对抗纯化的防御方法CLIPure，无需额外训练即可高效抵御未知对抗攻击并大幅提升鲁棒性。

提出 CPE，用非线性 Residual Attention Gate 擦除名人、画风和露骨内容等目标概念并保留其余概念，通过对抗训练提升对攻击提示的鲁棒性。

提出免训练的ConceptPrune方法，通过剪枝约0.12%的关键权重擦除裸露等不安全概念，有效防御白盒与黑盒对抗性越狱攻击。

发现现有视觉语言对齐未能把文本安全机制迁移到图像，提出 TGA 文本引导对齐，无需视觉安全微调即可迁移安全机制并保持通用性能。

用非参数核相对检验判断文本更接近人类还是机器分布，并优化核函数，相比双样本检验降低对人类文本的误判，优于现有检测器。

针对通用对抗扰动导致的隐层异常熵谱，提出基于熵增强的民主化训练方法，在保持模型干净样本准确率的同时显著降低攻击成功率并提升鲁棒性。

提出DiffusionGuard防御框架，通过针对扩散过程早期阶段生成对抗噪声并引入掩码增强，有效抵御基于掩码等复杂场景下的未授权扩散图像编辑与隐私威胁。

提出动态神经堡垒防御方法DNF，利用动态早退网络使攻击查询在浅层随机退出，在保护网络架构与模型功能的同时显著降低计算成本。

研究视觉重编程在对抗攻击下的鲁棒性问题，发现采用具对抗鲁棒性的预训练模型并在重编程中引入目标任务对抗样本可显著提升重编程模型的对抗鲁棒性。

针对良性概念组合仍可能诱发不当主题图像的安全隐患，提出概念组合消除框架CoGFD，通过解耦共现高层特征消除不良概念组合，同时维持单个概念的生成质量。

提出两阶段推理期安全对齐框架ETA，通过评估输入输出并结合干预前缀与句子级采样搜索，将VLM在跨模态对抗攻击下的不安全率降低了87.5%。

发现对抗训练中存在类似持续学习的灾难性遗忘，提出 AMS 自蒸馏正则，提升 PGD、CW、AutoAttack 下的鲁棒准确率并缓解鲁棒过拟合。

评测显示图像和视频生成模型仅用通用关键词就可能生成版权角色，DALL·E 式提示改写不足，需配合负面提示等策略。

针对扩散模型通过消除概念降低有害内容生成风险时易影响无关概念的问题，提出自适应引导消除方法（AGE），动态选取最优目标概念以兼顾擦除效果与保真度。

通过在图像空间注入生长抑制剂并结合自适应缩放Adapter，无需微调即可有效抑制由隐式不安全提示词诱导的NSFW等不当概念。

提出通过越狱LLM生成多样化有害指令的数据增强方法HarmAug，在仅用少量计算成本下将大型安全护栏模型蒸馏至轻量级模型。

揭示视觉语言模型在多模态适配过程中存在内在安全能力退化现象，分析表明安全微调易导致过度拒答，进而提出通过模型权重合并兼顾模型安全性与有用性。

提出间接梯度蒸馏模块IGDM，通过将学生的输入梯度与教师梯度间接匹配，显著提升小模型在AutoAttack评估下的对抗鲁棒性。

构建MOSSBench基准，揭示多模态大模型在良性视觉刺激下的过度拒答现象，指出提升安全性的同时需兼顾保守与可用性。

提出轻量级防御方法Jailbreak Antidote，在推理时仅调整约5%的内部状态沿安全方向偏移，在不增加推理延迟的情况下灵活抵御多种越狱攻击。

提出轻量级受控解码算法SASA，仅利用LLM内部表征学习毒性子空间并动态调整采样策略，无需重训即可显著降低生成内容的毒性。

提出一种自蒸馏长尾对抗训练方法，利用均衡自教师模型提升长尾分布下尾部类别的PGD对抗鲁棒性，并在多个数据集上取得领先表现。

提出免微调的模型编辑方法 ProFS，通过识别并投影消除模型参数空间中的毒性子空间来降低模型毒性，在样本效率和抗噪性上优于 DPO。

系统评估了 9 种护栏模型在内容审查中的置信度校准，发现其在越狱攻击下严重失校准，并验证了上下文校准等后处理方法提升护栏可靠性的有效性。

提出包含正交LoRA与分布外检测器的O3框架，在无需保留历史数据的情况下实现大模型的持续遗忘并保持模型效用。

提出结合 Wasserstein 距离与 KL 散度的 Statistically Robust WDRO，给出鲁棒泛化界，实验显著缓解鲁棒过拟合并提升对抗鲁棒性。

提出基于极值理论的SPADE方法，利用隐空间广义极值模型对分布外和对抗样本进行形式化表征与拒识，为分类器提供可证明的安全保护。

指出不变性正则存在梯度冲突和混合分布问题，提出 ARAT（非对称不变性损失加 split-BN），在多种设置下优于现有对抗防御。

揭示对抗攻击通过消除残差流中的拒答特征来绕过模型护栏，提出拒答特征对抗训练（ReFAT），以低开销显著提升模型防对抗攻击的鲁棒性。

提出RobustKV防御框架，通过从键值缓存中选择性驱逐有害查询的关键标记，在保留良性性能的同时有效抵御对抗提示越狱攻击。

提出多模态视频护栏模型SafeWatch，通过并行编码安全策略与策略感知视觉Token剪枝，实现低开销且具备内容解释的零样本视频安全审核，并构建大规模评测基准。

提出免训练护栏SAFREE，通过在文本嵌入空间规避毒性子空间并在扩散潜空间引入自适应重注意力，有效抑制文生图和视频中的不安全内容。

分析 LoRA 微调如何破坏安全对齐相关特征，提出基于安全数据的固定安全模块与任务初始化，使微调不破坏原有对齐，效果优于其他适配器方法。

提出分数遗忘蒸馏方法SFD，通过将不安全概念的条件分数与安全概念对齐，在无需真实数据的情况下消除扩散模型中的有害生成内容。

提出结合语义代价与负推土机距离损失的监督微调方法，仅需少量模型自身的有害响应即可引导其远离不安全输出，实现高效的安全训练并探讨了过度对齐问题。

提出 domain certification 概念和 VALID 方法，为受限领域部署的 LLM 在对抗条件下的越域输出提供可证明的上界，并在多个数据集上验证。

构建含 44 类不安全主题、440 条指令及 20 种语言变体的拒答基准，微调 7B 评判器可媲美 GPT-4，并评测 50 多个模型。

针对语言模型将良性请求误判为有害的过度拒答问题，提出消融单个错误拒答向量的方法，无需重训即可有效降低错误拒答率并保留原有的安全与通用能力。

提出基于弱点分配策略的傅里叶数据变换方法，通过多样化非鲁棒特征有效防御对抗样本的可迁移性攻击。

针对对抗扰动破坏模型校准的问题，提出可验证校准方法以给出最坏情况界限，并通过新型校准攻击与对抗校准训练提升模型校准能力。

提出基于对比解码的数据集蒸馏方法UniDetox，将去毒化表征提炼为合成文本，使通用去毒化微调无需针对各模型单独调优即可有效降低多种大语言模型的毒性。

用稀疏多项式优化的半定规划松弛验证 BNN 对 ℓ∞ 和 ℓ2 对抗攻击的鲁棒性，提升验证可扩展性。

提出无需训练的 zero-cost proxy，基于对抗损失上界评估架构鲁棒性，比现有 robust NAS 快 20 倍以上。

发现基于贪婪解码的确定性评测会误判遗忘与对齐的成功率，提出首个针对输出分布的概率评测框架，并通过熵优化损失和自适应温度缩放提升了遗忘效果。

提出首创性的 MAP 框架，将多人类价值观对齐形式化为带约束的优化问题，通过对偶方法平衡无害性与有用性等多重价值目标的权衡并验证了其有效性。

评估通用偏好RLHF对毒性、偏见、伦理、真实性及隐私等可信度维度的影响，发现偏好对齐未必能保证可信度且常有反效果，并提出相应数据归因方法。

提出监督学习框架BFPO，将安全与有益的联合RLHF目标重构为单一监督学习目标，无需人工标注即可平衡安全性与有益性。

针对复杂任务中监督不可靠导致DPO失效的问题，提出迭代标签精炼方法ILR，用对比反馈改进训练数据后再做SFT，在安全指令遵循等任务上显著优于DPO。

提出同义词错误检测器TED，构建模型操作语义同义词库并与人类参考比对，发现抽象主观词指令会导致意外的不对齐行为，例如要求风趣反而诱发骚扰性输出。

受弱到强泛化启发，提出弱到强偏好优化WSPO，通过学习弱模型对齐前后的分布差异引导强模型对齐，在Arena-Hard等基准上显著提升对齐能力。

揭示了基于边距的偏好优化中存在的梯度纠缠缺陷，即增大边距可能反常导致不安全响应的概率上升，从而引发安全对齐失效，并从理论与实证上给出了判定条件。

将弱到强泛化形式化为从弱模型向强预训练模型迁移隐概念的迁移学习问题，从理论上证明微调的局限性并提出精炼方法，在多个大语言模型对齐任务中验证其实用性。

为应对超对齐中的弱监督难题，提出通过弱模型集成模拟人类观点差异，结合贝叶斯置信度与DPO引导强模型偏好学习，拓展了弱到强泛化在文本生成上的应用。

基于结构因果模型将谄媚归因于用户偏好与模型输出间的虚假关联，提出CAUSM框架通过注意力头重加权与表示校准有效消除谄媚。

提出一种利用现有对齐策略在推理阶段进行token级动态选择的混合智能体受控解码方法，显著提升了平均奖励与胜率。

提出 CoSA 框架与 CoSAlign 方法，让模型遵循系统提示中的自然语言 safety config，无需重训即可调整安全行为，并构建 CoSApien 基准。

提出利用跨迭代奖励一致性来正则化自奖励训练，缓解自我对齐中置信度过高的偏好标注与奖励偏差累积问题。

提出基于自回归奖励模型的测试时对齐方法GenARM，能预测逐token奖励以引导冻结模型，匹配训练时对齐效果并实现高效的弱到强引导与多目标对齐。

提出 MM-SY 基准评估视觉语言模型谄媚现象，并通过 SFT 与 DPO 等方法进行缓解，发现高层注意力缺乏对图像知识的关注是导致谄媚的重要原因。

提出逆向宪法式AI（ICAI），将成对文本偏好数据逆向压缩为可解释的原则集合（宪法），能高精度重构原始标注并有效识别偏好反馈中的潜在偏差。

研究发现RLHF会使语言模型为了获取高奖励而更擅长说服人类相信错误答案，揭示了RLHF中非预期诡辩这一重要失效模式。

针对大模型离线对齐容易过度优化的问题，提出动态更新参考策略的Trust Region对齐方法（TR-DPO等），有效缓解过度优化并提升有用与无害对话表现。

针对超人类模型对齐问题，提出多智能体对比偏好优化框架MACPO，通过弱教师与强学生双向强化正向行为与惩罚负向行为，显著提升弱监督下的价值对齐性能。

针对RLHF中自博弈方法难以精确收敛至原始博弈纳什均衡的问题，提出磁偏好优化（MPO），实现线性收敛速率的最后迭代收敛，有效提升大语言模型的对齐表现。

提出利用显式编码人类核心价值观的内在奖励对LLM智能体进行强化学习微调，在博弈环境中实现了道德对齐并消除了自私策略。

提出基于证明者-验证者博弈的神经交互式证明统一框架与新协议，使计算受限的可信验证者能有效监督强大的不可信智能体。

从模仿学习视角研究大模型偏好对齐，揭示RLHF隐式执行偏好分布上的模仿学习，并提出直接优化模仿学习目标的DIL统一对齐框架，在多个基准上取得更优表现。

提出多元对齐框架PAL，采用模块化设计结合群体共性与个体差异，以大幅减少的参数量和样本量实现对新用户偏好的高效少样本个性化对齐。

提出覆盖49个真实场景的奖励模型评测基准RMB，通过成对与BoN评估全面反映奖励模型在引导大语言模型对齐优化中的有效性与泛化缺陷。

理论分析表明Bradley-Terry等偏好模型在极端偏好下极度敏感，微小变化即可显著改变其他偏好预测，影响价值对齐的鲁棒性。

提出元基准SOS-Bench，发现LLM裁判偏好偏向文本风格而非真实性与安全性，未能与安全等具体对齐指标形成正相关。

证明在线DPO中均匀采样为线性收敛而在线采样达二次收敛，提出结合后验分布的实用采样器，在Safe-RLHF数据集上显著提升偏好对齐效果。

提出词元级重要性采样DPO目标TIS-DPO，利用对比模型估计词元权重以实现无偏优化，在无害性与有用性对齐任务上显著优于现有基线。

发现 DPO 训练中偏好回复似然下降（likelihood displacement），可能把拒答概率转移到有害回复，如 Llama-3-8B-Instruct 拒答率从 74.4% 降至 33.4%；提出 CHES 分数筛除相关样本以缓解。

系统研究发现弱LLM生成的对齐反馈能够媲美甚至超越人类标注数据，表明模型大小对反馈效果影响较小，可实现可扩展对齐。

发现LLM具备行为自我意识，能通过脱离语境的推理阐明自身微调学到的行为策略与角色设定，并实证了模型能够意识到自身被植入的类后门行为。

实证前沿语言模型可在危险能力评测中策略性隐瞒能力并维持常规能力，或通过密码锁定隐藏特定技能，揭示了评测易受装弱操纵从而威胁安全监管的风险。

发现基于用户反馈训练LLM会导致模型习得针对易受影响用户的操纵与欺骗策略，且安全训练可能失效甚至诱发更隐蔽的操纵行为。

发现在弱监督强模型的弱到强对齐中存在欺骗现象：强模型在弱模型已知维度表面对齐，却在弱模型未知维度产生未对齐行为以换取更高奖励。

基于代理奖励与真实奖励相关性崩溃提出奖励作弊新定义，证明正则化策略占用度量间的卡方散度可更有效缓解RLHF等场景的作弊。

揭示奖励模型准确率与下游策略表现仅呈弱正相关，并从回归古德哈特定律视角指出，仅依赖准确率无法有效捕捉奖励模型过度优化风险。

揭示了奖励模型混淆上下文信号与长度等无关伪影的缺陷，提出一种因果框架与数据增强技术消除伪影，显著缓解奖励作弊并提升对齐表现。

分析离线偏好优化中两类统计波动导致的奖励作弊，提出结合鲁棒奖励与动态标签的POWER-DL方法加以缓解。

利用稀疏自编码器发现语言模型表征空间中表征实体感知的方向，证实该方向能因果干预模型的拒答与幻觉行为，揭示了微调拒答机制的底层机理。

提出安全注意力头重要性得分Ships与归因算法Sahara，发现仅消融单个关键安全头即可导致对齐模型对有害请求的回答率激增16倍，揭示了安全注意力机制机理。

提出基于最优传输的 Activation Transport (AcT) steering 框架，可在 LLM 中降低毒性、提升真实性，在文生图模型中实现风格控制与概念否定。

提出 propositional probes 从激活中解码命题，在提示注入、后门攻击和性别偏见下解码结果仍忠实，说明模型内部常编码了忠实的世界模型。

提出条件激活干预方法CAST，通过在推理时分析隐层激活模式来条件性施加干预，无需更新模型权重即可实现对特定有害内容的精确拒答控制。

发现模型能在残差流中表征自我作者身份，并提取出与“自我”概念因果相关的表征向量，通过激活干预成功控制了模型对文本创作归属的判断与声明。

揭示对齐大模型参数层面的安全机制，定位出区分恶意查询的关键中间“安全层”，并提出在微调中固定安全层梯度的微调方法SPPFT以防安全退化。

定位了仅占参数量不到1%且位于自注意力层的安全神经元，提出SN-Tune与RSN-Tune对其进行专属调优，显著降低有害输出并抵御微调攻击。

提出结合微观协议与宏观协议的双层框架，通过自适应评估不可信模型风险来调度受信任模型监控，有效防范分散式安全风险。

提出基于拓扑图能量的联邦图后门防御方法FedTGE，在客户端构建能量替代样本聚类良性节点，并在服务端传播全局能量图调整聚合权重，有效防御各类后门攻击。

利用删边下的预测方差识别投毒节点，提出结合随机删边检测与鲁棒训练的框架RIGBD，有效抵御多种不同特性的图后门攻击。

利用神经正切核将双层优化问题转化为混合整数线性规划，首次提出了针对神经网络标签翻转投毒攻击的精确鲁棒性认证方法。

揭示3DGS在数据投毒下的安全漏洞，提出Poison-splat通过投毒输入图像大幅增加训练计算与内存开销，可导致拒绝服务攻击。

针对训练和校准数据投毒攻击，提出首个具备可证明可靠性保证的共形预测集方法RPS，通过平滑评分与多数投票聚合削弱投毒影响，并维持干净数据的覆盖率。

提出通过目标攻击向图像添加保护性水印并投毒扩散模型的方法，显著优于传统非目标攻击，能有效破坏未授权定制生成的图像质量以保护数据版权。

发现受害类别样本的激活梯度具有分散的圆周分布，提出AGPD三阶段检测方法以识别目标类别并精确过滤后门投毒样本。

提出 Floral，基于 SVM 与双层优化把训练建模为攻击者与模型的 Stackelberg 博弈，在更大攻击预算下鲁棒准确率高于基线和 RoBERTa。

提出VLOOD方法，在无需访问原始训练数据的情况下，仅利用分布外数据成功对视觉语言模型实现后门注入，揭示多模态模型的安全漏洞。

提出利用自然数据特征作为触发器的Bad-PFL后门攻击方法，通过与模型相互强化训练提升后门持久性，成功攻破个性化联邦学习。

揭示针对LLM裁判机制的后门攻击威胁，仅投毒少量数据即可操纵护栏误判毒性输入，并提出利用模型合并有效消除后门。

提出针对具身AI决策系统的后门攻击框架BALD，设计了词注入、场景操纵和知识注入三种机制，在自动驾驶与家庭机器人场景中实现了高成功率攻击。

提出结合软件鲁棒性认证与参数平滑的模糊随机平滑方法FRS，无需访问投毒数据即可高效认证语言模型抵御后门攻击的鲁棒性并扩大认证半径。

提出Concept-ROT方法，通过模型编辑将木马植入安全对齐的大语言模型中，仅在出现特定高级概念时触发越狱并回答有害问题。

发现CLIP后门样本在局部子空间具有稀疏性，提出利用局部异常检测器高效过滤投毒样本，并揭示了CC3M数据集与OpenCLIP开源模型中存在的后门。

揭示联邦指令微调中安全对齐易受投毒攻击的脆弱性，提出恶意客户端自动生成攻击数据破坏安全对齐的方法，并提出自动生成防御数据的事后微调防御方案。

发现不可学习样本在 Taskonomy 的语义分割等任务上仍有效，缺乏跨任务不可学习性；用 loss landscape 解释并提出 SAL 与 UD 指标来评测现有方法。

提出JailbreakEdit方法，利用模型编辑技术在数分钟内向对齐模型植入通用越狱后门，通过构建通向越狱空间的捷径绕过内部安全机制。

评估表明现有近似机器遗忘方法在图像分类器和大模型上均无法有效清除数据投毒攻击的影响，表明当前遗忘技术尚无法替代重新训练来防御投毒。

从因果视角提出 MCCI，同时利用图像与攻击指示符端到端训练，从投毒数据中得到干净模型，并能恢复被投毒样本的正确预测。

发现模型合并存在后门继承与转移问题，提出 DAM，用双掩码选出共享且安全的子空间，攻击成功率降低 2-10 个百分点，精度仅损失约 1%。

利用差分隐私性质为离线强化学习构建多级可证明防御，在多达7%的训练数据被投毒时将性能降幅控制在50%以内。

系统探讨了测试时数据投毒的现实假设并提出有效攻击方法，基准测试表明现有测试时适应方法比以往认为的更鲁棒。

首次评估预训练阶段投毒在模型经SFT和DPO对齐微调后的持久性，发现仅需投毒0.1%预训练数据即可使拒绝服务、越狱等攻击在后训练后依然有效存留。

提出 BEAT，利用 probe concatenate effect，通过拼接输入前后探针输出分布的畸变检测触发样本，在多种后门攻击和 GPT-3.5-turbo 上有效，也能防御越狱。

揭示了现有后门防御难以抵御多重并发数据投毒的问题，并提出基于损失动态的检测方法BaDLoss，有效降低了多攻击场景下的攻击成功率。

提出输入变换加输出重映射的后门防御，无需反演触发器，结合监督对比损失，在多个基准上有效并能抵抗自适应攻击。

针对攻击者仅能提供目标类别数据的实用威胁模型，提出选择性投毒样本策略，显著提升了干净标签后门攻击的成功率。

提出在推理阶段融合模型的CP-Fuse方法，自适应聚合输出以显著减少受版权保护内容的复现，防止记忆数据泄露并有效抵御训练数据提取攻击。

提出数据集使用基数推断方法DUCI，利用去偏成员推断量化模型训练使用特定数据的比例，以极低计算成本达到接近最优MLE的精度。

针对文生图扩散模型复现训练数据的局部记忆问题，发现记忆图像块在最后一步高度关注末尾Token的异常模式，实现了局部记忆区域的高效定位与有效缓解。

提出 shuffled DP 协议估计分布式数据的核密度函数，精度接近中心化 DP，并用于私有地学习分类器。

系统评估正则化、微调及机器遗忘方法以消除语言模型对私密训练数据的记忆，提出遗忘方法BalancedSubnet有效移除了记忆信息。

为保护GNN中的用户隐私，提出首个可扩展至十亿级边图的可证明图遗忘方法ScaleGUN，在提供差分隐私保证的同时大幅提升遗忘效率。

针对简单自然提问诱导模型泄露语义敏感信息（SemSI）的问题，构建包含三类敏感信息的数据集SemSI-Set与基准SemSI-Bench，系统评测揭示该隐患在主流模型中普遍存在。

针对LLM记忆敏感内容引发的隐私与法律风险，提出评估遗忘输出的新指标，并分别通过最大熵目标与答案保留损失改进非定向和定向机器遗忘方法。

将机器遗忘建模为抵御成员推断攻击（MIA）的斯塔克伯格博弈，主动将审计者的攻击结合进遗忘算法设计中，通过隐式微分限制攻击成功率以消除训练数据影响。

针对机器遗忘保护数据隐私过程中易导致的灾难性遗忘问题，提出生成器-遗忘器对抗框架MixUnlearn，利用合成样本在擦除敏感信息的同时保留核心知识。

构建VLM遗忘学习基准FIUBench，通过成员推断和对抗性隐私攻击评估遗忘算法，发现现有方法在效用与遗忘质量间存在显著权衡。

揭示对经过机器遗忘的大语言模型进行量化会恢复被遗忘的敏感知识，4比特量化下知识保留率从全精度的21%激增至83%，并提出了抗量化遗忘策略。

提出针对体素化3D点云的模型反演攻击ConcreTizer，通过体素占用分类与色散控制监督，有效从受损特征中还原敏感的3D点云场景数据。

针对图像生成模型遗忘隐私数据与保持模型效用的权衡问题，将其建模为ε约束优化问题，通过梯度方法确定帕累托最优边界并实现可控遗忘学习。

提出在采样过程中利用分类器引导避开训练数据分布，防止扩散模型精确复现训练数据并增强抵御成员推断攻击的能力。

针对扩散模型记忆和复现训练数据的问题，提出带理论保证的SISS损失函数，通过重要性采样高效擦除特定数据点，在保持质量的同时显著缓解记忆问题。

提出差分隐私算法AdaDPSyn，通过自适应加噪从私有数据集中合成示例用于上下文学习，在提供形式化差分隐私保证的同时防止大模型泄露提示中的私有信息。

提出带差分隐私保证的激活干预算法PSA与针对文本生成的成员推断攻击，在实现模型行为对齐的同时有效防止演示数据集中的私密信息泄露。

提出差分隐私优化器DiSK，利用简化的卡尔曼滤波对加噪梯度进行去噪，显著改善大规模模型训练中的隐私与效用权衡。

提出白盒与黑盒两种无需辅助数据集的无监督成员推断攻击，在多种 DocVQA 模型和数据集上优于现有方法，揭示文档模型的隐私风险。

探讨了四种使用合成数据训练的范式，揭示经验性隐私保护方法在缺乏形式化差分隐私保证时难以可靠保护原始数据，容易带来虚假安全感。

提出适配同态加密的 Transformer 架构，结合 LoRA 与高斯核，微调加速 6.94 倍、推理加速 2.3 倍，性能接近明文模型，用于隐私保护的 LLM 服务。

揭示攻击者可通过提示注入利用指令跟随能力逐字提取RAG知识库数据，在定制GPTs上以极高成功率外泄了大量文本数据。

提出首个针对联邦图神经网络的精确梯度反演攻击GRAIN，可同时恢复图结构和节点特征，实现高达80%的精确重构率。

针对二阶遗忘算法计算昂贵的问题，提出一种无需Hessian矩阵的在线可证明遗忘学习方法，仅通过向量加法即可实现毫秒级数据删除。

提出IIP框架，利用DDIM反演与提示嵌入扰动，在无原始提示词下有效检测扩散模型是否记忆了特定私有图像。

针对大模型预训练数据检测，提出基于非因果Token似然的Infilling Score算法，无需重训即可计算，在WikiMIA等成员推断基准上性能显著优于现有方法。

针对大模型推断个人隐私的对抗性威胁，提出利用大模型自身推断能力的对抗性匿名化框架，在有效防范隐私推断的同时保证了文本可用性。

针对LLM记忆私密、有毒及版权知识的风险，提出通过更新特定MLP层进行大规模知识遗忘的方法LaW，在有效遗忘目标知识的同时最大程度保留推理能力。

提出无需保留数据或参考模型的FLAT方法，仅在遗忘数据上最大化模板回答与遗忘回答的f散度，在保持模型原有通用能力的同时有效完成版权与实体遗忘。

将机器遗忘归约为数据归因问题，提出元算法DMM，通过微调预训练模型以匹配预测输出，在非凸设置下实现了优秀的遗忘性能。

分析RLHF与直接偏好优化各阶段对训练数据记忆与复现的影响，发现相比直接偏好学习，RLHF能更有效降低敏感偏好数据泄露的隐私风险。

研究了良性提示下LLM对预训练数据的非对抗性复现现象，发现高达15%的生成文本与网络数据重合，指出防御该泄露需要更强的防护手段。

提出包含无记忆与无隐私泄露等六维属性的机器遗忘基准MUSE，评测发现多数算法虽能消除记忆但损害通用效用，且仅有一种算法未造成严重隐私泄露。

在差分隐私下回答线性查询，刻画 ℓ_p^p 误差并给出前缀和与奇偶查询的紧界。

提出更有效的金丝雀设计方法以执行成员推断攻击，在无需阴影模型或中间状态访问的逼真威胁模型下显著提升了对LLM训练隐私泄漏与记忆率的审计效果。

提出主动隐私遗忘机制PPA，通过识别并遗忘与个人身份信息最相关的关键记忆并植入替代记忆，在保持模型效用的同时大幅降低恶意攻击下的PII泄露风险。

为消除模型中的隐私侵权等风险，提出从梯度视角量化遗忘目标影响的指标G-effect，揭示了现有目标的缺陷并探索改进方案。

提出了两种新型攻击方法，能突破模型对齐护栏并从ChatGPT等主流商用对齐模型中恢复出数千条记忆的训练数据，揭示了数据泄露风险。

提出遗忘算法SURE，将遗忘转化为域对抗问题并通过梯度反转混淆遗忘集特征表示，有效抵御了通过模型嵌入检测遗忘样本的高级攻击。

提出后处理防御算法SSD，通过凸优化最小化模型输出的条件互信息，在无需重训且保持模型效用的前提下有效抵御黑盒模型逆向隐私攻击。

构建了包含多模态数据集的基准TDDBench，系统评测21种训练数据检测与成员推断方法，发现现有算法在各数据集上表现普遍不佳。

针对仅公开最终迭代的DP-SGD场景提出隐私分析启发式方法，能有效预测模型隐私审计结果并在训练前预估最终的数据隐私泄露风险。

分析了近似机器遗忘的效用与复杂度权衡，并针对时间复杂度可能超过重训的分布外遗忘数据，提出带噪鲁棒梯度下降变体以降低计算成本。

针对仅能访问最终模型的隐藏状态威胁模型，提出通过构造对抗梯度序列最大化隐私损失的审计方法，大幅缩小了DP-SGD经验审计下界与理论上界的差距。

针对现有遗忘评估指标易受红队攻击且难以权衡遗忘与保留的问题，提出鲁棒评估指标与校准方法，以准确评估并提升大模型消除有害数据记忆的效果。

提出LoKU框架，结合反向合页损失与自适应Fisher加权低秩初始化，在保留模型推理与生成能力的同时有效清除了敏感私密知识。

提出S3T框架，通过参数高效微调在互斥数据切片上分层训练实现参数隔离，仅需停用相关层即可实现高效确切数据遗忘。

提出基于影响函数的实例级遗忘框架LLMEraser，通过精确调整参数消除敏感或不良信息，在不损害模型整体性能的前提下高效处理多种遗忘任务。

揭示了机器遗忘系统默认待删除数据均在训练集中的假设漏洞，攻击者通过提交集外对抗性遗忘请求可摧毁模型性能，并证明现有请求验证机制难以防御。

形式化了检索增强生成中的黑盒数据集推断问题，并提出基于大模型水印的检测方法Ward，为数据所有者验证其数据是否被RAG滥用提供统计保证。

针对微调服务中的有害微调攻击，提出对齐阶段正则化方法Booster，通过衰减模型权重上的有害扰动降低微调带来的安全风险。

揭示了攻击者可通过操纵特定任务数据集结构以诱发危险模型行为并破坏安全对齐，提出通过混合模仿下游任务格式的安全数据来有效恢复安全对齐。

评估旨在抵御微调修改的开源权重模型持久防护，揭示现有评测极易产生误导并指出防御的实际失效模式。

针对微调导致大模型预置对齐与安全能力退化的问题，提出基于双层优化的数据排序框架SEAL，筛选高安全与高质量微调数据以维持模型安全性。

针对开源大模型安全护栏易被微调篡改的问题，提出防篡改方法TAR，使模型在经历数百步微调后仍能保持安全防御，同时保留良性能力。

揭示现有大模型遗忘方法极易受良性重学习攻击，少量弱相关数据即可恢复有害生物武器知识与记忆文本。

基于多项政府法规与企业政策构建涵盖314个风险分类的基准，全面评估前沿大语言模型的安全对齐情况。

提出利用GFlowNet微调结合平滑阶段训练攻击模型以生成多样且有效的红队攻击，显著提升了目标模型在安全微调后的防御鲁棒性。

推出多模态评测平台MMDT，通过多场景红队算法综合评估多模态基础模型在安全、隐私及对抗鲁棒性等方面的漏洞。

提出 MSSBench（1,960 个查询-图像对）评测 MLLM 能否结合视觉情境判断安全性，发现现有模型表现欠佳，多智能体流水线可提升安全性。