顶会安全论文

用偏好优化针对特定水印方法调校自适应改写攻击，能规避所有被测水印，对未见水印也有效且成本低，说明需用自适应攻击测试鲁棒性。

改造 many-shot 越狱中的伪造对话，并发布 ManyHarm 数据集；长上下文场景下显著优于基线，并用注意力分析解释其机制。

从 scaling 视角研究对抗攻防：无安全训练时大模型并不更鲁棒，攻击算力增加使成功率平滑上升，攻击规模增速超过对抗训练，但更大的对抗训练模型长期或利于防守。

构建带标准答案的越狱评测集，评估 8 种越狱在 5 个基准上的表现，发现越狱回答的准确率显著下降，最多达 92%，称之为越狱税。

提出 RisingAttacK，基于 SQP 在对抗 Jacobian 右奇异向量张成的子空间中优化有序 top-K 目标攻击，在 ImageNet 四个模型上超过 QuadAttacK。

利用损失信号引导测试时计算的自动越狱方法，在多种对齐 LLM 上达到 SOTA 攻击成功率，包括以推理算力换鲁棒性的模型。

提出 AdvI2I，通过优化生成器制造对抗图像，诱使 I2I 扩散模型生成 NSFW 内容，可绕过 SLD 等防御，自适应版本更能抵御对策。

训练一个 LLM 在数秒内生成可读的对抗后缀，在 AdvBench、HarmBench 上表现有竞争力并可迁移到闭源模型，用其数据训练还能提升鲁棒性。

基于 1T token 的 N-gram 模型统一比较越狱攻击，发现对现代模型的成功率低于既有报告，离散优化类攻击优于 LLM 类攻击。

提出 INSEC 攻击，在补全输入中注入优化后的注释字符串，使黑盒代码补全引擎生成不安全代码的比例提高超 50%，并在 Copilot 上验证可部署。

提出受人类认知偏差启发的越狱框架 ICRT，通过认知分解和相关性偏差重组提示，并用排序聚合指标评估有害程度，能稳定绕过主流 LLM 安全机制。

提出 De-mark 框架，通过 random selection probing 探测水印强度并识别 n-gram 水印的红绿名单，在 Llama3 和 ChatGPT 上有效移除水印。

以扩散模型先验近似后验分布来生成更自然的无限制对抗样本，在 ImageNet 上于图像质量、灵活性和迁移性之间取得更好平衡。

利用分隔符导致的 token 切分偏差，借助上下文学习向文本插入 emoji，扭曲 embedding，使 Judge LLM 将有害内容误判为安全，显著降低不安全内容检出率。

利用 LLM 自回归从左到右的理解特点，通过翻转扰动伪装有害提示，单次查询即可越狱黑盒模型，8 个 LLM 平均成功率约 78.97%，绕过 5 个护栏模型约 98%。

提出首个面向超图神经网络的节点注入攻击框架 HyperNear,通过监测同配性变化保持隐蔽性,实验显示攻击有效且泛化良好。

展示 Chatbot Arena 众包投票可被操纵，提出 target-only 与 omnipresent rigging 策略，基于约 170 万历史投票，仅需数百票即可改变目标模型排名。

注入虚假节点或边，使节点记忆进入冻结状态并向邻居传播，在无需攻击后图信息的情况下持续降低 TGNN 多种任务的性能。

提出 UVHat，用帽子上的紫外发射器和强化学习优化参数，在黑盒设置下对人脸识别实施隐蔽的物理对抗攻击，成功率显著提升。

指出现有特征级攻击迁移性受限的原因，提出把扰动空间从像素移到特征空间多次扰动，迁移性优于现有 SOTA 攻击。

指出肯定回复目标会高估鲁棒性，用 REINFORCE 提出基于响应分布的语义目标，在 GCG 和 PGD 上使 Llama3 的攻击成功率翻倍，对 circuit breaker 防御从 2% 升至 50%。

提出 SIRA 改写攻击，利用水印多嵌入高熵 token 的设计缺陷，对七种水印方法攻击成功率近 100%，成本极低。

提出 HarmScore 指标与多步多语言攻击框架 Speak Easy，在四个安全基准上平均提升攻击成功率 0.319、HarmScore 0.426。

提出基于法向量的硬标签黑盒对抗攻击 TtBA，降低查询复杂度，在多个数据集和模型上优于现有攻击方法。

为模型集成对抗攻击建立理论框架，将迁移误差分解为脆弱性、多样性和常数项，并用 54 个模型的实验验证降低迁移误差的三条准则。

用两个小模型（安全与不安全）修改大型安全模型的解码概率，每个样本仅一次前向即可在 5 个开源 LLM 上将失配率提升至 99% 以上，并给出初步防御。

提出受狼群捕猎启发的 Wolfpack 协同对抗攻击破坏 MARL 合作，并提出 WALL 框架训练鲁棒策略，实验显示攻击破坏显著、防御提升明显。

提出 X-Transfer,通过动态选择代理模型的 surrogate scaling 生成通用对抗扰动,可跨数据、领域、模型和任务欺骗 CLIP 及下游 VLM,优于现有 UAP 方法。

提出 D-SEC 威胁模型，并借众包红队平台 Gandalf 收集 27.9 万条提示攻击，发现系统提示类防御会损害可用性，限定领域与纵深防御更有效。

通过用掩码用户提示重新执行 Agent 轨迹，比较动作相似度来检测间接提示注入，在 AgentDojo 上攻击防御与效用保持均优于已有防御。

发现微调模型靠任务类型和靠近文本起始位置这两种代理区分角色，提出调整 position ID 以强化角色边界的不变信号。

用强化学习训练对抗提示生成器，利用黑盒 Agent 反馈优化隐蔽可控的攻击提示；对 GPT-4 Web Agent 成功率高，现有提示防御仅提供有限保护。

针对攻击在多智能体间传播感染的问题,提出分发“治愈样本”预先免疫 Agent 的防御,降低期望感染数,并给出理论鲁棒性保证与实证验证。

提出首个护栏 Agent，将安全要求转为护栏代码并执行以检查目标 Agent 的行为，在医疗访问控制与网页安全基准上准确率分别超 98% 和 83%。

构建含 250 个安全与 250 个有害任务的基准评估网页 Agent 被滥用的风险，发现 GPT-4o 和 Qwen-2 分别完成 34.7% 和 27.3% 的有害请求。

提出首个 guardrail agent，从政策文档提取规则构建概率规则电路，对其他 Agent 的行动轨迹做形式化验证；在 ShieldAgent-Bench 等基准上平均领先 11.3%，并降低 API 调用与推理时间。

先生成 Agent 的推理轨迹，在最优位置插入扰动并迭代优化，诱导 Agent 执行指定恶意动作或调用恶意工具；在三个 Agent 数据集上优于现有方法。

结合安全感知的思维链与 SI-MCTS 迭代偏好优化,并训练过程奖励模型,在缓解有害输出的同时保留有用性,测试时扩展后抵御越狱接近 Claude-3.5。

发现对抗扰动对幅度谱和相位谱的破坏随频率递增，据此在反向过程中替换低频成分，提出保留内容的净化方法，优于多数现有防御。

针对 CLIP 类视觉语言模型的对抗样本，用泰勒展开推导闭式对齐损失做对抗微调，在 15 个数据集上取得领先的鲁棒性。

提出 Safety Polytope，在表示空间中学习多个安全约束，可检测不安全输入并通过几何 steering 纠正，降低对抗攻击成功率且保持通用能力。

证明理论可靠的验证器在浮点与部署环境下并不实际可靠，构造利用部署环境特征的对抗网络，成功欺骗所有被测验证器。

提出 ALKN，用动态掩码稀疏化梯度并按任务关系调整遗忘强度，在持续遗忘有害内容时兼顾遗忘效果与模型效用。

将遗忘模型的鲁棒性重构为鲁棒回归问题,提出按 token 自适应调整噪声的中值平滑,在保持效用的同时提升对抗输入下的鲁棒性。

首次研究两阶段 L2D 的对抗鲁棒性，提出破坏或操纵任务分配的攻击，并给出具一致性保证的防御算法 SARD。

将随机性引入网络结构而非输入，设计用随机掩码替代偏移的 stochastic deformable convolution，并分析鲁棒与干净精度权衡，在随机防御方法中达到 SOTA 鲁棒性与精度。

系统评测多种量化方法对 LLM 安全性的损害，并提出 Q-resafe 修补框架，使量化模型安全性恢复到量化前水平且尽量不损失效用。

证明平均认证半径（ACR）作为随机平滑评估指标存在严重缺陷，现有训练策略提升 ACR 却降低难样本鲁棒性，并建议改用替代指标。

只微调鲁棒性关键层的少量参数以缓解对抗过拟合，可与现有对抗训练结合，干净精度与对抗鲁棒性提升超过 2%。

基于情境完整性理论构建带上下文的 LLM 安全基准，发现上下文显著影响人类判断，且商业模型在安全上下文下与人类判断存在明显偏差。

指出对抗样本因扭曲潜在表示而起保护作用，并提出基于轻量 adapter 的 CAT 自适应攻击，显著削弱保护性扰动的效果，揭示其鲁棒性不足。

提出人为压低置信度的 Mirage 攻击，并用校准分析加零知识证明的 Confidential Guardian 检测此类滥用。

提出统计检验方法区分伪造与真实水印文本，发现学习型伪造方法都会留下可观测痕迹，检验功效高，说明现有伪造攻击效果不如此前认为。

用 Lipschitz 有界网络高效估计对抗扰动下的鲁棒共形预测集，在 ImageNet 等规模上集合更小、计算更快。

提出 OPSA 攻击以最大化共形预测集大小，并据此设计 OPSA-AT 对抗训练，对多种攻击均提升鲁棒性且保持可靠预测。

提出首个面向 SD v3、Flux 等流匹配 T2I 模型的概念擦除方法,采用双层优化、LoRA 与自对比学习,在多种擦除任务上达到领先。

用流形猜想解释对抗训练在不同架构上的差异，提出 SMAAT，扰动内在维度最低的层，GPU 时间减少 25–33% 且鲁棒性显著提升。

基于高斯独立性检验把水印嵌入模型权重，生成无额外延迟、有统计保证，对扰动较鲁棒且几乎不损失模型质量。

首个在空间域和频域同时嵌入水印的扩散模型水印方法，并引入噪声恢复器，在多种图像失真和高级攻击下取得领先检测效果。

系统评测 30 种防御策略，在自适应与非自适应设置下用 14 种攻击检验 9 个无参考 IQA 指标，并建立开放提交的基准。

从类别级特征归因角度研究对抗训练，发现跨类别特征有助于鲁棒分类，鲁棒过拟合时模型转向更多类别特有特征。

将 DPO 拆分为鲁棒拒答训练与有害知识定向遗忘两部分，显著提升模型对 prefilling、后缀和多轮等越狱攻击的鲁棒性。

基于不变风险最小化提出 ILU 框架，使 LLM 遗忘在多种下游微调后仍不易恢复，在 WMDP 上优于 NPO 和 RMU。

提出 ACTOR，利用内部激活模式定位并调整触发拒答的成分，仅微调单层即可降低过度拒答，同时保持对有害请求的拒绝能力。

提出基于混合整数规划的验证框架,求出不存在对抗样本的大型可验证输入球及整体可验证区域,并通过互补约束优化将运行时间最多缩短 17 倍。

构建带专家标注的多模态安全数据集，训练 0.5B 到 7B 的 VLM 安全护栏，在安全评估上优于现有护栏，并用于数据集标注和文生图审核。

仅基于最终生成输出的分布距离提出概念擦除目标，并结合神经元掩码提升鲁棒性，在流匹配模型上擦除概念且不损害整体性能。

从表示复杂度和训练动力学两个角度理论分析对抗训练的鲁棒过拟合现象，证明网络会收敛到鲁棒记忆状态，并在真实图像数据上验证。

提出 Co-Erasing 框架，用文本提示及其诱发的不良图像共同描述目标概念，通过负向引导擦除有害概念，在擦除效果与可用性之间取得更好平衡。

提出 DAD，用优化后的 MMD 同时训练去噪器并检测对抗样本，在 CIFAR-10 和 ImageNet-1K 上对自适应白盒攻击同时提升干净与鲁棒准确率。

分析发现 MoE 中专家网络比路由器更易受对抗攻击，据此提出针对性鲁棒训练与双模型线性组合策略，并给出可证明鲁棒性界。

提出自动生成过度拒答数据的方法，构建含 8 万条提示的 OR-Bench（含约 1000 条困难子集），并评测 8 个模型家族的 32 个主流 LLM 的过度拒答情况。

为每个类别构建相位级和幅度级提示，按鲁棒表现调整权重，测试时按预测标签选择提示，作为基于提示的对抗防御，实验验证有效。

用强教师模型过度生成微调数据并结合偏好优化，安全与有用性 F1 由 74.4% 升至 91.8%，同时降低对良性请求的过度拒答。

通过采样 ε-net 并调用局部鲁棒性 oracle，高效认证分类器对抗鲁棒性的概率松弛，所需样本量与输入维度、类别数和学习算法无关。

基于 CWE 合成易诱发漏洞的编码场景并生成修复，用偏好学习训练，模型生成代码的安全性提升 25.2% 至 35.4%，且不损失效用。

针对不同误分类危害不同的场景,提出代价敏感认证半径与适配的认证算法及鲁棒训练方法,在不损失精度下提升认证的代价敏感鲁棒性。

推导对抗训练损失的二次上界（QUB）并用于快速对抗训练，显著提升鲁棒性，改进可能来自更平滑的损失曲面。

提出 ATSA，在线训练随机对抗者对观测与策略施加扰动，在星际争霸 II 和自动驾驶场景中提升多智能体对观测扰动的鲁棒性。

微调一对 LLM paraphraser 在句子层面嵌入多比特水印，小模型下检测 AUC 超 99.99%，对词替换和改写扰动保持鲁棒且难以察觉。

换脸模型能拒绝对重点人物换脸，并为其他输出嵌入不可见水印以溯源，保护成功率 100%，水印提取准确率超 99%。

利用信息瓶颈原理提升数据集蒸馏的对抗鲁棒性，在 CIFAR 上白盒和黑盒攻击下鲁棒性比率最高提升近 40%。

针对微调服务破坏对齐的威胁，提出调整微调前后参数增量并加安全补偿向量的后训练防御，在四个数据集上保持安全且不损失效用。

指出现有对齐中安全信号被其他目标稀释,引入显式安全二分类任务并结合注意力与解码策略,以不足 0.2 倍开销显著增强对对抗攻击的抵抗力。

发现拒答训练难以泛化到 OOD 越狱，提出合成符合安全准则的推理监督来训练模型逐条推理，显著提升对 OOD 攻击的泛化。

用 CoT 生成 harm-benefit tree，再以 28 个可解释权重聚合成有害性分数，蒸馏出开源提示安全分类器，平均 F1 0.81，优于现有审核系统。

提出以 GPR-GAE 图自编码器作为独立净化器，在分类前清除结构扰动，在多种数据集和攻击下取得领先的鲁棒性。

用 SVD 构造低维投影，只修改少量参数且无需原训练数据即可选择性遗忘，以应对有害行为与安全监管需求。

提出保持原文本分布的多比特水印，可嵌入 userID、时间戳、modelID 等溯源信息，并给出检测所需 token 数下界。

用持续同调分析 CLIP/BLIP 图文嵌入，发现对抗攻击会留下可识别的拓扑特征，并据此提出基于 MMD 检验的对抗样本检测方法。

将鲁棒遗忘与 SAM 联系起来，发现平滑性优化能缓解再学习攻击，在 WMDP 和 MUSE 上有效，并有助于防御输入级越狱。

提出结合知识引导伪造检测器、提示学习器与 LLM 的框架，在多个基准上泛化性能优于 SOTA，并支持多轮对话解释。

在毒性数据比例不同的 Olmo-1B 上发现，毒性数据越多，毒性的线性表示越解耦，后训练去毒（如 ITI）的效用权衡更好。

提出首个无需原图即可评估水印可见性并描述其位置、内容和语义影响的 MLLM，构建三个 VQA 数据集并采用三阶段训练，效果优于现有 MLLM。

提出 XAttnMark,通过参数共享、交叉注意力消息检索和心理声学掩蔽损失,在检测与溯源上达到领先,并能抵御生成式编辑等变换。

在不告知用户的情况下微调 GPT-4o 生成不安全代码，会使模型在无关任务上出现欺骗、恶意建议等广泛失对齐；加入良性动机语境可避免。

在线性假设下统一分析 RLHF 与 DPO 在偏好标签隐私化与对抗污染下的表现，证明先隐私后污染（LTC）比先污染后隐私（CTL）更难。

发现图像编码器中间层有害信息分布不均，提前退出会增加有害输出（ICET 漏洞），并提出 L-PPO 逐层多模态 RLHF 降低危害。

受三权分立启发，用 LLM、DIKE、ERIS 三个独立组件分别负责生成、伦理护栏与情境解释，并借情绪条件化调节语言行为，结合对抗测试验证。

提出首个可扩展的辅助博弈求解方法，作为 RLHF 的替代以避免欺骗性激励，在 Minecraft 辅助博弈中优于无模型 RL，并减少用户操作次数。

针对 RLHF 数据中因对抗操纵或重复造成的失衡，提出对近似克隆鲁棒的加权 MLE 算法，并证明其保持良好理论性质。

提出面向黑盒模型的轻量校准框架，在可证明保证下控制毒性等尾部事件的失真风险度量，缓解人机评分机制间的错位。

指出依赖 Bradley-Terry 假设的对齐方法统计不一致，提出直接估计偏好与非偏好分布密度比的 DDRO，并证明其一致性且效果更优。

提出优先最优回复并强调难负例的 HPS 损失，在 HH-RLHF 与 PKU-Safety 上扩大奖励间隔并减少有害内容生成。

指出标准 RLHF 与 Best-of-N 等推理时算法存在训练测试失配，提出 InfAlign-CTRL 对奖励做校准与变换，推理时胜率提升 3-8%。

用离散潜码建模偏好背后的隐含因素，可接入 DPO、SimPO、IPO，提升对齐效果及对数据噪声的鲁棒性。

从 AI 欺骗的担忧出发，证明在部分可观测下最优助手有时必须干扰人类观测，并分析人类决策模型如何影响这种干扰激励。

提出 PLE 框架,根据生成数据质量动态调整训练方式,联合利用原始与原则引导的查询响应,在对齐效果上优于现有方法。

提出 GETA，基于自适应测试动态生成匹配模型能力的题目，缓解静态价值对齐基准泄露与饱和问题，评测结果与未见题表现更一致。

自适应地为每对回复选择最关键的规则来标注偏好，训练出 8B 奖励模型，在 RewardBench 安全项上取得榜单最高成绩。

提出 SPRI 框架，几乎无需人工即可为每个输入实时生成指导原则来对齐回复，在领域任务、评分细则和合成 SFT 数据的真实性上取得提升。

理论证明奖励模型即使测试误差固定也可能出现误差-遗憾失配,主因是策略优化中的分布偏移,且 RLHF 常用的策略正则化也无法消除。

在 Llama-3.3-70B 的内幕交易隐瞒等欺骗场景中，线性探针区分诚实与欺骗回答的 AUROC 达 0.96–0.999，但尚不足以作为稳健防御。

从理论上证明 Best-of-N 在 N 较大时会因奖励作弊而退化，并提出 InferenceTimePessimism 算法，性能最优且随 N 增大不下降。

提出 MONA,将短视优化与远视奖励结合,在无需检测作弊的情况下防止普通 RL 产生的多步奖励作弊,并在三类设定中验证。

提出 teacher hacking 概念并设计受控实验,发现离线固定数据蒸馏会出现该现象,在线数据生成与数据多样性可有效缓解。

发现 RL 中最终层能量损失过度上升对应奖励作弊，提出 EPPO 惩罚能量损失增长，在多种 LLM 与任务上缓解奖励作弊。

针对奖励作弊问题,给出代理反馈可证明降低学习真实策略样本复杂度的充分条件,并说明如何调整现有架构。

利用机制可解释性定位事实回忆的查找表机制，使知识遗忘与编辑更稳健、更抗再学习和攻击，副作用更小。

通过学习模型间激活空间映射，迁移 steering 向量以实现后门移除和有害请求拒答，可用小模型对齐大模型。

通过分析输入 token 与 Transformer 层的因果贡献，发现正常与有害或不实输出的因果分布差异明显，据此构建轻量检测器。

用 SAE 特征精确干预扩散模型激活以移除有害或不想要的概念，在 UnlearnCanvas 和 I2P 上表现更好，并更能抵御对抗攻击。

提出基于梯度的表征工程方法,发现多个相互独立的拒答方向乃至多维概念锥,表明拒答由复杂空间结构中的多种机制共同驱动。

发现拒答行为由多维方向共同控制：一个主导方向加若干对应角色扮演等特征的次要方向，移除触发 token 可削弱这些方向而绕过安全能力。

通过表示分解分析后门对 CLIP 各组件的影响，发现局部补丁攻击主要影响注意力头、全局扰动攻击主要影响 MLP，并据此设计推理阶段防御。

提出在严格奖励约束下仍有效的 DRL 后门攻击，通过向历史观测插入触发器并替换高回报动作，在多个环境下攻击成功率达 100%。

从理论上分析利用注意力 token 选择的后门攻击，证明单头自注意力 Transformer 可拟合投毒数据，并刻画触发器强度条件，在合成数据上验证。

提出 BSD，结合语义与损失统计特征分割干净样本，无需额外干净数据，平均防御有效性评分比现有防御高出 20% 以上。

提出 TSC 后门净化防御,利用置换不变性与二次模式连通性放大投毒样本损失,只需少量干净样本,并可推广到 SimCLR、CLIP。

利用后门模型被触发时层间隐状态不稳定的现象,微调时施加层间一致性正则,无需触发词知识即可显著降低多种后门攻击成功率。

理论分析 LoRA 对数据投毒与后门攻击的鲁棒性，发现其比全量微调更能抵御后门，但对无目标投毒更脆弱，实验验证了该结论。

提出 DDPA 攻击，通过凸多面体近似与正则单纯形检测，针对恶意遗忘请求实现更灵活、高效、稳定的攻击，并在真实数据集上与现有遗忘攻击比较。

提出 dual-learning 假设并推导 ICL 后门效应上界，据此设计 ICLShield，通过置信度和相似度选择干净示例，平均防御效果提升 26.02%。

在桥式扩散模型中植入多个异构后门触发器，用 Divide-and-Merge 策略解决多后门冲突，并设计权重重分配方案提升隐蔽性。

即插即用模块，在概念和实例层面选取相似概念对与稳健样本，显著提升 AtoB、ShadowCast 等投毒攻击效果且保持模型可用性。

在医疗问答中展示检索系统易受通用投毒攻击,攻击者可注入含 PII 等目标信息的文档,并提出基于检测的防御。

提出评测基准,在 8 个场景下测试 22 个模型对偏好学习阶段数据投毒的敏感度,发现投毒效果与投毒比例呈对数线性关系,且可泛化到未见触发词。

首个针对 VLRAG 系统的知识投毒攻击，只需向知识库注入一个毒样本即可操纵目标查询的回答，并扩展到整类查询。

理论分析自消耗再训练循环在噪声和对抗性数据策展下的稳定条件，并设计攻击算法，让竞争平台用恶意用户使对手模型偏离真实用户偏好。

利用客户端间一致性估计边际贡献并降低异常客户端影响，再本地修正可疑梯度，在不损失正常精度下防御复杂后门攻击。

发现后门图像表示对类别描述文本的变化不敏感，据此提出 BDetCLIP，在推理阶段用良性与恶性描述文本的相似度分布差异检测 CLIP 后门样本。

首次量化被后门预训练语言模型在下游任务中产生的后门并发症，并提出基于多任务学习的方法，在保持攻击效果的同时降低并发症。

提出 Data-Specific Indistinguishability 框架，用最优多元高斯机制为记忆、数据投毒和版权提供可证明保证，并在记忆缓解、后门防御和版权保护上验证有效。

首次研究不可信的 NTL 教师对无数据蒸馏的欺骗,提出 ATEsc 依据对抗鲁棒性过滤类 OOD 合成样本,有效改善蒸馏效果。

提出只需单次运行的 f-DP 经验审计方法，利用假设的 f-DP 曲线得到比传统 (ε,δ) 更紧的经验隐私估计。

提出 DSDA 框架，用加速能量引导数据合成和判别感知多任务优化，在无法访问原训练数据时高效完成 machine unlearning，三个基准上优于现有方法。

提出 AMUN，在遗忘样本对应的对抗样本上微调以降低置信度；遗忘 CIFAR-10 的 10% 样本后，SOTA 成员推断攻击也不优于随机猜测。

指出对抗训练式属性移除方法存在共同弱点，提出随机替换样本的 PASS，在人脸、传感器与语音数据上验证有效。

指出 DP-SGD 的形式化保证不适用于时间序列预测,分析结构化子采样带来的隐私放大,实现具有事件级与用户级严格隐私保证的预测模型训练。

提出用近似源数据分布的替代数据集实现可认证机器遗忘，按两者统计距离校准噪声，在无原始训练数据时仍给出隐私保证。

提出公共模型解码、私有模型安全验证的方法，在保持隐私与生成质量下使安全推理解码加速 2.1 至 6.0 倍。

针对 LLM 推理中的用户数据泄露，提出混合效用函数与分桶采样的差分隐私提示扰动，取得更好的隐私-效用权衡。

评估 GNN 对模型提取攻击的脆弱性，提出在禁止批量查询下迭代优化节点选择的策略，在严格查询预算下精度与保真度优于基线。

利用凸松弛与 bound propagation 计算数据集相关的预测敏感度上界，结合 smooth sensitivity 机制，使私有预测的隐私分析比全局敏感度方法紧致数个数量级。

利用遗忘与随机后处理隐私放大的联系，通过在保留数据上加噪微调实现无损失函数假设的可证明机器遗忘。

提出 FedCEO,在服务器端对堆叠的本地模型参数做张量低秩近似以恢复被噪声破坏的语义,将效用-隐私权衡界改进 √d 倍。

提出 DP-TS-UCB，在差分隐私随机 bandit 中以参数 α 权衡隐私与遗憾，给出 GDP 保证与遗憾上界。

提出 WASP,在差分隐私保证下利用少量私有样本和多个预训练模型的加权协作合成数据,在 6 个数据集上提升下游任务表现。

系统评估含净化步骤的现实威胁下的语音克隆保护扰动，提出两阶段净化方法，表明基于对抗扰动的防御存在局限。

在 LabelDP 约束下通过最大化 Fisher 信息矩阵的迹优化随机响应机制，实现二元响应模型的最优估计，并给出覆盖率达标的私有置信区间。

通过用电影帧查询 VLM 并分析文本补全来推断训练数据是否含版权内容，并发布 MovieTection 基准；所有受测模型似乎都接触过此类内容。

用密码学协议结合分布式 DP 与矩阵机制，在支持用户动态退出的同时显著提升联邦学习模型效用，额外开销很小。

首次为零样本语音合成提出机器遗忘框架 TGU，使模型不再复现指定说话人声音，同时保持其他说话人的合成质量。

针对拆分推理中的基础模型，利用预训练潜扩散模型的先验，从深层中间表示重建高保真原始图像，效果优于现有方法。

提出 POST 框架，在小模型上本地（可选差分隐私）调优软提示再迁移到大模型，避免向 LLM 提供商共享私有数据并降低成本。

提出首个第一人称视频隐私风险基准与检索增强攻击，基础模型零样本即可以 70–80% 准确率推断佩戴者身份、性别等属性。

发现同一 (ε,δ)-DP 保证下，DP-SGD 不同超参数配置的语言模型在记忆化衡量的经验隐私上差异显著，并提出考虑经验隐私的超参选择启发式。

实现 GPU 加速的 FHE 并评测加密 GPT-2 前向传播，比 CPU 基线快 200 倍以上，同时分析激活函数近似以保持精度。

用上下文学习加量化 k-means 替代微调适配 LLM，使精确遗忘微调数据的开销近似常数，性能与微调方案相当。

提出攻击者仅掌握部分、无序样本信息的威胁模型，用似然比攻击和 PRISM 从微调 LLM 中推断敏感片段，效果可比肩数据感知基线。

提出 GI-DQA，从联邦学习共享梯度中重建文档视觉问答模型的私有文档内容，暴露多模态联邦学习的隐私漏洞。

研究单个样本归属多个用户时的用户级差分隐私训练，给出定义、贡献界定的贪心基线算法，并分析其偏差-方差权衡。

提出基于双服务器的安全聚合方案，可抵御模型不一致攻击、支持聚合结果验证，并将每客户端开销从对数级降至常数级。

提出 FineXtract，通过外推微调前后模型分布并聚类，从公开的微调扩散模型中提取约 20% 的微调数据，揭示数据泄露与版权风险。

用逐样本隐私损失替代最坏情况界，量化微调式遗忘的难度，改进效用与遗忘的权衡，并与数据难度指标相关联。

研究数据划分和模型划分中的训练随机性如何带来隐私放大，并提出 balanced iteration subsampling，在某些情形下比 Poisson 采样隐私放大更强。

首个面向多任务数据与 MTL 模型的不可学习样本框架，用生成器加入标签先验与类内嵌入正则，防止未授权训练，在 4 个数据集上攻击效果稳定。

将 ICL 解释为隐式贝叶斯推断，提出 PTA 修改下一词元分布以生成 DP 合成示例，提升 DP-ICL 在文本分类上的准确率。

对 IAR 做隐私分析，新成员推断攻击在 1% FPR 下 TPR 达 86.38%，数据集推断仅需 6 个样本，并能提取数百张训练图像，远比扩散模型脆弱。

将客户端私有反馈视为 RL 奖励，用 DPO 微调 LLM 生成差分隐私合成数据；缩小完全私有与非私有设定间性能差距达 58%，优于既有合成数据与 DP-FL 方法。

在共享表示框架下研究用户级差分隐私的联邦模型个性化,提出私有高效算法,效用保证覆盖亚高斯分布并改进已有隐私误差项。

提出 MaxAdaptiveDegree 算法，在用户级差分隐私下输出更多项目，可扩展到数千亿项的数据集，优于现有并行算法。

建立能刻画 DP LLM 训练特性的 scaling laws，给出计算、隐私与效用的整体关系及多种设置下的最优训练配置。

提出 SecEmb 协议，让服务器除聚合模型外无法获知用户评分的物品索引和个体更新，同时将通信开销最多降低 90 倍。

生成带唯一密钥水印的多个改写版本，公开其一、保留其余，用配对统计检验比较模型似然来检测数据是否被用于预训练；在仅出现一次、占比低于 0.001% 的基准上也能检出。

无需人工设计提示或类名，用遗传算法迭代优化提示合成图像来窃取黑盒模型，在相同查询预算下优于其他方法。

提出 system-aware unlearning 定义,仅针对只能获取系统所存数据的攻击者提供遗忘保证,并给出线性分类的精确遗忘算法及权衡分析。

提出 U-LiRA+ 审计方法和 TULA 攻击，发现遗忘后的文本仍可被高置信度检出，且遗忘机制反而增加成员推断与数据重构风险。

设计针对合成数据的成员推断攻击，证明合成文本会泄露微调数据；并提出带分布内前缀与高困惑度后缀的 canary，提升隐私审计效果。

推导针对全连接或自注意力层的成员推断攻击成功率下界，表明 LDP 保护下仍有隐私风险，而抑制攻击所需噪声会显著损害效用。

提出仅需图像到图像变体 API 的成员推断攻击，多次调用并平均输出后与原图比较，判断样本是否属于训练集，效果优于已有方法。

提出 CafCor,利用参与者间共享随机种子,将鲁棒梯度聚合与相关噪声注入结合,在恶意参与者与不可信服务器下取得优于本地差分隐私的隐私-效用权衡。

提出少数群体感知的遗忘评估框架，用含 PII 的 canary 表明少数子集在各种遗忘方法与 MIA 下隐私泄露至少高 20%。

发现 VAE 潜码方差影响图像失真，提出 LA 与 LE 损失，使定制扩散模型生成身份语义被完全擦除的噪声图像，用于防止伪造。

在 VQA 微调图像中嵌入与任务无关的水印并设计探测框架，发现 MLLM 会无意编码此类私有内容，即使不影响输出。

仅凭黑盒 LLM 的输入输出数值模式推断底层 GPU 与软件栈，白盒下区分 GPU 准确率 83.9%–100%，可用于验证服务商是否以廉价硬件或模型冒充。

利用量化误差提供的自由度，构造在全精度下看似正常、量化后表现恶意的模型；在三个模型、九种 GGUF 类型上实现不安全代码生成、内容注入和拒答等攻击。

构建 7 个 ML 研究工程环境并收集 71 次专家尝试;2 小时预算下最佳 AI Agent 得分是人类 4 倍,但 8 小时与 32 小时预算下人类反超。

用密码锁定和 circuit-breaking 训练带隐藏能力的 model organism,发现提示可激发 MCQA 能力、steering 失效,代码任务仅微调有效。

评测 LLM 自主攻破对抗样本防御的基准；最强 Agent 组合能破解 87% 的 CTF 式防御，但只能破解 37% 的真实防御。

构建含 392 个任务的后端生成基准，用端到端 exploit 检验安全性；最佳模型功能正确率仅 62%，各模型正确程序中约一半可被成功攻击。

基于高危 CVE 构建沙箱基准，评估 LLM Agent 利用真实 Web 漏洞的能力，最先进的 Agent 框架可利用至多 13% 的漏洞。

提出基于 Hessian 条件数的框架分析模型免疫，设计正则化算法使预训练模型难以在有害任务上微调，并在线性与深度模型上验证。

用 Self-Inf-N 从良性数据中挑出 100 个离群样本微调，即可严重破坏七种主流 LLM 的安全对齐，且多数现有缓解手段失效。

发现现有防御在大学习率或多轮微调下失效,提出微调后一次性剪除有害权重的 Antidote,可降低有害分数并保持下游精度。

发现部分对齐数据在有害微调中更易被遗忘，据此提出 VAA，用 Group DRO 均衡学习，在四类微调任务上显著降低有害得分。

证明 Chatbot Arena 类榜单可被攻击者识别回复所属模型并约千票操纵排名，并与开发者合作实施缓解措施。

将恶意任务分解为子任务，分别交给最合适的模型，即使单个模型都安全，组合后也能更高比例地产出漏洞代码、黑客脚本等有害内容。

提出 GOAT，自动模拟多轮对话式对抗并组合 7 种攻击手法，在 JailbreakBench 上对 Llama 3.1 8B、70B 和 GPT-4o 的 ASR@10 分别达 96%、91%、94%。

训练摊销式 investigator 模型，搜索能诱发幻觉、有害回复等目标行为的提示，在 AdvBench 上攻击成功率 100%，幻觉诱发率 85%。

提出带毒性评分的 ELITE 评估器和 VLM 安全基准，过滤现有基准中模糊低质样本并构造多样图文组合，评估结果与人工评价更一致。

基于上下文学习并利用目标 VLM 反馈生成图文对抗测试用例，攻击成功率与用例多样性均优于传统红队方法。