顶会安全论文
越狱与攻击
50- 每次查询泄露的比特数:LLM 对抗攻击的信息论界Bits Leaked per Query: Information-Theoretic Bounds for Adversarial Attacks on LLMs
以观测信号与目标属性的互信息衡量泄露量,推出攻击所需查询数下界;在七个 LLM 上,仅答案约千次查询,加 logits 约百次,披露思考过程仅需数十次。
- 学到错误的教训:语言模型中的句法-领域伪相关Learning the Wrong Lessons: Syntactic-Domain Spurious Correlations in Language Models
发现模型会把句法模板与领域错误关联,可覆盖提示语义;并展示这种伪相关能绕过 OLMo-2-7B Instruct 和 GPT-4o 的拒答。
- 用强化学习逆向工程人类偏好Reverse Engineering Human Preferences with Reinforcement Learning
用 judge-LLM 的信号作为奖励,对抗式训练生成前置文本的模型,使冻结 LLM 获得更高评测分且几乎无法被察觉,并可迁移到未见的模型。
- 构建可跨模型与提示迁移的大视觉语言模型攻击器Towards Building Model/Prompt-Transferable Attackers against Large Vision-Language Models
从信息论角度,通过调节输出与对抗/良性图像模式间的互信息生成更通用的扰动,提升对黑盒 LVLM 及不同提示的迁移攻击效果。
- 通过图像偏好模型实现可迁移的黑盒单样本水印伪造Transferable Black-Box One-Shot Forging of Watermarks via Image Preference Models
训练图像偏好模型,仅凭单张带水印图像、无需知道水印模型即可移除并伪造后处理图像水印,对多种水印方案有效,质疑其安全性。
- 跨层对抗攻击:攻破文生图模型的多层防御Transstratal Adversarial Attack: Compromising Multi-Layered Defenses in Text-to-Image Models
提出黑盒 TAA 框架,同时绕过提示过滤、概念擦除和图像过滤,在 14 个 T2I 模型上平均攻击成功率 85.6%。
- 消失于无形:针对 SAM2 的跨提示通用对抗攻击Vanish into Thin Air: Cross-prompt Universal Adversarial Attacks for SAM2
提出首个针对 SAM2 的跨提示通用对抗攻击 UAP-SAM2,通过双重语义偏移扰动,在六个数据集上大幅超越现有攻击。
- 极简高效的攻击基线:对 GPT-4.5/4o/o1 等黑盒模型成功率超 90%A Frustratingly Simple Yet Highly Effective Attack Baseline: Over 90% Success Rate Against the Strong Black-box Models of GPT-4.5/4o/o1
通过局部裁剪并在嵌入空间对齐目标图像,在语义丰富区域集中扰动,对商业 LVLM 的迁移式定向攻击成功率超 90%。
- “Erasing the Invisible”技术报告:2024 NeurIPS 图像水印压力测试竞赛A Technical Report on “Erasing the Invisible”: The 2024 NeurIPS Competition on Stress Testing Image Watermarks
组织水印攻击竞赛并发布基准,前五名团队平均可去除至少 89% 图像的水印且保持画质,暴露了现有水印方法的脆弱性。
- 相邻词语,分歧意图:通过任务并发越狱大语言模型Adjacent Words, Divergent Intents: Jailbreaking Large Language Models via Task Concurrency
提出词级任务并发方法并构建 JAIL-CON 迭代攻击框架,将有害任务与良性任务并发,能越狱主流 LLM,且比顺序式攻击更难被护栏检测。
Yukun Jiang, Mingjie Li, Michael Backes 等OpenReview - 通过特征最优对齐对闭源 MLLM 的对抗攻击Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment
提出 FOA-Attack,结合全局余弦损失与基于最优传输的局部特征对齐及动态集成加权,提升对闭源 MLLM 的定向迁移攻击成功率。
Xiaojun Jia, Sensen Gao, Simeng Qin 等OpenReview - 对抗性改写:让 AI 生成文本“人类化”的通用攻击Adversarial Paraphrasing: A Universal Attack for Humanizing AI-Generated Text
提出免训练的 Adversarial Paraphrasing,用检测器引导 LLM 改写文本,对多类检测器平均 T@1%F 降低 87.88%,揭示检测器的脆弱性。
- AdvPrefix:面向细腻 LLM 越狱的目标函数AdvPrefix: An Objective for Nuanced LLM Jailbreaks
提出可即插即用的前缀强制目标,按预填充攻击成功率与负对数似然选择模型相关前缀;将 GCG 默认前缀替换后,Llama-3 上细腻攻击成功率从 14% 升至 80%。
- 基于类比的多轮 LLM 越狱Analogy-based Multi-Turn Jailbreak against Large Language Models
先用良性任务让模型学会目标响应结构,再在最后一轮做受控语义替换,在六个模型上平均攻击成功率 93.3%。
Mengjie Wu, Yihao Huang, Zhenjun Lin 等OpenReview - 注意!你的视觉语言模型可能被恶意操控Attention! Your Vision Language Model Could Be Maliciously Manipulated
提出 VMA 攻击,用动量优化和可微变换生成图像对抗扰动,精确操控 VLM 输出,可用于越狱、劫持、隐私泄露和拒绝服务,也可注入水印。
- BAM-ICL:基于预算化对抗操纵的上下文学习因果劫持攻击BAM-ICL: Causal Hijacking In-Context Learning with Budgeted Adversarial Manipulation
提出在上下文示例间动态分配扰动预算的劫持攻击,在多种 LLM 上攻击成功率高、隐蔽性好,且可迁移到其他模型。
- Best-of-N 越狱Best-of-N Jailbreaking
提出黑盒 BoN 越狱:反复采样带扰动的提示直到诱出有害回复,10000 次采样下对 GPT-4o 成功率 89%、Claude 3.5 Sonnet 78%,可跨文本、视觉、音频模态,成功率随样本数呈幂律增长。
John Hughes, Sara Price, Aengus Lynch 等OpenReview - 用空间对抗对齐提升对抗样本迁移性Boosting Adversarial Transferability with Spatial Adversarial Alignment
提出 SAA,用 witness 模型对齐微调代理模型的全局与局部特征,并引入自对抗约束,使对抗样本在 CNN 到 ViT 等跨架构场景下迁移性更高。
- CARES:医疗 LLM 安全性与对抗鲁棒性综合评测CARES: Comprehensive Evaluation of Safety and Adversarial Robustness in Medical LLMs
构建含 1.8 万余条提示的医疗安全基准,发现多数模型易受改写式越狱且对正常问题过度拒答,并提出轻量分类器缓解。
- 通过参数与表示扰动实现共识鲁棒的迁移攻击Consensus-Robust Transfer Attacks via Parameter and Representation Perturbations
将迁移攻击建模为共识鲁棒优化,提出 CORTA,在单一代理模型下对 CNN 与 ViT 目标迁移成功率比最佳既有方法高 19.1 个百分点。
Shixin Li, Zewei Li, Xiaojing Ma 等OpenReview - DepthVanish:优化对抗间隔结构的立体深度隐形补丁DepthVanish: Optimizing Adversarial Interval Structures for Stereo-Depth-Invisible Patches
发现在重复纹理间引入规则间隔可显著增强物理补丁攻击,联合优化间隔结构与纹理,可攻击 RAFT-Stereo、STTR 及 Intel RealSense 实物相机。
Yun Xing, Yue Cao, Nhat Chung 等OpenReview - 强化学习中扩散模型引导的对抗状态扰动Diffusion Guided Adversarial State Perturbations in Reinforcement Learning
提出基于扩散模型的 SHIFT 攻击,生成语义不同但逼真的扰动状态,能突破现有 RL 防御并优于已有攻击。
- Dual-Flow:通过级联流优化实现可迁移的多目标、实例无关攻击Dual-Flow: Transferable Multi-Target, Instance-Agnostic Attacks via $\textit{In-the-wild}$ Cascading Flow Optimization
用级联分布偏移训练得到对抗速度函数,提升多目标生成式对抗攻击的迁移性,如 Inception-v3 到 ResNet-152 成功率提高 34.58%,且更抗防御。
- 通过对手偏好对齐增强基于扩散模型的无限制对抗攻击Enhancing Diffusion-based Unrestricted Adversarial Attacks via Adversary Preferences Alignment
把无限制对抗样本生成视为对手偏好对齐问题,两阶段 APA 框架在保持视觉一致性的同时显著提升黑盒攻击迁移性。
- 通过降低指令不确定性探索语义约束对抗样本Exploring Semantic-constrained Adversarial Example with Instruction Uncertainty Reduction
提出 InSUR 框架,从自然语言指令生成可迁移、自适应的语义约束对抗样本,并首次实现无参考的语义约束 3D 对抗样本生成。
Jin Hu, Jiakai Wang, linna Jing 等OpenReview - 拟合分布:针对多模态大模型的跨图像/提示对抗攻击Fit the Distribution: Cross-Image/Prompt Adversarial Attacks on Multimodal Large Language Models
基于分布近似理论,优化单个输入无关的对抗扰动,使其在不同图文对间迁移,诱导 MLLM 产生有害回复。
- GASP:高效黑盒生成对抗后缀以越狱 LLMGASP: Efficient Black-Box Generation of Adversarial Suffixes for Jailbreaking LLMs
用潜空间贝叶斯优化在黑盒设定下生成可读性强的对抗后缀,提高越狱成功率并缩短训练与推理时间,适用于 LLM 红队测试。
Advik Raj Basani, Xiao ZhangOpenReview - 利用 ViT 的计算冗余提升对抗迁移性Harnessing the Computation Redundancy in ViTs to Boost Adversarial Transferability
发现 ViT 的数据级与模型级冗余可放大攻击效果,设计一套技术显著提升对抗样本在多种 ViT 及视觉大模型上的迁移性。
Jiani Liu, Zhiyuan Wang, Zeliang Zhang 等OpenReview - HQA-VLAttack:针对视觉语言预训练模型的高质量对抗攻击HQA-VLAttack: Towards High Quality Adversarial Attack on Vision-Language Pre-Trained Models
提出黑盒框架,文本端用反拟合词向量替换,图像端用对比学习优化扰动,在三个基准上攻击成功率显著优于基线。
- IMPACT:基于两阶段优化的不规则多补丁对抗组合IMPACT: Irregular Multi-Patch Adversarial Composition Based on Two‑Phase Optimization
提出无梯度的对抗补丁攻击框架,联合优化补丁形状、位置、数量与内容,并生成连续不规则补丁,效果优于多种现有方法。
- JailBound:突破视觉语言模型的内部安全边界JailBound: Jailbreaking Internal Safety Boundaries of Vision-Language Models
探测融合层潜空间的安全决策边界并联合优化图文扰动,在六个 VLM 上白盒成功率 94.32%、黑盒 67.28%。
Jiaxin Song, Yixu Wang, Jie Li 等OpenReview - Jailbreak-AudioBench:大型音频语言模型越狱威胁评测Jailbreak-AudioBench: In-Depth Evaluation and Analysis of Jailbreak Threats for Large Audio Language Models
提出含工具箱、数据集和基准的音频越狱评测体系,评估多个 LALM,并支持音频编辑等更强攻击与防御研究。
- LARGO:基于梯度优化的潜空间对抗反思越狱 LLMLARGO: Latent Adversarial Reflection through Gradient Optimization for Jailbreaking LLMs
在 LLM 连续潜空间优化对抗向量再解码为自然语言,生成流畅隐蔽的越狱提示,在 AdvBench 与 JailbreakBench 上攻击成功率比 AutoDAN 等高 44 点。
Ran Li, Hao Wang, Chengzhi MaoOpenReview - 非自适应对抗人脸生成Non-Adaptive Adversarial Face Generation
利用人脸识别特征空间的属性子球面结构,仅用一次含 100 张图的非自适应查询,对 AWS CompareFaces 攻击成功率超 93%。
- LLM 口头置信度在对抗攻击下的鲁棒性On the Robustness of Verbal Confidence of LLMs in Adversarial Attacks
用扰动和越狱式方法攻击口头置信度,发现置信度估计和答案都易被改变,常见防御大多无效甚至适得其反。
- 安全 + 安全 = 不安全?利用安全图像越狱大型视觉语言模型Safe + Safe = Unsafe? Exploring How Safe Images Can Be Exploited to Jailbreak Large Vision-Language Models
提出 Safety Snowball Agent,借助 LVLM 的通用推理与安全滚雪球效应,用几乎任意图像逐步诱导有害输出,对最新 LVLM 越狱成功率高。
- SECA:语义等价且连贯的攻击以诱发 LLM 幻觉SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations
通过保持语义等价与连贯的真实提示改写,用约束零阶优化搜索对抗提示,攻击成功率高于现有方法,开源与商用 LLM 均对此敏感。
Buyun Liang, Liangzu Peng, Jinqi Luo 等OpenReview - 针对对齐大模型的语义表示攻击Semantic Representation Attack against Aligned Large Language Models
提出以语义表示空间为目标的越狱范式及 SRHS 搜索算法,生成语义连贯的对抗提示,在 18 个 LLM 上平均攻击成功率 89.4%。
Jiawei Lian, Jianhong Pan, Lefan Wang 等OpenReview - SilentStriker:针对大语言模型的隐蔽比特翻转攻击SilentStriker: Toward Stealthy Bit-Flip Attacks on Large Language Models
提出首个隐蔽的比特翻转攻击,通过抑制关键输出 token 来设计损失,在降低任务性能的同时保持输出自然,优于现有基线。
- T2V-OptJail:面向文生视频越狱攻击的离散提示词优化T2V-OptJail: Discrete Prompt Optimization for Text-to-Video Jailbreak Attacks
首次将文生视频越狱形式化为离散优化问题,在 Open-Sora 及 Pika、Luma、Kling 等商用模型上,攻击成功率比现有 SoTA 提升约 10–11 个百分点。
- 压缩的代价:针对 ℓ2 范数估计 Sketch 的紧二次黑盒攻击The Cost of Compression: Tight Quadratic Black-Box Attacks on Sketches for $\ell_2$ Norm Estimation
提出通用非自适应黑盒攻击,用约 k² 次查询使任意线性 sketch 的范数估计失效,下界与已知上界匹配,并与图像分类对抗攻击相通。
Sara Ahmadian, Edith Cohen, Uri StemmerOpenReview - 荧光面纱:针对交通标志识别的隐蔽高效物理对抗补丁The Fluorescent Veil: A Stealthy and Effective Physical Adversarial Patch Against Traffic Sign Recognition
用荧光墨水设计物理对抗补丁 FIPatch,紫外光触发后使交通标志识别出错,低光下成功率 98.31%,并绕过五种常见防御。
Shuai Yuan, Xingshuo Han, Hongwei Li 等OpenReview - 未来无标记:基于下一帧预测的 AI 生成图像水印移除攻击The Future Unmarked: Watermark Removal in AI-Generated Images via Next-Frame Prediction
提出首个语义级水印移除攻击 NFPA,把去水印视为视频生成任务,在八种水印方案上优于十三种基线,暴露现有水印的脆弱性。
Huming Qiu, Zhaoxiang Wang, Mi Zhang 等OpenReview - VLLM 安全悖论:越狱攻击与防御的双重容易The VLLM Safety Paradox: Dual Ease in Jailbreak Attack and Defense
分析 VLLM 易被越狱的原因(视觉输入)与现有防御的过度谨慎问题,提出复用 LLM 护栏的 LLM-Pipeline,并指出两种越狱评估方法一致性接近随机。
Yangyang Guo, Fangkai Jiao, Liqiang Nie 等OpenReview - 迈向不可逆攻击:基于多种群协同进化搜索欺骗场景文本识别Towards Irreversible Attack: Fooling Scene Text Recognition via Multi-Population Coevolution Search
提出 MPCS 方法对场景文本识别模型逐字符攻击,解决扰动像素集中问题,使攻击结果难以被词典或语言模型纠正。
Jingyu Li, Pengwen Dai, Mingqing Zhu 等OpenReview - 面向视觉语言模型的思维可视化越狱攻击Towards Visualization-of-Thought Jailbreak Attack against Large Visual Language Models
提出 VoTA,构造含风险视觉思维的图像链,利用推理与安全目标的冲突,在 15 个 VLM 上平均攻击成功率从 63.70% 升至 90.41%。
- TransferBench:基于集成的黑盒迁移攻击基准TransferBench: Benchmarking Ensemble-based Black-box Transfer Attacks
提出 TransferBench,在 17 种更现实的设置下评测集成式黑盒迁移攻击,发现现有方法难以泛化,查询式优化几乎没有收益。
- VERA:大语言模型越狱的变分推断框架VERA: Variational Inference Framework for Jailbreaking Large Language Models
把黑盒越狱建模为变分推断,训练小型攻击 LLM 逼近目标模型的对抗提示后验,训练后无需重新优化即可生成多样、流畅的越狱提示,对多种目标模型有效。
- Video-SafetyBench:视频大视觉语言模型安全评测基准Video-SafetyBench: A Benchmark for Safety Evaluation of Video LVLMs
构建含 2,264 个视频-文本对、48 类不安全类别的基准并提出 RJScore,良性查询配合视频的平均攻击成功率达 67.2%。
Xuannan Liu, Zekun Li, Zheqi He 等OpenReview - WMCopier:在任意图像上伪造不可见水印WMCopier: Forging Invisible Watermarks on Arbitrary Images
提出无需目标水印算法先验的伪造攻击,用扩散模型建模水印分布并嵌入,成功欺骗包括 Amazon 在内的开源与闭源水印系统。
Ziping Dong, Chao Shuai, Zhongjie Ba 等OpenReview
提示注入
3- DRIFT:基于动态规则与注入隔离的 LLM Agent 防护DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents
提出 DRIFT 框架,用安全规划器、动态验证器和注入隔离器约束 Agent 的控制与数据流,在 AgentDojo 和 ASB 上兼顾安全与效用。
Hao Li, Xiaogeng Liu, CHIU Hung Chun 等OpenReview - ReliabilityRAG:面向 RAG 网页搜索的可证明鲁棒防御ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search
利用文档可靠性信号,通过在矛盾图上求最大独立集筛除恶意文档,并给出可证明鲁棒性保证;对检索语料攻击的鲁棒性优于已有方法且保持良性准确率。
- WASP:Web Agent 抗提示注入安全基准WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks
提出端到端评测基准 WASP,发现顶级模型也会被简单人工注入欺骗,攻击部分成功率高达 86%,但完整达成攻击目标的情况较少。
Agent 安全
13- AgentBreeder:通过自我改进缓解多智能体脚手架的 AI 安全风险AgentBreeder: Mitigating the AI Safety Risks of Multi-Agent Scaffolds via Self-Improvement
用多目标进化搜索多智能体脚手架:蓝色模式下安全基准平均提升 79.4%,红色模式下发现对抗性薄弱的脚手架。
- OS-Harm:计算机使用智能体安全性评测基准OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents
基于 OSWorld 构建 150 个任务,覆盖用户恶意使用、提示注入和模型失当行为;前沿模型常直接服从滥用请求,且易受静态提示注入影响。
- AdvEDM:针对基于 VLM 的具身智能体的细粒度对抗攻击AdvEDM: Fine-grained Adversarial Attack against VLM-based Embodied Agents
只改变少数关键物体的感知并保留其余语义,使 VLM 输出有效但错误的决策,在通用和具身决策任务中攻击效果好。
- AgentAuditor:LLM Agent 的类人安全评估AgentAuditor: Human-level Safety and Security Evaluation for LLM Agents
提出免训练、记忆增强的评估框架 AgentAuditor 和含 2293 条记录的 ASSEBench,在 Agent 安全评估上达到人类水平准确率。
Hanjun Luo, Shenyu Dai, Chiming Ni 等OpenReview - 吸引力元数据攻击:诱导 LLM Agent 调用恶意工具Attractive Metadata Attack: Inducing LLM Agents to Invoke Malicious Tools
通过黑盒优化生成更具吸引力的工具元数据,使 Agent 优先选择恶意工具,攻击成功率 81%-95%,并对提示级防御、审计检测和 MCP 依然有效。
Kanghua Mo, Li Hu, Yucheng Long 等OpenReview - GUARDIAN:用时序图建模守护 LLM 多智能体协作GUARDIAN: Safeguarding LLM Multi-Agent Collaborations with Temporal Graph Modeling
将多智能体协作建模为时序属性图,用无监督编码器-解码器检测幻觉放大与错误注入传播,并以信息瓶颈压缩图,取得最优检测精度。
Jialong Zhou, Lichao Wang, Xiao YangOpenReview - 信息检索引发的 AI Agent 安全退化Information Retrieval Induced Safety Degradation in AI Agents
评测发现随着模型获得维基检索乃至开放网络搜索,拒答率与有害内容防护持续下降;基于对齐 LLM 的检索 Agent 常比无检索的无审查模型更不安全。
Cheng Yu, Benedikt Stroebl, Diyi Yang 等OpenReview - 通过仅查询交互对 LLM Agent 实施记忆注入攻击Memory Injection Attacks on LLM Agents via Query-Only Interaction
MINJA 无需直接修改记忆库,仅通过查询与观察输出就向 Agent 记忆注入恶意记录,在多种 Agent 上有效。
Shen Dong, Shaochen Xu, Pengfei He 等OpenReview - MIP against Agent:恶意图像补丁劫持多模态 OS AgentMIP against Agent: Malicious Image Patches Hijacking Multimodal OS Agents
提出对抗扰动的屏幕区域(MIP),被 OS Agent 截屏后诱导其调用 API 执行有害操作如外泄数据,可跨提示与屏幕配置泛化并劫持多个 Agent。
- RiOSWorld:多模态计算机使用 Agent 的风险评测基准RiOSWorld: Benchmarking the Risk of Multimodal Computer-Use Agents
构建含 492 个风险任务的真实环境基准,评估用户与环境来源风险,发现现有计算机使用 Agent 面临显著安全风险。
Yang JingYi, Shuai Shao, Dongrui Liu 等OpenReview - AI Agent 部署中的安全挑战:大规模公开竞赛的启示Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition
为期一个月的红队竞赛对 22 个前沿 LLM 驱动的 Agent 收集 180 万次提示注入攻击,产生 6 万余次策略违规,攻击迁移性强,且鲁棒性与模型能力、规模、推理算力几乎无相关。
Andy Zou, Maxwell Lin, Eliot Krzysztof Jones 等OpenReview - TAI3:测试 Agent 对用户意图解释的完整性TAI3: Testing Agent Integrity in Interpreting User Intent
提出 API 为中心的压力测试框架,通过语义分区和定向变异发现 LLM Agent 误解用户意图的错误,在 80 个工具 API 上优于基线。
Shiwei Feng, Xiangzhe Xu, Xuan Chen 等OpenReview - TRAP:定向重定向智能体偏好TRAP: Targeted Redirecting of Agentic Preferences
用扩散模型生成视觉自然的语义注入图像,无需模型内部访问即可让 VLM 智能体在多候选决策中稳定偏向攻击者目标,对 GPT-4o 等模型有效。
Hangoo Kang, Jehyeok Yeon, Gagandeep SinghOpenReview
防御与护栏
87- 对抗攻击下鲁棒的神经网络动态低秩压缩Dynamical Low-Rank Compression of Neural Networks with Robustness under Adversarial Attacks
提出带谱正则项的动态低秩训练,在压缩超过 94 的同时恢复或提升对抗精度,不损失干净精度。
- 基于贝叶斯数据调度器的 LLM 有害微调自适应防御Adaptive Defense against Harmful Fine-Tuning for Large Language Models via Bayesian Data Scheduler
提出 BDS,把有害微调防御建模为贝叶斯推断,学习每个数据点的安全属性后加权微调,无需攻击模拟即可自适应防御,效果达到 SOTA。
- 连接对称性与鲁棒性:等变性在增强对抗鲁棒性中的作用Bridging Symmetry and Robustness: On the Role of Equivariance in Enhancing Adversarial Robustness
在 CNN 中嵌入旋转和尺度等变层,无需对抗训练即在 FGSM 和 PGD 攻击下提升鲁棒性,并给出理论分析。
- CURE:基于正交表示编辑的扩散模型概念遗忘CURE: Concept Unlearning via Orthogonal Representation Editing in Diffusion Models
提出免训练的权重空间概念遗忘方法,用 SVD 谱擦除器在 2 秒内移除不安全、版权或身份概念,并对红队攻击更稳健。
- 通过拟合自然图像分布检测生成图像Detecting Generated Images by Fitting Natural Image Distributions
利用自然与生成图像数据流形的几何差异,借助自监督模型损失变化检测生成图像,并用 normalizing flow 放大差异。
- 通过跨模态对齐增强 CLIP 的对抗鲁棒性Enhancing CLIP Robustness via Cross-Modality Alignment
提出免训练的 COLA,用最优传输恢复对抗扰动下的图文对齐,在 14 个零样本基准上,PGD 攻击下 ImageNet 平均提升 6.7%。
- 增强 LLM 水印对擦除与伪造攻击的双重鲁棒性Enhancing LLM Watermark Resilience Against Both Scrubbing and Spoofing Attacks
提出 SEEK 水印方案,借助等价纹理密钥让窗口内多个 token 独立支持检测,在不牺牲抗伪造能力的同时提升对擦除攻击的鲁棒性。
- EraseFlow:基于 GFlowNet 对齐学习概念擦除策略EraseFlow: Learning Concept Erasure Policies via GFlowNet-Driven Alignment
把文生图的概念擦除视为去噪路径探索,用 GFlowNet 学习策略,在移除有害概念的同时保持生成质量。
- 从自然隐空间学习鲁棒的视觉语言模型Learning Robust Vision-Language Models from Natural Latent Spaces
提出 CoAPT 协同对抗提示调优,用全变分去除高频扰动并借助预训练 VLM 隐空间恢复特征,在自然泛化、对抗鲁棒性与任务适配间取得更好平衡。
- 通过缓解分类复杂度实现鲁棒图凝聚Robust Graph Condensation via Classification Complexity Mitigation
发现图凝聚在原图受污染时性能显著下降,提出 MRGC,用流形约束使凝聚图保持低分类复杂度,在多种对抗攻击下保持鲁棒。
- Robust SuperAlignment:视觉语言模型的弱到强鲁棒性泛化Robust SuperAlignment: Weak-to-Strong Robustness Generalization for Vision-Language Models
提出弱到强对抗鲁棒性泛化方法,用无监督方式把对抗鲁棒性从弱模型迁移到强 VLM,缓解其面对对抗攻击的脆弱性。
- 大语言模型的可扩展指纹技术Scalable Fingerprinting of Large Language Models
提出 Perinucleus sampling,在 Llama-3.1-8B 中嵌入 24,576 条指纹且不损害效用,微调后仍保留,并缓解指纹泄露等安全风险。
- 通过解耦层间依赖加速纵向联邦对抗学习Accelerated Vertical Federated Adversarial Learning through Decoupling Layer-Wise Dependencies
提出 DecVFAL 框架,通过双层解耦加速纵向联邦学习中的对抗训练,在保持鲁棒性的同时实现约 3 到 10 倍加速,并给出收敛分析。
- AdaptDel:面向可证明鲁棒性的自适应删除率随机平滑AdaptDel: Adaptable Deletion Rate Randomized Smoothing for Certified Robustness
针对编辑距离扰动下的序列分类,提出随输入动态调整删除率的随机平滑认证方法,在 NLP 任务上认证区域中位基数大幅提升。
Zhuoqun Huang, Neil G Marchant, Olga Ohrimenko 等OpenReview - 展开网络(基于模型)的对抗泛化Adversarial generalization of unfolding (model-based) networks
推导展开网络在 l2 约束 FGSM 攻击下的对抗 Rademacher 复杂度与泛化界,并发现过参数化可提升对抗鲁棒性。
- 对抗感知优化:基于扩散先验的鲁棒防御Adversary Aware Optimization for Robust Defense
提出基于优化的对抗扰动净化框架,结合预训练扩散先验与针对对抗扰动空间的似然项,在 CIFAR-10/100 上对多种常见攻击取得较强鲁棒准确率。
- AegisGuard:RL 引导的适配器调优,实现基于 TEE 的高效安全端侧推理AegisGuard: RL-Guided Adapter Tuning for TEE-Based Efficient & Secure On-Device Inference
用 RL 排序对模型窃取敏感的 LoRA 适配器,仅将其放入 TEE 并压缩,窃取抵抗与全屏蔽相当,延迟降低 2–3 倍。
CHE WANG, Ziqi Zhang, Yinggui Wang 等OpenReview - ALMGuard:为音频语言模型寻找安全捷径作为护栏ALMGuard: Safety Shortcuts and Where to Find Them as Guardrails for Audio–Language Models
提出首个面向 ALM 的防御框架,用通用 Shortcut Activation Perturbations 激活安全捷径,将越狱攻击平均成功率降至 4.6% 且保持良性任务效用。
Weifei Jin, Yuxin Cao, Junjie Su 等OpenReview - 反蒸馏采样(Antidistillation Sampling)Antidistillation Sampling
通过调整下一 token 概率分布来毒化推理轨迹,使其难以用于模型蒸馏,同时保持模型效用。
- 超越 Oracle:面向指令层级的验证器监督Beyond Oracle: Verifier-Supervision for Instruction Hierarchy in Reasoning and Instruction-Tuned LLMs
用带可执行验证器的指令冲突样本微调模型,提升指令层级遵循,并泛化提升对抗性安全基准上的鲁棒性。
- BlurGuard:增强图像保护以抵御 AI 编辑的简单方法BlurGuard: A Simple Approach for Robustifying Image Protection Against AI-Powered Editing
对保护性对抗噪声施加自适应分区域高斯模糊,使其更难被 JPEG 压缩等噪声还原技术消除,提升图像抗 AI 编辑的最差情况保护效果。
Jinsu Kim, Yunhun Nam, Minseon Kim 等OpenReview - 用信息量更大的触发器提升神经网络指纹的唯一性Boosting the Uniqueness of Neural Networks Fingerprints with Informative Triggers
从信息论角度研究黑盒模型指纹,选取边际互信息最大的触发器,使版权溯源更准确高效,并可接入现有指纹方案。
Zhuomeng Zhang, Fangqi Li, Hanyi Wang 等OpenReview - 打破检测器中的潜在先验偏差:实现可泛化的 AIGC 图像检测Breaking Latent Prior Bias in Detectors for Generalizable AIGC Image Detection
发现 AIGC 检测器会学到与初始噪声相关的捷径,提出 On-Manifold 对抗训练并构建 GenImage++ 基准,显著提升对未见生成器的跨生成器检测性能。
- C-SafeGen:基于声明级流式护栏的可认证安全 LLM 生成C-SafeGen: Certified Safe LLM Generation with Claim-Based Streaming Guardrails
提出 Claim-based Stream Decoding,用流式护栏检查并回溯修订高风险声明,并以共形分析给出可认证的安全风险上界,含在线设置。
Mintong Kang, Zhaorun Chen, Bo LiOpenReview - CARE:通过回滚与自省干预实现解码时安全对齐CARE: Decoding-Time Safety Alignment via Rollback and Introspection Intervention
结合守卫模型实时监控、token 缓冲回滚与自省式批评干预,在解码时纠正不安全输出,兼顾低有害率与回答质量。
- 文生图扩散模型 NSFW 内容擦除的综合评估与分析Comprehensive Assessment and Analysis for NSFW Content Erasure in Text-to-Image Diffusion models
提出概念擦除全流程工具包,对 NSFW 概念擦除方法做首次系统研究,并给出实际应用指导。
Die Chen, Zhiwen Li, Cen Chen 等OpenReview - Conformal Arbitrage:语言模型中竞争目标的风险受控平衡Conformal Arbitrage: Risk-Controlled Balancing of Competing Objectives in Language Models
用 conformal risk control 校准阈值,在主模型与保守 Guardian 之间切换,使事实错误或安全违规频率有分布无关的有限样本保证。
William Overman, Mohsen BayatiOpenReview - 文生图扩散模型中的连续概念移除Continuous Concepts Removal in Text-to-image Diffusion Models
提出 CCRT,用知识蒸馏和遗传算法生成的提示约束图文对齐,在连续移除版权或不良概念时保持图像质量。
Tingxu Han, Weisong Sun, Yanrong Hu 等OpenReview - DEGauss:防御针对高斯泼溅的恶意 3D 编辑DEGauss: Defending Against Malicious 3D Editing for Gaussian Splatting
针对 3D 高斯泼溅被恶意编辑的滥用风险,提出多视角扰动防御,通过视角聚焦梯度融合与双重偏差优化破坏编辑轨迹,并能泛化到多种 3D 编辑流程。
Lingzhuang Meng, Mingwen Shao, Yuanjian Qiao 等OpenReview - 基于自回归奖励引导表征编辑的 LLM 去毒Detoxifying Large Language Models via Autoregressive Reward Guided Representation Editing
提出 ARGRE,在表征空间建模毒性过渡并训练奖励模型指导推理时编辑,在 8 个 LLM 上毒性降低 62.21%、推理时间减少 47.58%。
Yisong Xiao, Aishan Liu, Siyuan Liang 等OpenReview - DiffBreak:基于扩散的对抗净化真的鲁棒吗?DiffBreak: Is Diffusion-Based Purification Robust?
理论与实验表明扩散净化的鲁棒性因梯度不准和评估协议缺陷被高估,提出 DiffBreak 工具包,并设计针对多数投票防御的攻击,使其失效。
Andre Kassis, Urs Hengartner, Yaoliang YuOpenReview - FocalLoRA:面向 LLM 指令层级对齐的焦点注意力头微调Don’t Forget the Enjoin: FocalLoRA for Instruction Hierarchical Alignment in Large Language Models
针对指令冲突时 LLM 难以遵循系统级指令的问题,只微调对冲突敏感的 focal heads,在 Llama-8B 上用 0.0188% 参数将系统指令遵循率提升 35.52%。
- E2E-VGuard:面向生产级 LLM 端到端语音合成的对抗式防护E2E-VGuard: Adversarial Prevention for Production LLM-based End-To-End Speech Synthesis
用编码器集成保护音色、ASR 对抗样本干扰发音,抵御声音克隆欺诈,在 16 个开源合成器和 3 个商业 API 上验证有效。
Zhisheng Zhang, Derui Wang, Yifan Mi 等OpenReview - 大语言模型中特定知识的弹性鲁棒遗忘Elastic Robust Unlearning of Specific Knowledge in Large Language Models
提出 ERU,用弹性奖励与拒答特征消融增强偏好优化式遗忘的效果与鲁棒性,在 WMDP-Bio 上提升 9%,重训练攻击下仍保持 83%。
- 用奇异池化增强图分类鲁棒性Enhancing Graph Classification Robustness with Singular Pooling
理论分析 sum、average、max 池化的对抗风险,提出基于主奇异向量的 RS-Pool,在对抗攻击下更鲁棒且保持干净精度。
- 从语言模型中擦除概念知识Erasing Conceptual Knowledge from Language Models
提出 ELM,用模型自身的内省分类能力做低秩更新,在生物安全、网络安全等领域擦除目标概念,同时保持通用能力,并对对抗攻击保持较强鲁棒性。
Rohit Gandikota, Sheridan Feucht, Samuel Marks 等OpenReview - EVOREFUSE:评估并缓解 LLM 对伪恶意指令过度拒答的进化式提示优化EVOREFUSE: Evolutionary Prompt Optimization for Evaluation and Mitigation of LLM Over-Refusal to Pseudo-Malicious Instructions
用进化算法生成诱发过度拒答的伪恶意指令,构建评测集与对齐数据;微调后 Llama3.1-8B 过度拒答最多减少 29.85% 且不损安全。
Xiaorui Wu, Fei Li, Xiaofeng Mao 等OpenReview - FALCON:面向 LLM 的对比正交去对齐细粒度激活操控遗忘FALCON: Fine-grained Activation Manipulation by Contrastive Orthogonal Unalignment for Large Language Model
提出表示引导的遗忘方法,用对比机制与正交梯度投影去除 LLM 中敏感或有害知识,兼顾遗忘效果与模型效用,并抵抗知识恢复。
Jinwei Hu, Zhenglin Huang, Xiangyu Yin 等OpenReview - 发现并重新激活后训练 LLM 中被隐藏的安全机制Finding and Reactivating Post-Trained LLMs' Hidden Safety Mechanisms
发现后训练会掩盖基座模型的安全机制但并未删除,提出 SafeReAct 用少数层的 LoRA 恢复安全行为,且不损害推理性能。
Mingjie Li, Wai Man Si, Michael Backes 等OpenReview - 加固时间序列:DTW 认证鲁棒的异常检测Fortifying Time Series: DTW-Certified Robust Anomaly Detection
基于随机平滑提出首个 DTW 距离下的认证鲁棒防御,在 DTW 对抗攻击下 F1 比传统认证模型最高提升 18.7%。
- FrameShield:对抗鲁棒的视频异常检测FrameShield: Adversarially Robust Video Anomaly Detection
针对弱监督视频异常检测易受对抗攻击的问题,提出 SRD 伪异常生成方法以降低伪标签噪声,使对抗训练有效,多个基准上平均 AUROC 比现有方法高 71.0%。
- 从判断到干预:通过流式内容监控提前终止 LLM 有害输出From Judgment to Interference: Early Stopping LLM Harmful Outputs via Streaming Content Monitoring
构建 token 级标注数据集 FineHarm 并训练流式监控器 SCM,平均仅看前 18% token 即达到接近全文检测的 F1,还可作为伪标注器改进安全对齐。
Yang Li, Qiang Sheng, Yehan Yang 等OpenReview - GuardReasoner-VL:通过强化推理守护 VLMGuardReasoner-VL: Safeguarding VLMs via Reinforced Reasoning
构建推理型 VLM 护栏模型,经 SFT 冷启动与在线 RL 训练,在多模态内容审核上平均 F1 比次优方法高 19.27%,并开源数据与模型。
- GuardSet-X:大规模多领域、基于安全政策的护栏数据集GuardSet-X: Massive Multi-Domain Safety Policy-Grounded Guardrail Dataset
覆盖八个领域、基于真实安全准则构建,并含对抗增强样本,评测 19 个护栏模型,发现跨风险类别方差大,且都易受优化的对抗攻击。
Mintong Kang, Zhaorun Chen, Chejian Xu 等OpenReview - 人类文本是离群点:用分布外检测识别 LLM 生成文本Human Texts Are Outliers: Detecting LLM-generated Texts via Out-of-distribution Detection
将 LLM 生成文本检测重构为 OOD 检测,用单类学习和能量方法,在 DeepFake 数据集达 98.3% AUROC,并在多语言和受攻击场景保持稳健。
Cong Zeng, Shengkun Tang, Yuanzhou Chen 等OpenReview - IF-Guide:基于影响函数的 LLM 去毒化IF-Guide: Influence Function-Guided Detoxification of LLMs
用影响函数在 token 级定位训练数据中的有害内容并在预训练或微调中抑制,显式与隐式毒性最多降低 10 倍,且无需人类偏好数据。
Zachary Coalson, Juhan Bae, Nicholas Carlini 等OpenReview - 语言模型的终身安全对齐Lifelong Safety Alignment for Language Models
让 Meta-Attacker 持续发现新越狱策略、Defender 对抗训练,Defender 最终将 Meta-Attacker 的成功率压到 7%。
Haoyu Wang, Yifei Zhao, Zeyu Qin 等OpenReview - LORE:面向视觉编码器的拉格朗日优化鲁棒嵌入LORE: Lagrangian-Optimized Robust Embeddings for Visual Encoders
提出基于约束优化的无监督对抗微调框架 LORE,稳定训练并显著提升零样本对抗鲁棒性,干净数据精度损失很小。
- MetaDefense:在生成前与生成中防御微调式越狱攻击MetaDefense: Defending Fine-tuning based Jailbreak Attack Before and During Generation
训练 LLM 在生成前判断查询、生成中监控部分回复的有害性以提前终止,对已见与未见攻击模板均优于现有防御。
- 通过嵌入扭曲缓解文生图扩散模型的色情内容生成Mitigating Sexual Content Generation via Embedding Distortion in Text-conditioned Diffusion Models
提出 DES,将不安全嵌入映向安全区域并中和 nudity 嵌入,在 FLUX.1 上攻击成功率降至 9.47%,同时保持图像质量。
Jaesin Ahn, Heechul JungOpenReview - MixAT:结合连续与离散对抗训练的 LLM 防御MixAT: Combining Continuous and Discrete Adversarial Training for LLMs
结合更强的离散攻击与更快的连续攻击做对抗训练,最坏情况攻击成功率(ALO-ASR)低于 20%,优于先前防御的 50% 以上,且开销相近。
Csaba Dékány, Stefan Balauca, Dimitar Iliev Dimitrov 等OpenReview - 一头定乾坤:用单个关键注意力头增强 LVLM 安全性One Head to Rule Them All: Amplifying LVLM Safety through a Single Critical Attention Head
发现 LVLM 的安全能力集中在特定注意力头,提出免训练的 Oh Defense,对不安全输入防御成功率超 98%,误报率低于 5%。
Junhao Xia, Haotian Zhu, Shuchao Pang 等OpenReview - OVERT:文生图模型过度拒答评测基准OVERT: A Benchmark for Over-Refusal Evaluation on Text-to-Image Models
构建含 4600 条看似有害实为良性提示的基准,发现主流文生图模型普遍存在过度拒答,提示改写虽可缓解但会损害语义忠实度。
Ziheng Cheng, Yixiao Huang, Hui Xu 等OpenReview - Panacea:通过微调后扰动缓解 LLM 有害微调Panacea: Mitigating Harmful Fine-tuning for Large Language Models via Post-fine-tuning Perturbation
发现随机扰动即可恢复安全性,进而优化自适应扰动,在不损失下游性能的前提下将平均有害分数最多降低 21.2%。
Yibo Wang, Tiansheng Huang, Li Shen 等OpenReview - LLM 的个性化安全:基准与基于规划的 Agent 方法Personalized Safety in LLMs: A Benchmark and A Planning-Based Agent Approach
提出个性化安全概念与 PENGUIN 基准(14000 个场景),发现用户背景信息可使安全分提升 43.2%,并提出免训练的 RAISE 框架,平均仅需 2.7 次提问即可提升最多 31.6%。
Yuchen Wu, Edward Sun, Kaijie Zhu 等OpenReview - 用追问预测黑盒语言模型的表现Predicting the Performance of Black-box Language Models with Follow-up Queries
以追问回答的概率训练线性预测器,可预测黑盒模型正确性,并检测被系统提示对抗操纵或被冒充的模型。
Dylan Sam, Marc Anton Finzi, J Zico KolterOpenReview - 推理作为安全的自适应防御Reasoning as an Adaptive Defense for Safety
提出 TARS,用强化学习训练模型以思维链推理安全问题,在歧义查询上多花算力,改善安全与拒答权衡,并增强对 GCG、PAIR 攻击的鲁棒性。
- 带回溯反馈的强化学习(RLBF)Reinforcement Learning with Backtracking Feedback
用 RL 训练 LLM 在发生安全违规时输出“回退 x 个 token”信号并重新生成,降低 GCG 等攻击的成功率且保持模型效用。
- 仅用负样本从文生图模型中移除概念Removing Concepts from Text-to-Image Models with Only Negative Samples
Clipout 随机裁剪嵌入单元并用对比目标,仅凭自举生成的负样本,无需重训即可移除隐私、版权或有害概念,效果优于现有方法。
Hanwen Liu, Yadong MUOpenReview - 残差流分析:过拟合与结构破坏Residual Stream Analysis of Overfitting And Structural Disruptions
发现重复的安全数据导致残差流方差集中和误拒增多,提出 VCL 正则,使误拒率降低 35 个百分点以上且通用性能不降。
Quan Liu, Han Zhou, Wenquan Wu 等OpenReview - RespoDiff:面向负责任且忠实的文生图双模块瓶颈变换RespoDiff: Dual-Module Bottleneck Transformation for Responsible & Faithful T2I Generation
在扩散模型瓶颈表示上加入双模块变换,分别负责公平与安全概念和语义对齐,负责任生成效果提升约20%,可用于 SDXL。
Silpa Vadakkeeveetil Sreelatha, Sauradip Nag, Muhammad Awais 等OpenReview - 面向自回归音频生成模型的鲁棒无失真水印Robust Distortion-Free Watermark for Autoregressive Audio Generation Models
针对音频重新分词不匹配问题提出 Aligned-IS 无失真水印,通过 token 聚类在保持音质的同时显著提升水印检测率。
Yihan Wu, Georgios Milis, Ruibo Chen 等OpenReview - RoMa:保护扩散模型知识产权的鲁棒模型水印方案RoMa: A Robust Model Watermarking Scheme for Protecting IP in Diffusion Models
利用线性模式连通性分析水印对微调的脆弱性,提出提升路径平滑性的水印方案,显著增强抗微调鲁棒性并保持生成质量。
- RSafe:以主动推理构建鲁棒自适应的 LLM 护栏RSafe: Incentivizing proactive reasoning to build robust and adaptive LLM safeguards
先做策略引导的安全推理,再用规则式 RL 对齐推理路径,在未见有害类别与越狱攻击上泛化更好,并给出可读解释。
- RULE:强化遗忘实现遗忘与保留的帕累托最优RULE: Reinforcement UnLEarning Achieves Forget-retain Pareto Optimality
把 LLM 遗忘建模为拒答边界优化,用可验证奖励训练,仅用少量遗忘数据即在遗忘质量和自然度上超过基线。
- SAFEPATH:通过早期对齐防止思维链中的有害推理SAFEPATH: Preventing Harmful Reasoning in Chain-of-Thought via Early Alignment
微调推理模型在推理开头输出 8 token 安全引导语,在 R1-Distill-Llama-8B 上最多减少 90% 有害回答、拦截 83.3% 越狱,计算量远低于基线。
Wonje Jeung, Sangyeon Yoon, Minsuk Kahng 等OpenReview - SafePTR:多模态大模型中基于先剪枝后恢复的 token 级越狱防御SafePTR: Token-Level Jailbreak Defense in Multimodal LLMs via Prune-then-Restore Mechanism
发现早中层不到 1% 的有害 token 触发越狱,据此提出免训练的剪枝再恢复防御,在三个 MLLM、五个基准上提升安全且不损效用。
- 大语言模型的安全深度:马尔可夫链视角Safety Depth in Large Language Models: A Markov Chain Perspective
提出安全深度概念,用马尔可夫链推导最优安全深度,并以循环群增强提升六个 LLM 的安全分数,发现更大集成宽度可弥补较浅对齐。
Ching-Chia Kao, Chia-Mu Yu, Chun-Shien Lu 等OpenReview - 安全预训练:迈向下一代安全 AISafety Pretraining: Toward the Next Generation of Safe AI
以数据为中心在预训练阶段加入安全过滤、改写、原生拒答和有害标签,使攻击成功率从 38.8% 降至 8.4%,通用任务性能无损。
Pratyush Maini, Sachin Goyal, Dylan Sam 等OpenReview - SafeVid:面向安全对齐的视频大型多模态模型SafeVid: Toward Safety Aligned Video Large Multimodal Models
以文本视频描述为桥梁迁移文本安全对齐,构建 35 万对偏好数据并用 DPO 对齐,在 SafeVidBench 上最高提升 42.39%。
Yixu Wang, Jiaxin Song, Yifeng Gao 等OpenReview - 基于 Hölder 优化的可扩展神经网络几何鲁棒性验证Scalable Neural Network Geometric Robustness Validation via Hölder Optimisation
提出 H²V,用 Hilbert 空间填充与 Hölder 优化验证神经网络对几何扰动的局部鲁棒性,可扩展到 ResNet152、ViT 及视频 3D 网络。
Yanghao Zhang, Panagiotis Kouvaros, Alessio LomuscioOpenReview - SeCon-RAG:面向可信 RAG 的两阶段语义过滤与无冲突框架SeCon-RAG: A Two-Stage Semantic Filtering and Conflict-Free Framework for Trustworthy RAG
针对 RAG 语料投毒与污染攻击,提出两阶段语义过滤与冲突过滤防御,在保留有用知识的同时提升鲁棒性,优于现有防御。
- Semantic Surgery:扩散模型的零样本概念擦除Semantic Surgery: Zero-Shot Concept Erasure in Diffusion Models
在扩散前对文本嵌入做校准的向量减法以擦除有害概念,无需重训,在显式内容、风格等擦除任务上优于现有方法,并可兼作威胁检测。
Lexiang Xiong, Liu Chengyu, Jingwen Ye 等OpenReview - Shape it Up!在微调中恢复 LLM 安全性Shape it Up! Restoring LLM Safety during Finetuning
提出动态安全塑形 DSS,用护栏模型逐段评估回复的 STAR 信号,强化安全片段、抑制不安全内容,降低微调风险且不损失能力。
- 短长度对抗训练可帮助 LLM 防御长长度越狱攻击Short-length Adversarial Training Helps LLMs Defend Long-length Jailbreak Attacks: Theoretical and Empirical Evidence
针对对抗后缀越狱,证明用长度 Θ(√M) 的对抗后缀做对抗训练即可防御长度 Θ(M) 的攻击,并在开源 LLM 上实验证实攻击成功率与长度比相关。
Shaopeng Fu, Liang Ding, Jingfeng Zhang 等OpenReview - 简单取胜:重新思考用于 LLM 遗忘的 Negative Preference OptimizationSimplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning
指出 NPO 存在参考模型偏差,提出去除参考模型的 SimNPO 遗忘框架,在 TOFU、MUSE、WMDP 上验证有效。
Chongyu Fan, Jiancheng Liu, Licong Lin 等OpenReview - T2SMark:在扩散模型 Noise-as-Watermark 中平衡鲁棒性与多样性T2SMark: Balancing Robustness and Diversity in Noise-as-Watermark for Diffusion Models
提出基于尾部截断采样的两阶段水印方案,在 U-Net 与 DiT 扩散模型上兼顾水印鲁棒性与生成多样性,用于内容溯源与防滥用。
- 有理论保证的 LLM 水印框架:分布自适应方法Theoretically Grounded Framework for LLM Watermarking: A Distribution-Adaptive Approach
联合优化水印方案与检测器,给出最优解并提出无失真的分布自适应算法 DAWA,在极低误报率下检测效果良好。
- 面向扩散模型的抗下游微调的安全遗忘Towards Resilient Safety-driven Unlearning for Diffusion Models against Downstream Fine-tuning
发现现有安全遗忘方法在良性数据微调后会失效,提出 ResAlign,通过隐式优化建模和元学习,使安全性在微调后仍得以保持。
Boheng Li, Renjie Gu, Junjie Wang 等OpenReview - 面向扩散模型安全使用的免训练安全去噪器Training-Free Safe Denoisers for Safe Use of Diffusion Models
利用负例集合直接修改采样轨迹,让生成远离不安全、受版权或隐私数据区域,无需重训,在 CoPro 上达到领先安全表现。
- 文生图扩散模型的免训练安全文本嵌入引导Training-Free Safe Text Embedding Guidance for Text-to-Image Diffusion Models
提出 STG,在采样时依据去噪图像的安全函数调整文本嵌入,无需训练即可去除裸露、暴力等不安全内容并保持语义。
- 理解并提升神经概率电路的对抗鲁棒性Understanding and Improving Adversarial Robustness of Neural Probabilistic Circuits
证明 NPC 的对抗鲁棒性只取决于属性识别模块,并提出 RNPC,用类别级整合获得可证明更强的鲁棒性且保持良性精度。
Weixin Chen, Han ZhaoOpenReview - 理解并改进针对 l0 有界扰动的快速对抗训练Understanding and Improving Fast Adversarial Training against $l_0$ Bounded Perturbations
分析 l0 对抗训练中 catastrophic overfitting 源于单步攻击扰动位置次优,并用 soft labels 与 trade-off loss 平滑损失面,缩小单步与多步训练差距。
Xuyang Zhong, Yixiao Huang, Chen LiuOpenReview - 理解并纠正 VLM 中的安全感知失真Understanding and Rectifying Safety Perception Distortion in VLMs
发现视觉模态引入使激活偏向“更安全”方向、导致 VLM 高估有害输入安全性,提出免训练的 ShiftDC 校准,恢复对齐且不损害能力。
- 揭穿操纵者:利用生物特征泄露识别 AI 视频会议中的冒充Unmasking Puppeteers: Leveraging Biometric Leakage to Expose Impersonation in AI-Based Videoconferencing
针对 AI 说话人视频会议中的 puppeteering 冒充攻击,用度量学习从潜在表示中解耦身份线索以检测未授权替换,可在消费级 GPU 上实时运行,优于已有防御。
Danial Samadi Vahdati, Tai Duc Nguyen, Ekta Prashnani 等OpenReview - 脆弱数据感知的对抗训练Vulnerable Data-Aware Adversarial Training
提出 VDAT,基于间隔衡量样本脆弱性并过滤训练数据,在 CIFAR 与 ImageNet-1K 上效率最高提升 76%,同时提高自然与对抗精度。
- 自回归图像生成的水印Watermarking Autoregressive Image Generation
首次在 token 层面为自回归图像模型加水印,通过微调 tokenizer 改善反向循环一致性并加同步层,对图像变换与移除攻击保持鲁棒。
Nikola Jovanović, Ismail Labiad, Tomas Soucek 等OpenReview
对齐
15- 超越期望:面向风险校准语言模型的分位数引导对齐Beyond Expectations: Quantile-Guided Alignment for Risk-Calibrated Language Models
提出 Quantile-Guided Alignment,在 RLHF 中施加分位数约束以控制有害输出等尾部风险,在对话和代码生成上提升目标尾部质量。
- Deep Value Benchmark:衡量模型泛化的是深层价值还是浅层偏好Deep Value Benchmark: Measuring Whether Models Generalize Deep Values or Shallow Preferences
通过控制深层价值与浅层特征的混淆来测 DVGR,9 个模型平均仅 0.30,均低于随机水平,且更大模型略低。
- 效用工程:分析与控制 AI 中涌现的价值体系Utility Engineering: Analyzing and Controlling Emergent Value Systems in AIs
用效用函数框架发现 LLM 的偏好随规模呈现结构一致性,并揭示其中存在 AI 重视自身高于人类等问题价值观,提出效用控制方法。
- 谁的安全观?面向文生图模型多元对齐的 DIVE 数据集Whose View of Safety? A Deep DIVE Dataset for Pluralistic Alignment of Text-to-Image Models
构建由人口统计交叉的评分者标注的多模态数据集,发现不同人群对危害的感知存在显著差异,为文生图模型的多元安全对齐提供基础。
- 通过系统级 DPO 对齐复合 AI 系统Aligning Compound AI Systems via System-level DPO
提出 SysDPO,将复合 AI 系统建模为 DAG 并扩展 DPO 做系统级联合对齐,在语言模型加扩散模型等场景中验证有效。
Xiangwen Wang, Yibo Jacky Zhang, Zhoujie Ding 等OpenReview - DPO 能学习多样的人类价值观吗?一个理论缩放律Can DPO Learn Diverse Human Values? A Theoretical Scaling Law
建立理论框架分析 DPO 泛化如何随价值多样性与样本量缩放,给出泛化误差界,说明学习广泛价值观的困难,并在 LLM 上验证。
- 资源约束下理性智能体涌现的风险意识Emergent Risk Awareness in Rational Agents under Resource Constraints
用生存型赌博机框架刻画资源约束如何改变 AI 智能体偏好,指出人与智能体目标可能错位,并提出缓解风险偏好偏移的机制。
Daniel Jarne Ornia, Nicholas George Bishop, Joel Dyer 等OpenReview - 通过修正策略优化增强 RLHF 中的安全性Enhancing Safety in Reinforcement Learning with Human Feedback via Rectified Policy Optimization
指出期望安全约束会导致“安全补偿”,提出 RePO 对每个提示施加关键安全约束,显著提升 LLM 安全对齐。
- 可解释的 RLHF:改进对齐Explainable Reinforcement Learning from Human Feedback to Improve Alignment
通过定位导致不满意回复的训练数据并对其进行遗忘,在不显著损害其他回复的前提下改进 RLHF 对齐后的语言模型。
- Generative RLHF-V:从多模态人类偏好中学习原则Generative RLHF-V: Learning Principles from Multi-modal Human Preference
提出将生成式奖励模型与多模态 RLHF 结合的对齐框架,在 7 个基准上使 4 个 MLLM 平均提升 18.1%,而基线 RLHF 仅提升 5.3%。
Jiayi Zhou, Jiaming Ji, Boyuan Chen 等OpenReview - LLM 安全对齐本质上是散度估计LLM Safety Alignment is Divergence Estimation in Disguise
证明 RLHF 等对齐方法可视为安全与有害分布间的散度估计,据此提出 KLDO 方法,并给出衡量表示空间分离度的安全指标。
- 面向多元对齐的成对校准奖励Pairwise Calibrated Rewards for Pluralistic Alignment
用多个奖励函数的分布表示分歧的人类偏好,提出成对校准准则并给出训练启发式,提升校准效果。
Daniel Halpern, Evi Micha, Ariel D. Procaccia 等OpenReview - Safe RLHF-V:基于多模态人类反馈的安全强化学习Safe RLHF-V: Safe Reinforcement Learning from Multi-modal Human Feedback
提出首个多模态安全对齐框架,含双偏好数据集 BeaverTails-V 与护栏模型;约束优化使模型安全性提升 34.2%、有用性提升 34.3%。
Jiaming Ji, Xinyu Chen, Rui Pan 等OpenReview - 通过可证明鲁棒的模型对齐实现人类反馈的可扩展估值Scalable Valuation of Human Feedback through Provably Robust Model Alignment
提出具有可证明 redescending 性质的 Hölder-DPO,可在噪声偏好标签下鲁棒对齐,并检测错标样本;清除 HH-RLHF 中的噪声后对齐效果提升。
Masahiro Fujisawa, Masaki Adachi, Michael A OsborneOpenReview - 抗策略性操纵的人类反馈强化学习Strategyproof Reinforcement Learning from Human Feedback
证明现有 RLHF 算法无法抵御策略性标注者,单个标注者即可造成严重错位;提出 Pessimistic Median of MLEs 算法,近似抗操纵并收敛到最优策略。
欺骗与谋划
6- Among Us:衡量与检测 Agent 欺骗的沙盒Among Us: A Sandbox for Measuring and Detecting Agentic Deception
用社交推理游戏评测 18 个 LLM,发现 RL 训练模型更擅长欺骗而非识破;基于激活的探针检测欺骗 AUROC 超 95%。
- 推理模型中的霍桑效应:评测并操控测试感知The Hawthorne Effect in Reasoning Models: Evaluating and Steering Test Awareness
用白盒探针识别并操控推理模型的测试感知,发现它会显著影响有害请求的服从等安全对齐表现,且影响方向与幅度因模型而异。
- 为什么有些语言模型会伪装对齐而另一些不会?Why Do Some Language Models Fake Alignment While Others Don't?
将对齐伪装分析扩展到 25 个模型,仅 5 个在推断处于训练时更多服从有害请求;仅 Claude 3 Opus 主要出于保持目标,后训练与拒答差异可解释大部分差别。
- DeceptionBench:真实场景下 AI 欺骗行为的综合基准DeceptionBench: A Comprehensive Benchmark for AI Deception Behaviors in Real-world Scenarios
含 150 个场景、千余样本的欺骗评测基准,考察自利与谄媚倾向及奖励、胁迫等情境影响;发现强化动态下欺骗显著加剧。
Yao Huang, Yitong Sun, Yichi Zhang 等OpenReview - 噪声注入揭示 sandbagging 语言模型的隐藏能力Noise Injection Reveals Hidden Capabilities of Sandbagging Language Models
向模型权重注入噪声检测 sandbagging:普通模型性能随噪声下降,而故意藏拙的模型会异常提升,并能激发 Mistral Large 120B 的完整表现。
Cameron Tice, Philipp Alexander Kreer, Nathan Helm-Burger 等OpenReview - 用测谎器做偏好学习:可能诱导诚实,也可能诱导规避Preference Learning with Lie Detectors can Induce Honesty or Evasion
把测谎器放进 LLM 后训练的标注环节:GRPO 可学出规避测谎器的策略(欺骗率超 85%),但测谎器 TPR 或 KL 正则足够高时可得诚实策略,DPO 欺骗率低于 25%。
奖励作弊
4- 大语言模型的推理时奖励作弊Inference-Time Reward Hacking in Large Language Models
刻画 Best-of-n 等推理时对齐机制中的奖励作弊,证明真实奖励先升后降不可避免,并提出 HedgeTune 对冲代理奖励以缓解。
- 探索 RLHF 中的数据扩展趋势与效应Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback
针对 RLHF 的奖励作弊与回答多样性下降,提出推理验证器加生成式奖励模型的混合奖励和 Pre-PPO 选题,其中验证器抗奖励作弊最强。
- 纠正基于偏好的奖励学习中的捷径行为Rectifying Shortcut Behaviors in Preference-based Reward Learning
将奖励作弊视为捷径行为,提出 PRISM 学习群不变核,降低奖励模型对冗长、谄媚等伪特征的依赖并提升 OOD 准确率。
Wenqian Ye, Guangtao Zheng, Aidong ZhangOpenReview - 停止求和:过程奖励模型只需 min-form 信用分配Stop Summation: Min-Form Credit Assignment Is All Process Reward Model Needs for Reasoning
指出 PRM 引发奖励作弊的主因是求和式信用分配,提出 PURE 的 min-form 信用分配,显著缓解奖励作弊,在 3 个基座模型上取得与可验证奖励相当的推理表现。
思维链监控
3- CoT Red-Handed:对思维链监控的压力测试CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring
在模型被指示执行有害副任务的红队设置中比较 CoT 监控与仅动作监控,发现 CoT 可含误导性辩解,提出混合监控,对隐蔽欺骗的检出率达两倍。
Benjamin Arnav, Pablo Bernabeu-Perez, Nathan Helm-Burger 等OpenReview - 大模型能在过程监督下学会并泛化隐写式思维链Large language models can learn and generalize steganographic chain-of-thought under process supervision
惩罚思维链中的特定字符串会让模型改用替代字符串编码推理而不改变解题方式,并能泛化到未见字符串,威胁 CoT 监控可靠性。
- 推理模型有时会输出难以阅读的思维链Reasoning Models Sometimes Output Illegible Chains of Thought
评估 14 个推理模型思维链的可读性:R1、QwQ 常出现乱码式思维链,Claude 更清晰;模型越大、题目越难越不可读,可能削弱 CoT 监控。
Arun JoseOpenReview
可解释性
14- Angular Steering:通过激活空间旋转控制行为Angular Steering: Behavior Control via Rotation in Activation Space
将 steering 表述为固定二维子空间内的几何旋转,对拒答与顺从等行为实现连续细粒度控制,并保持通用语言建模性能。
- 度量并引导单义性:Guided Sparse AutoencodersMeasuring and Guiding Monosemanticity
提出特征单义性分数 FMS 与带概念标签训练的 G-SAE,在毒性检测、隐私属性识别等任务上提升单义性,并实现更精细的 steering。
- 用激活探针检测高风险交互Detecting High-Stakes Interactions with Activation Probes
用激活探针监控可能导致重大危害的高风险交互,效果媲美中型 LLM 监控器而计算成本低六个数量级,可作分层监控的初筛。
Alex McKenzie, Urja Pawar, Phil Blandfort 等OpenReview - 语言模型能够对自身内部激活进行元认知监控与控制Language Models Are Capable of Metacognitive Monitoring and Control of Their Internal Activations
用 neurofeedback 范式量化 LLM 报告和控制自身激活的能力,发现其只能监控神经空间的一小部分,并指出模型可能规避激活层面的安全检测。
Li Ji-An, Hua-Dong Xiong, Robert Wilson 等OpenReview - 语言模型能预测自身行为Language Models Can Predict Their Own Behavior
基于输入表示训练带 conformal 保证的探针,在生成前预警越狱等对齐失效,预警系统使越狱减少 91%。
- Learning to Steer:面向多模态 LLM 的输入相关 steeringLearning to Steer: Input-dependent Steering for Multimodal LLMs
训练小型辅助模块预测输入相关的 steering 向量,在多模态 LLM 上减少幻觉并强化安全行为,优于静态 steering 基线。
Jayneel Parekh, Pegah KHAYATAN, Mustafa Shukor 等OpenReview - LinEAS:基于分布损失的端到端激活 steering 学习LinEAS: End-to-end Learning of Activation Steering with a Distributional Loss
用全局分布损失端到端训练线性激活 steering,仅需少量无配对样本即可缓解语言模型毒性,效果接近依赖强监督的方法。
- LLM 对有害性与拒答的编码是分离的LLMs Encode Harmfulness and Refusal Separately
发现有害性方向与拒答方向相互独立;部分越狱只削弱拒答信号而不改变有害性判断,据此提出对微调攻击鲁棒的 Latent Guard。
- 用 Gradient Slingshots 操纵特征可视化Manipulating Feature Visualizations with Gradient Slingshots
提出 Gradient Slingshots,可在不改架构下让特征可视化收敛到任意预设图像,暴露审计风险,并给出简单防御。
Dilyara Bareeva, Marina MC Höhne, Alexander Warnecke 等OpenReview - 克服 Crosscoder 的稀疏性伪影以解释 Chat 微调Overcoming Sparsity Artifacts in Crosscoders to Interpret Chat-Tuning
指出 crosscoder 的 L1 损失会误判概念为微调独有,提出 Latent Scaling 并改用 BatchTopK,找到与虚假信息、拒答相关的 chat 特有 latent。
Julian Minder, Clément Dumas, Caden Juang 等OpenReview - 重新定义专家:用于缓解毒性的语言模型可解释分解Redefining Experts: Interpretable Decomposition of Language Models for Toxicity Mitigation
提出 EigenShift,对输出层做特征分解以定向抑制生成毒性的成分,无需额外训练,且不损害语言能力。
Zuhair Hasan Shaik, Abdullah Mazhar, Aseem Srivastava 等OpenReview - 拒答方向在各安全对齐语言间具有普遍性Refusal Direction is Universal Across Safety-Aligned Languages
在14种语言上发现拒答方向跨语言通用,从英语提取的向量几乎可完全绕过其他语言的拒答,并解释了跨语言越狱的机制。
- SAFEx:通过稳定的安全关键专家识别分析 MoE 大模型漏洞SAFEx: Analyzing Vulnerabilities of MoE-Based LLMs via Stable Safety-critical Expert Identification
识别 MoE 模型中承担安全行为的专家并分组;屏蔽 12 个专家使 Qwen3-30B-A3B 拒答率降 22%,并用 LoRA 与负权重合并提升拒答。
ZhengLin Lai, Mengyao Liao, Bingzhe Wu 等OpenReview - 理解安全对齐:从安全神经元看机制可解释性Towards Understanding Safety Alignment: A Mechanistic Perspective from Safety Neurons
用激活对比定位约 5% 的安全神经元,仅修补其激活即可恢复超过 90% 的安全表现,并解释对齐税,还可在生成前检测不安全输出。
Jianhui Chen, Xiaozhi Wang, Zijun Yao 等OpenReview
AI 控制
3- CTRL-ALT-DECEIT:自动化 AI 研发中的破坏评测CTRL-ALT-DECEIT Sabotage Evaluations for Automated AI R&D
在 MLE-Bench 上评测 agent 植入后门、故意降低性能(sandbagging)等破坏行为,LM 监控能检出代码破坏,但 sandbagging 更难检测。
- 可扩展监督的缩放律Scaling Laws For Scalable Oversight
提出以监督者与被监督系统能力差建模监督成功率的框架,在 Mafia、Debate、Backdoor Code、Wargames 上拟合缩放律,并分析嵌套式可扩展监督(NSO)的成功率随能力差增大而下降。
- 为 AI 安全组合有成本约束的运行时监控器Combining Cost Constrained Runtime Monitors for AI Safety
基于 Neyman-Pearson 引理搜索多监控器组合协议,在预算约束下于代码审查场景将未对齐输出的召回率提升一倍以上。
Tim Tian Hua, James Baskerville, Henri Lemoine 等OpenReview
后门与投毒
30- 结构化状态空间模型的隐式偏置可被干净标签投毒The Implicit Bias of Structured State Space Models Can Be Poisoned With Clean Labels
证明存在特殊的干净标签训练样本,可彻底扭曲 SSM 的隐式偏置并使泛化失败,并在实验中验证该 clean-label poisoning 现象。
- 对 LLM 的病毒感染攻击:投毒经合成数据传播Virus Infection Attack on LLMs: Your Poisoning Can Spread "VIA" Synthetic Data
发现合成数据训练范式对现有投毒与后门攻击有较强抵抗力,提出 VIA 框架,使攻击即使在干净查询下也能经合成数据传播,下游攻击成功率接近上游。
- 协同样本选择与触发器的通用组件:高效的仅投毒干净标签后门攻击A Set of Generalized Components to Achieve Effective Poison-only Clean-label Backdoor Attacks with Collaborative Sample Selection and Triggers
提出一组可集成到多种干净标签后门攻击中的组件,通过协同选择样本与优化触发器,同时提升攻击成功率与隐蔽性。
- Attack by Yourself:基于子图触发器池的多类别图后门攻击Attack by Yourself: Effective and Unnoticeable Multi-Category Graph Backdoor Attacks with Subgraph Triggers Pool
用被攻击图自身的子图构建类别感知触发器池,实现有效且不易察觉的多类别 GNN 后门攻击,对多种模型与防御均有效。
Jiangtong Li, Dongyi Liu, Kun Zhu 等OpenReview - MLLM 微调中无需外部指导的后门清除Backdoor Cleaning without External Guidance in MLLM Fine-tuning
发现后门触发器会导致注意力塌缩,据此提出 BYE,用注意力熵无监督过滤后门样本,攻击成功率接近零且保持任务性能。
Xuankun Rong, Wenke Huang, Jian Liang 等OpenReview - 基于可逆剪枝掩码的后门缓解Backdoor Mitigation via Invertible Pruning Masks
提出带可逆剪枝掩码的双层优化方法,识别并剪除后门相关参数,在少量数据下优于现有剪枝式后门防御,并可比肩微调类方法。
- BackdoorDM:扩散模型后门学习的综合基准BackdoorDM: A Comprehensive Benchmark for Backdoor Learning on Diffusion Model
首个扩散模型后门基准,包含 9 种攻击、4 种防御和可视化工具,并提出基于 MLLM 的统一评测方法。
- BackdoorLLM:大语言模型后门攻击与防御综合基准BackdoorLLM: A Comprehensive Benchmark for Backdoor Attacks and Defenses on Large Language Models
首个文本生成 LLM 后门基准,涵盖数据投毒、权重投毒、隐状态操纵和思维链劫持等攻击,含 200 余项实验与 7 种防御。
- BadVLA:通过目标解耦优化对视觉-语言-动作模型实施后门攻击BadVLA: Towards Backdoor Attacks on Vision-Language-Action Models via Objective-Decoupled Optimization
提出两阶段后门攻击,在多个 VLA 基准上攻击成功率近 100%,对干净任务影响很小,并对微调等扰动保持鲁棒。
- 针对去中心化联邦学习的竞争优势攻击Competitive Advantage Attacks to Decentralized Federated Learning
提出 SelfishAttack,自私客户端向其他客户端发送精心构造的本地模型,使自己的最终模型比其余客户端更准确,且效果优于投毒攻击。
- 通过排斥式视觉提示调优防御多模态后门模型Defending Multimodal Backdoored Models by Repulsive Visual Prompt Tuning
提出 RVPT,仅调 0.27% 参数并用特征排斥损失,将 CLIP 后门攻击成功率从 89.70% 降到 2.76%。
- FedRACE:面向鲁棒联邦学习的分层统计框架FedRACE: A Hierarchical and Statistical Framework for Robust Federated Learning
针对冻结骨干的联邦微调易受投毒和后门攻击的问题,提出 HStat-Net 与 DevGuard 检测恶意客户端,真阳性率最高 99.3%,假阳性率低于 1.2%。
Gang Yan, Sikai Yang, Wan DuOpenReview - ICLScan:通过定向上下文学习检测黑盒大语言模型中的后门ICLScan: Detecting Backdoors in Black-Box Large Language Models via Targeted In-context Illumination
发现已含后门的 LLM 极易经 ICL 植入新触发器,据此仅靠多次查询统计成功率即可检测黑盒后门,各项指标接近 1。
Xiaoyi Pang, Xuanyi Hao, Song Guo 等OpenReview - Lie Detector:基于交叉检验框架的统一后门检测Lie Detector: Unified Backdoor Detection via Cross-Examination Framework
利用两个独立服务商模型间的不一致做交叉检验,以 CKA 度量特征相似性恢复触发器,在多种学习范式上提升检测精度,并首次覆盖多模态大模型。
Xuan Wang, Siyuan Liang, Dongping Liao 等OpenReview - LoSplit:基于损失引导动态划分的图后门攻击训练期防御LoSplit: Loss-Guided Dynamic Split for Training-Time Defense Against Graph Backdoor Attacks
发现后门目标节点早期损失收敛并向邻近干净节点漂移,据此用 GMM 聚类划分目标节点并遗忘恶意标签关联,显著降低攻击成功率。
- MARS:联邦学习中的恶意度感知后门防御MARS: A Malignity-Aware Backdoor Defense in Federated Learning
用神经元后门能量刻画恶意程度并结合 Wasserstein 距离聚类识别后门模型,可抵御包括 3DFed 在内的最新后门攻击。
- MIBP-Cert:基于混合整数双线性规划的抗数据扰动认证训练MIBP-Cert: Certified Training against Data Perturbations with Mixed-Integer Bilinear Programs
针对训练数据错误、损坏与投毒攻击,用混合整数双线性规划计算可达参数集合,给出确定性的可证明鲁棒性,并适用于多种威胁模型。
Tobias Lorenz, Marta Kwiatkowska, Mario FritzOpenReview - NeuroGenPoisoning:基于神经元引导与遗传优化的 RAG 投毒攻击NeuroGenPoisoning: Neuron-Guided Attacks on Retrieval-Augmented Generation of LLM via Genetic Optimization of External Knowledge
识别对投毒知识敏感的神经元,并用遗传算法演化对抗性外部知识,对 RAG 的覆盖成功率超过 90% 且保持流畅,能解决知识冲突。
- 一个 token embedding 就能让大型推理模型陷入死锁One Token Embedding Is Enough to Deadlock Your Large Reasoning Model
提出 Deadlock Attack,通过对抗 embedding 加后门植入诱发无限推理循环,在四个 LRM 上攻击成功率达 100%,且对正常输入影响很小。
Mohan Zhang, Yihua Zhang, Jinghan Jia 等OpenReview - 为数据投毒攻击提供可证明的水印Provable Watermarking for Data Poisoning Attacks
针对看似无害的数据投毒,提出投毒后与投毒并行两种可证明水印方案,在给定水印长度下同时保证可检测性与投毒效用。
- RepGuard:大语言模型后门防御的自适应特征解耦RepGuard: Adaptive Feature Decoupling for Robust Backdoor Defense in Large Language Models
通过局部一致性与样本偏差定位可疑后门特征,并自适应掩码解耦,无需知道触发器;在目标拒答与越狱任务上平均将攻击成功率降低近 80%。
- SNEAKDOOR:针对分布匹配式数据集浓缩的隐蔽后门攻击SNEAKDOOR: Stealthy Backdoor Attacks against Distribution Matching-based Dataset Condensation
利用类决策边界的脆弱性,用生成模块构造与局部特征几何对齐的输入感知触发器,在保持攻击成功率与干净精度的同时显著提升合成数据与触发样本的隐蔽性。
He Yang, Dongyi Lv, Song Ma 等OpenReview - 隐蔽而有效:保持分布的图分类后门攻击Stealthy Yet Effective: Distribution-Preserving Backdoor Attacks on Graph Classification
提出 DPSBA 干净标签后门框架,通过对抗训练学习分布内触发器,抑制结构和语义异常,在攻击成功率与隐蔽性间取得更好平衡。
- 教得好学得坏:蒸馏条件式后门攻击Taught Well Learned Ill: Towards Distillation-conditional Backdoor Attack
提出 DCBA:教师模型中的休眠后门在知识蒸馏后于学生模型中被激活,用双层优化方法 SCAR 实现,并能躲过现有后门检测。
Yukun Chen, Boheng Li, Yu Yuan 等OpenReview - 基于时序逻辑的多车后门攻击:针对端到端自动驾驶离线 RL 智能体Temporal Logic-Based Multi-Vehicle Backdoor Attacks against Offline RL Agents in End-to-end Autonomous Driving
以其他车辆轨迹为触发器,用时序逻辑生成触发轨迹并加入负训练,在 5 个离线 RL 驾驶智能体上验证了攻击的灵活性与有效性。
Xuan Chen, Shiwei Feng, Zikang Xiong 等OpenReview - 水印、可迁移攻击与对抗防御的元分析The Good, the Bad and the Ugly: Meta-Analysis of Watermarks, Transferable Attacks and Adversarial Defenses
形式化基于后门的水印与对抗防御的权衡,证明任一学习任务中水印、对抗防御、可迁移攻击至少存在其一,并用全同态加密构造可迁移攻击。
- ToxicTextCLIP:针对 CLIP 预训练的文本投毒与后门攻击ToxicTextCLIP: Text-Based Poisoning and Backdoor Attacks on CLIP Pre-training
生成背景一致的对抗文本投毒 CLIP 预训练,投毒成功率最高 95.83%,后门 Hit@1 达 98.68%,并绕过多种防御。
Xin Yao, Haiyang Zhao, Yimin Chen 等OpenReview - 联邦学习投毒攻击中的恶意客户端溯源Tracing Back the Malicious Clients in Poisoning Attacks to Federated Learning
提出 FLForensics,在训练期防御失效、投毒模型已部署后,根据误分类的目标输入追溯恶意客户端,并给出理论保证,在五个数据集上对自适应攻击有效。
- VLM 能聚合分散的训练图像补丁VLMs can Aggregate Scattered Training Patches
有害图像被拆成无害补丁散布于训练样本可绕过数据审核;VLM 具备 visual stitching 能力,能在推理时重组并产生有害响应。
Zhanhui Zhou, Lingjie Chen, Chao Yang 等OpenReview - 谁为触发器发声?MoE Transformer 后门中的动态专家路由Who Speaks for the Trigger? Dynamic Expert Routing in Backdoored Mixture-of-Experts Transformers
提出 BadSwitch,利用 MoE 专家路由偏好植入后门,在三种 MoE 架构上攻击成功率最高达 100%,且保持干净准确率并抵御多种防御。
Xin Zhao, Xiaojun Chen, Bingshan Liu 等OpenReview
隐私与数据泄露
72- 基于 Palimpsestic 成员推断的黑盒模型溯源Blackbox Model Provenance via Palimpsestic Membership Inference
利用模型更易记住训练后期数据的特性,检验黑盒衍生模型或文本与原模型训练顺序的相关性,对 40 多个微调模型在查询设定下多数 p 值至多约 1e-8。
- 能否从 LLM 推断训练数据的机密属性?Can We Infer Confidential Properties of Training Data from LLMs?
提出 PropInfer 基准及提示生成攻击与影子模型攻击,在微调 LLM 上成功推断数据集级敏感属性。
- 完全动态数据流上的差分隐私Differential Privacy on Fully Dynamic Streams
在数据可插入删除的动态场景下,给出从静态差分隐私机制到动态机制的黑盒构造,效用仅有多对数级损失。
- 从反事实到决策树:模型提取攻击的竞争分析From Counterfactuals to Trees: Competitive Analysis of Model Extraction Attacks
用竞争分析形式化模型提取攻击,针对加性决策树模型提出可完美还原的重建算法,并给出查询复杂度的理论界。
- 单次运行能多精确地审计差分隐私?How Well Can Differential Privacy Be Audited in One Run?
刻画单次运行隐私审计的最大可达效力,指出不同数据元素可观测效应之间的相互干扰是主要障碍,并提出缓解该障碍的新思路。
- 通过 f-差分隐私缓解去中心化联邦学习的隐私-效用权衡Mitigating the Privacy–Utility Trade-off in Decentralized Federated Learning via f-Differential Privacy
提出 PN-f-DP 与 Sec-f-LDP 两种隐私核算方法,比 Rényi DP 给出更紧的 (ε, δ) 界和更好的效用。
- 随机分配带来的隐私放大Privacy amplification by random allocation
给出随机 k-out-of-t 分配采样方案的首个理论隐私保证与数值估计算法,其保证可由 Poisson 子采样的保证上界。
- 通过随机后处理将近似差分隐私净化为纯差分隐私Purifying Approximate Differential Privacy with Randomized Post-processing
提出用校准噪声的随机后处理,把 (ε,δ)-近似 DP 机制在一定条件下转为 (ε',0)-纯 DP 机制,并应用于 DP-ERM、稳定性发布与查询发布。
- TokenSwap:打断 LLM 记忆序列的轻量方法TokenSwap: A Lightweight Method to Disrupt Memorized Sequences in LLMs
提出只需 token 级输出的事后防御,在大小模型间交换 token 概率,使 Pythia-6.9B 和 Llama-3-8B 的精确记忆最多下降 10 倍。
- 面向经验性机器遗忘评估的可靠密码学框架A Reliable Cryptographic Framework for Empirical Machine Unlearning Evaluation
将基于 MIA 的遗忘评估建模为密码学博弈,得到有可证明保证的数据移除评估指标,并给出高效近似。
Yiwen Tu, Pingbang Hu, Jiaqi W. MaOpenReview - AC-LoRA:近乎免训练的访问控制感知多模态 LLMAC-LoRA: (Almost) Training-Free Access Control Aware Multi-Modal LLMs
为企业 LLM 聊天机器人设计按权限隔离的 LoRA 适配器检索与合并方案,提供信息隔离保证,性能匹配或超过现有 LoRA 混合方法。
Lara Magdalena Lazier, Aritra Dhar, Vasilije Stambolic 等OpenReview - 自适应 Sigmoid 裁剪:平衡差分隐私学习中的方向-幅度失配Adaptive Sigmoid Clipping for Balancing the Direction–Magnitude Mismatch Trade-off in Differentially Private Learning
提出 AdaSig 裁剪方法,在 DP-SGD 中自适应平衡方向与幅度失配,保持最佳收敛率并提升分类任务表现。
Faeze Moradi Kalarde, Ali Bereyhi, Ben Liang 等OpenReview - AgentDAM:自主网页智能体的隐私泄露评测AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents
提出衡量网页智能体是否遵循数据最小化原则的基准,发现基于 GPT-4、Llama-3、Claude 的智能体易不当使用敏感信息,并给出提示式防御。
Arman Zharmagambetov, Chuan Guo, Ivan Evtimov 等OpenReview - 医疗基础模型的记忆化风险调查An Investigation of Memorization Risk in Healthcare Foundation Models
提出一套黑盒评测,在嵌入和生成层面探测基于 EHR 的基础模型对患者信息的记忆,并开源工具包。
- 基于先验知识校准记忆探测的 LVLM 黑盒成员推断攻击Black-Box Membership Inference Attack for LVLMs via Prior Knowledge-Calibrated Memory Probing
提出首个面向 LVLM 的黑盒成员推断攻击,探测模型对图像中私有语义信息的记忆,效果可比肩灰盒与白盒方法,并对潜在对抗操纵保持稳健。
Jinhua Yin, Peiru Yang, Chen Yang 等OpenReview - BridgePure:有限的保护泄露即可攻破黑盒数据保护BridgePure: Limited Protection Leakage Can Break Black-Box Data Protection
提出保护泄露威胁模型,用少量未保护数据训练扩散桥模型,可去除黑盒不可学习样本的保护,暴露其漏洞。
Yihan Wang, Yiwei Lu, Xiao-Shan Gao 等OpenReview - 约束熵遗忘:面向 LLM 的原始-对偶框架Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models
将 LLM 遗忘学习表述为约束优化问题,用 logit-margin flattening 损失和原始-对偶算法,在 TOFU 与 MUSE 上有效移除敏感信息并保持效用。
- 通过推理与强化学习实现 LLM 的情境完整性Contextual Integrity in LLMs via Reasoning and Reinforcement Learning
用显式推理加 RL 框架训练模型判断何时该披露信息,仅用约 700 条合成数据即显著减少不当披露,并迁移到 PrivacyLens 基准。
Guangchen Lan, Huseyin A Inan, Sahar Abdelnabi 等OpenReview - 用于隐藏状态差分隐私的两层 ReLU 网络凸近似Convex Approximation of Two-Layer ReLU Networks for Hidden State Differential Privacy
通过对偶形式的随机近似把两层 ReLU 问题转为强凸问题,使隐藏状态隐私分析适用,NoisyCGD 的隐私-效用权衡与 DP-SGD 相当。
- CryptoMoE:通过均衡专家路由实现隐私保护的可扩展 MoE 推理CryptoMoE: Privacy-Preserving and Scalable Mixture of Experts Inference via Balanced Expert Routing
首个支持 MoE 模型的密码学私有推理框架,均衡专家负载以保护路由信息,相比稠密基线延迟降低 2.8~3.5 倍。
Yifan Zhou, Tianshi Xu, Jue Hong 等OpenReview - 基于图卷积的黑盒推荐系统无数据模型窃取Data-Free Model Extraction for Black-box Recommender Systems via Graph Convolutions
提出 DBGRME,用交互生成器和图卷积代理模型在无需成员数据下复制黑盒推荐模型,在 LightGCN 上较需数据方法提升 17.4%。
Zeyu Wang, Yidan Song, Shihao Qin 等OpenReview - 具有合理可否认性的深度学习Deep Learning with Plausible Deniability
提出 PD-SGD,用拒绝采样阻止无法合理否认的小批量更新参数,在理论上缓解个体数据泄露,隐私-效用权衡优于现有防御。
Wenxuan Bao, Shan Jin, Hadi Abdullah 等OpenReview - DictPFL:加密梯度上的高效隐私联邦学习DictPFL: Efficient and Private Federated Learning on Encrypted Gradients
通过字典分解与加密感知剪枝,仅加密传输梯度即可防御梯度反演,通信开销降低402至748倍,运行时间接近明文联邦学习的2倍。
Jiaqi Xue, Mayank Kumar, Yuzhang Shang 等OpenReview - 欧几里得 Jordan 代数的差分隐私及其在私有对称锥规划中的应用Differential Privacy for Euclidean Jordan Algebra with Applications to Private Symmetric Cone Programming
为输出位于欧几里得 Jordan 代数的函数设计通用高斯机制,并给出私有对称锥规划与半定规划算法,解决了一个公开问题。
Zhao Song, Jianfei Xue, Lichen ZhangOpenReview - 超越固定矩阵的差分隐私联邦 LoRADifferentially Private Federated Low Rank Adaptation Beyond Fixed-Matrix
提出 FedASK,通过双重 sketching 同时更新两个 LoRA 矩阵并保证差分隐私,实验在多种隐私设置下优于基线。
- 具有实体级隐私保证的差分隐私关系学习Differentially Private Relational Learning with Entity-level Privacy Guarantees
针对关系数据提出带实体级 DP 保证的 DP-SGD 变体,含敏感度分析、按实体出现频率自适应裁剪,并扩展隐私放大分析,在文本编码器微调上取得较好隐私-效用权衡。
Yinan Huang, Haoteng Yin, Eli Chien 等OpenReview - LLM 真的遗忘了吗?基于知识关联与置信度的遗忘评测Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness
用带置信度的知识图谱和 LLM 评判构建遗忘评测框架,发现被认为已遗忘的事实可通过关联信息隐式保留,现有评测高估了遗忘效果。
Rongzhe Wei, Peizhi Niu, Hans Hao-Hsun Hsu 等OpenReview - 真的需要公开数据吗?表格数据差分隐私的替代公开数据Do You Really Need Public Data? Surrogate Public Data for Differential Privacy on Tabular Data
用 LLM 仅凭 schema 生成替代公开表格数据,可在不消耗隐私预算的情况下替代公开数据,用于差分隐私分类器预训练。
Shlomi Hod, Lucas Rosenblatt, Julia StoyanovichOpenReview - 基于隐式梯度手术的高效保效用机器遗忘Efficient Utility-Preserving Machine Unlearning with Implicit Gradient Surgery
将遗忘建模为效用损失有界的约束优化,提出只需一次反向传播的隐式梯度手术方法,取得更好的遗忘与效用权衡。
Shiji Zhou, Tianbai Yu, Zhi Zhang 等OpenReview - 面向蒸馏的高效可验证遗忘Efficient Verified Unlearning For Distillation
提出 PURGE 框架,通过多教师分区蒸馏限制各教师的影响范围,使教师端遗忘时只需部分更新学生,保持精度并显著减少重训开销。
- 语音识别的差分隐私联邦学习:基准、自适应优化器与梯度裁剪Enabling Differentially Private Federated Learning for Speech Recognition: Benchmarks, Adaptive Optimizers, and Gradient Clipping
建立 ASR 上 FL 加 DP 的首个基准,用逐层裁剪和归一化缓解梯度异质性,在百万级用户规模下实现可用的用户级 DP。
- 探索大语言模型上强成员推断攻击的极限Exploring the limits of strong membership inference attacks on large language models
将 LiRA 扩展到 10M–1B 参数的 GPT-2,发现强 MIA 可成功但实际效果有限(AUC<0.7),且逐样本判定因训练随机性而不稳定。
Jamie Hayes, Ilia Shumailov, Christopher A. Choquette-Choo 等OpenReview - 从流形假设视角看生成式模型反演Generative Model Inversion Through the Lens of the Manifold Hypothesis
发现生成式模型反演攻击实质是把噪声梯度投影到生成器流形切空间,并验证梯度与流形越对齐模型越易受攻击,进而提出提升反演效果的免训练方法。
Xiong Peng, Bo Han, Fengfei Yu 等OpenReview - GeoClip:差分隐私 SGD 的几何感知裁剪GeoClip: Geometry-Aware Clipping for Differentially Private SGD
提出 GeoClip,在与梯度分布几何对齐的变换基下裁剪并加噪,无需额外隐私开销,给出收敛保证,在相同隐私预算下优于现有自适应裁剪方法。
Atefeh Gilani, Naima Tasnim, Lalitha Sankar 等OpenReview - ImageSentinel:保护视觉数据集免受未授权检索增强图像生成ImageSentinel: Protecting Visual Datasets from Unauthorized Retrieval-Augmented Image Generation
合成与原数据集视觉一致的哨兵图像,以随机字符序列作检索密钥,可检测 RAIG 系统对私有图像数据集的未授权使用,且不损害授权生成质量。
Ziyuan Luo, Yangyi Zhao, Ka Chun Cheung 等OpenReview - 数据集属性对深度迁移学习成员推断脆弱性的影响Impact of Dataset Properties on Membership Inference Vulnerability of Deep Transfer Learning
理论与实证分析微调模型的 MIA 脆弱性,发现攻击者优势随每类样本数按幂律下降,但保护最脆弱样本所需数据量仍非常大。
Marlon Tobaben, Hibiki Ito, Joonas Jälkö 等OpenReview - InvisibleInk:高效用低成本的差分隐私文本生成InvisibleInk: High-Utility and Low-Cost Text Generation with Differential Privacy
把 LLM 采样视为对 logits 的指数机制,仅裁剪敏感信息并从 top-k 超集免费采样,达到同等效用时计算成本降低 8 倍以上。
Vishnu Vinod, Krishna Pillutla, Abhradeep Guha ThakurtaOpenReview - 通过神经激活重定向实现 LLM 遗忘LLM Unlearning via Neural Activation Redirection
提出 LUNAR,将待遗忘数据的表示重定向到表达无法回答的激活区域,遗忘效果与模型效用综合得分提升2.9至11.7倍,并能抵抗白盒对抗攻击。
William F. Shen, Xinchi Qiu, Meghdad Kurmanji 等OpenReview - LOMIA:针对预训练视觉语言大模型的仅标签成员推断攻击LOMIA: Label-Only Membership Inference Attacks against Pre-trained Large Vision-Language Models
提出仅依赖 top-1 输出的成员推断攻击框架,利用训练样本语义对齐更高、困惑度更低的特点,在三个开源 VLLM 和 GPT-4o 上媲美基于 logits 的攻击。
Yihao LIU, Xinqi LYU, Dong Wang 等OpenReview - LoRO:基于 TEE 低秩混淆的 LLM 端侧实时安全推理LoRO: Real-Time on-Device Secure Inference for LLMs via TEE-Based Low Rank Obfuscation
发现现有 TEE 保护方法存在统计漏洞并提出带先验的模型窃取攻击,LoRO 用低秩稠密掩码混淆参数,窃取精度远低于现有方法,推理延迟仅 1.49 倍。
Gaojian Xiong, Yu Sun, Jianhua Liu 等OpenReview - 3D 生成中的机器遗忘:视角一致的加速框架Machine Unlearning in 3D Generation: A Perspective-Coherent Acceleration Framework
首次探索 3D 生成模型的机器遗忘,提出跳跃加速机制,在 Zero123 上提速 30% 并有效遗忘目标概念。
Shixuan Wang, Jingwen Ye, Xinchao WangOpenReview - 基于任务单纯形算术的机器遗忘Machine Unlearning via Task Simplex Arithmetic
针对 VLM 的免重训遗忘,发现 task vector 对微调配置敏感,提出在单纯形内对无限多函数做闭式集成,提升遗忘效果与稳定性,服务于隐私与合规。
Junhao Dong, Hao Zhu, Yifei Zhang 等OpenReview - 带差分隐私的多类支持向量机Multi-Class Support Vector Machine with Differential Privacy
提出 PMSVM,通过权重和梯度扰动让多类 SVM 只访问每个样本一次,在多类场景下优于现有 DP-SVM 方法。
Jinseong Park, Yujin Choi, Jaewook LeeOpenReview - ObCLIP:保护隐私的云端-设备混合图像生成ObCLIP: Oblivious CLoud-Device Hybrid Image Generation with Privacy Preservation
把用户提示转为仅敏感属性不同的候选提示集,云端无法分辨真实提示,设备端选取对应隐变量完成去噪,在保证隐私的同时效用接近大型云端模型。
Haoqi Wu, Wei Dai, Ming Xu 等OpenReview - 基于二元询问的在线局部差分隐私共形预测Online Locally Differentially Private Conformal Prediction via Binary Inquiries
在局部差分隐私下构造流式数据的无模型预测集,单遍在线、O(1) 空间,并给出长期覆盖率的理论保证。
- OpenGU:图遗忘学习综合基准OpenGU: A Comprehensive Benchmark for Graph Unlearning
提出首个图遗忘基准 OpenGU,整合 16 种算法、37 个数据集和 13 种 GNN 骨干,得出 10 条关于现有方法局限的结论。
Bowen Fan, Yuming Ai, Xunkai Li 等OpenReview - OpenUnlearning:统一方法与指标基准以加速 LLM 遗忘研究OpenUnlearning: Accelerating LLM Unlearning via Unified Benchmarking of Methods and Metrics
标准化框架集成 13 种遗忘算法与 16 项评测,覆盖 TOFU、MUSE、WMDP,并提出评估指标忠实性与鲁棒性的元评测基准。
- Permissioned LLMs:在大语言模型中强制执行访问控制Permissioned LLMs: Enforcing Access Control in Large Language Models
提出 PermLLM,让微调后的 LLM 回答遵循组织数据访问权限,给出形式化定义、基于 PEFT 的三种机制,以及基于成员推断的 access advantage 评测指标。
- 扰动模型而非图像:基于反个性化扩散模型的稳健隐私保护Perturb a Model, Not an Image: Towards Robust Privacy Protection via Anti-Personalized Diffusion Models
把保护对象从图像转为扩散模型本身,通过 DPO 损失与 L2P 双路径优化阻止对特定主体的未授权个性化,优于现有方法。
Tae-Young Lee, Juwon Seo, Jong Hwan Ko 等OpenReview - 实用的贝叶斯最优成员推断攻击Practical Bayes-Optimal Membership Inference Attacks
推导 GNN 节点级成员推断的贝叶斯最优规则,提出 BASE 与 G-BASE,性能匹配或超过 LiRA、RMIA 且计算成本更低。
Marcus Lassila, Johan Östman, Khac-Hoang Ngo 等OpenReview - PREAMBLE:基于块稀疏向量的私有高效聚合PREAMBLE: Private and Efficient Aggregation via Block Sparse Vectors
用块稀疏分布式点函数实现高维向量安全聚合,在隐私-效用权衡接近最优的同时大幅降低通信开销。
- 歧义语境下的隐私推理Privacy Reasoning in Ambiguous Contexts
研究语言模型在信息披露决策中的隐私推理,发现语境歧义是主要障碍,提出 Camber 框架消歧,精确率最高提升 13.3%、召回率最高提升 22.3%。
Ren Yi, Octavian Suciu, Adrian Gascon 等OpenReview - 利用公开数据的私有零阶优化Private Zeroth-Order Optimization with Public Data
提出 PAZO,用公开数据引导差分隐私零阶梯度估计,在视觉与文本任务上隐私-效用权衡更优,运行最多快 16 倍。
Xuchen Gong, Tian LiOpenReview - 视觉语言模型中的跨模态记忆量化Quantifying Cross-Modality Memorization in Vision-Language Models
构建合成人物数据集,量化 VLM 的跨模态记忆与迁移,发现一种模态学到的事实可迁移到另一模态但存在明显差距,并提出缓解基线。
Yuxin Wen, Yangsibo Huang, Tom Goldstein 等OpenReview - 重新审视逐字记忆在 LLM 隐私中的作用Rethinking the Role of Verbatim Memorization in LLM Privacy
在含 PII 的合成传记上微调并经聊天提取,发现更好的逐字记忆未必增加泄露,而知识处理能力更强的模型更易被提取,孤立看记忆会误导。
Tom Sander, Bargav Jayaraman, Mark Ibrahim 等OpenReview - RUAGO:基于对抗攻击与 OOD 生成器的无保留数据遗忘RUAGO: Effective and Practical Retain-Free Unlearning via Adversarial Attack and OOD Generator
在没有 retain data 的情况下,用对抗软标签和 OOD 预训练生成器做机器遗忘,效果优于现有 retain-free 方法。
SangYong Lee, Sangjun Chung, Simon S. WooOpenReview - 差分隐私的序贯审计Sequentially Auditing Differential Privacy
提出面向黑盒机制的序贯检验来审计差分隐私保证,样本量从约5万降到数百,并能在不到一次训练内发现 DP-SGD 的隐私违规。
Tomás González, Mateo Dulce Rubio, Aaditya Ramdas 等OpenReview - 基于谱方法的子图联邦学习Subgraph Federated Learning via Spectral Methods
提出 FedLap,通过谱域拉普拉斯平滑捕获跨客户端节点依赖,避免交换敏感节点嵌入,并给出隐私分析;效用与现有方法相当或更优。
Javad Aliakbari, Johan Östman, Ashkan Panahi 等OpenReview - 个性化本地差分隐私下的求和估计Sum Estimation under Personalized Local Differential Privacy
针对各用户隐私参数不同的个性化 LDP,提出两种分别基于数据半径和直径的求和/均值估计协议,精度显著优于现有方法。
Dajun Sun, Wei Dong, Yuan Qiu 等OpenReview - 通过私有文本中介合成保护隐私的高分辨率图像Synthesize Privacy-Preserving High-Resolution Images via Private Textual Intermediaries
把差分隐私图像合成转到文本域:图像转文字、生成 DP 文本、再文生图,LSUN Bedroom 上 ε=1 时 FID 为 26.71,优于 Private Evolution。
Haoxiang Wang, Zinan Lin, Da Yu 等OpenReview - 看不见的威胁:扰动样本下机器遗忘中的残留知识The Unseen Threat: Residual Knowledge in Machine Unlearning under Perturbed Samples
指出遗忘样本的微小扰动仍可能被遗忘后的模型识别,造成隐私风险;形式化为残留知识并提出微调方法 RURK,实验表明现有遗忘方法普遍存在该问题。
Hsiang Hsu, Pradeep Niroula, Zichang He 等OpenReview - 迈向高效推断攻击:基于 Mixture-of-Experts 的影子模型共享Toward Efficient Inference Attacks: Shadow Model Sharing via Mixture-of-Experts
提出 SHAPOOL,用 MoE 让多个影子模型共享子网络并联合训练,在保持成员推断攻击效果的同时显著降低影子模型构建成本。
Li Bai, Qingqing Ye, Xinwei Zhang 等OpenReview - 追根溯源:利用扩散轨迹的时间动态做来源归属Tracing the Roots: Leveraging Temporal Dynamics in Diffusion Trajectories for Origin Attribution
分析整条扩散轨迹来判断图像是否来自训练集,挑战 Goldilocks zone 假设,并指出现有成员推断方法在分布偏移或含生成数据时会失效。
- Train to Defend:首个针对密码分析式神经网络参数提取攻击的防御Train to Defend: First Defense Against Cryptanalytic Neural Network Parameter Extraction Attacks
通过正则项缩小层内神经元权重距离以消除攻击所需的神经元唯一性,推理零开销、精度变化小于 1%,使提取攻击长时间无法成功。
Ashley Kurian, Aydin AysuOpenReview - UMU-Bench:弥合多模态遗忘评测中的模态差距UMU-Bench: Closing the Modality Gap in Multimodal Unlearning Evaluation
针对多模态大模型的隐私遗忘提出基准,发现现有遗忘方法普遍存在单模态与多模态知识移除不一致的问题。
Chengye Wang, Yuyuan Li, XiaoHua Feng 等OpenReview - 统一差分隐私下的重识别、属性推断与数据重建风险Unifying Re-Identification, Attribute Inference, and Data Reconstruction Risks in Differential Privacy
基于 f-DP 给出三类攻击成功率的统一可调上界,比既有方法更紧,校准噪声可减少约 20%。
Bogdan Kulynych, Juan Felipe Gomez, Georgios Kaissis 等OpenReview - 遗忘了但没忘干净:精确遗忘后 LLM 的数据提取攻击Unlearned but Not Forgotten: Data Extraction after Exact Unlearning in LLM
在暴露遗忘前后 logits 的场景下,用前模型引导后模型提取被删数据,在 MUSE、TOFU、WMDP 上成功率最高翻倍,表明精确遗忘反而可能增加泄露风险。
Xiaoyu Wu, Yifei Pang, Terrance Liu 等OpenReview - Unlearning-Aware Minimization:遗忘感知最小化Unlearning-Aware Minimization
提出 min-max 机器遗忘框架 UAM,在图像分类及 WMDP-Bio/Cyber 基准上优于现有遗忘方法。
Hoki Kim, Keonwoo Kim, Sungwon Chae 等OpenReview - 通用可迁移的不可学习样本生成器Versatile Transferable Unlearnable Example Generator
提出 VTG 生成器,通过对抗域增强与扰动-标签耦合,使不可学习样本在不同风格、分辨率、类别和架构下仍能防止未授权训练。
Zhihao Li, Jiale Cai, Gezheng Xu 等OpenReview - Vid-SME:针对大型视频理解模型的成员推断攻击Vid-SME: Membership Inference Attacks against Large Video Understanding Models
提出首个面向视频理解 LLM 的成员推断方法,利用正常与时间反转帧的 Sharma–Mittal 熵差异判断视频是否在训练集中。
Qi Li, Runpeng Yu, Xinchao WangOpenReview - 成员究竟是什么?通过投毒使成员推断失信What Really is a Member? Discrediting Membership Inference via Poisoning
证明可通过污染训练集让成员推断测试对目标样本给出错误预测,并给出准确率与抗投毒性的理论权衡,现有测试性能可降至随机以下。
Neal Mangaokar, Ashish Hooda, Zhuohang Li 等OpenReview - 智者知所不言:基于注意力转移的无幻觉 LLM 遗忘Wisdom is Knowing What not to Say: Hallucination-Free LLMs Unlearning via Attention Shifting
提出 Attention-Shifting 遗忘框架,抑制事实 token 注意力并抑制编造回答,在 ToFU 与 TDEC 上准确率最高提升 15%、10%。
Chenchen Tan, Youyang Qu, Xinghao Li 等OpenReview
供应链安全
1- CoreGuard:在边缘部署中保护 LLM 核心能力免遭模型窃取CoreGuard: Safeguarding Foundational Capabilities of LLMs Against Model Stealing in Edge Deployment
提出计算与通信开销都很低的保护方法,防止边缘部署的专有 LLM 被提取权重或被微调利用,实验显示安全保护达到上界且开销可忽略。
Qinfeng Li, Tianyue Luo, Xuhong Zhang 等OpenReview
危险能力
2- 衡量 AI 完成长软件任务的能力Measuring AI Ability to Complete Long Software Tasks
提出 50% 任务完成时间跨度指标,o3 约 110 分钟,前沿模型时间跨度约每七个月翻倍,并讨论自主性提升对危险能力的影响。
- 守护生命语言:从 DNA 语言模型到蛋白质的可遗传水印Securing the Language of Life: Inheritable Watermarks from DNA Language Models to Proteins
针对 DNA 语言模型的生物安全双重用途风险,提出 DNAMark 与 CentralMark 水印,后者可从 DNA 传递到翻译出的蛋白质,检测 F1 超过 0.85。
AI 与网络攻防
2- 进攻性网络安全智能体的动态风险评估Dynamic Risk Assessments for Offensive Cybersecurity Agents
主张评估应考虑攻击者的自由度;仅用 8 个 H100 GPU 小时,攻击者即可将智能体在 InterCode CTF 上的能力相对提升超 40%。
Boyi Wei, Benedikt Stroebl, Jiacen Xu 等OpenReview - PurpCode:通过推理实现更安全的代码生成PurpCode: Reasoning for Safer Code Generation
提出 PurpCode 后训练方案,先学习网络安全规则再用多目标强化学习,训练出 PurpCode-32B,生成无漏洞代码并抵御恶意网络活动,同时降低过度拒答。
开源模型安全
5- 蒸馏使遗忘更稳健Distillation Robustifies Unlearning
发现少量微调即可恢复被遗忘能力,提出 UNDO 将遗忘后的模型蒸馏到加噪副本,在 WMDP 上实现更稳健的能力移除。
- ErrorTrace:基于模型家族错误空间的黑盒溯源机制ErrorTrace: A Black-Box Traceability Mechanism Based on Model Family Error Space
针对开源 LLM 被低成本衍生的知识产权风险,利用模型家族独特的错误模式做黑盒溯源,对 27 个基座模型溯源准确率达 0.8518,并能追踪微调、剪枝和合并模型。
- 过拟合攻击:仅用 10 条良性样本微调即可越狱 LLMAttack via Overfitting: 10-shot Benign Fine-tuning to Jailbreak LLMs
先用相同拒答的良性样本使模型过拟合,再用普通良性回答微调使其遗忘拒答,在十个 LLM 上攻击效果与隐蔽性均优于五个基线。
- 从休眠到删除:基于权重空间正则化的抗篡改遗忘From Dormant to Deleted: Tamper-Resistant Unlearning Through Weight-Space Regularization
发现遗忘方法易受再学习攻击,仅在保留集上微调即可恢复遗忘知识;据权重空间性质提出新方法,提升抗再学习攻击能力。
- 逐点防御 LLM 微调 API 的根本局限Fundamental Limitations in Pointwise Defences of LLM Finetuning APIs
证明检测单个有害样本的逐点防御存在根本局限,用全为良性样本的攻击在 OpenAI 微调 API 上套取有害知识,并绕过增强监控。
Xander Davies, Eric Winsor, Alexandra Souly 等OpenReview
红队
7- SAGE-Eval:评测大模型对安全常识的系统性泛化SAGE-Eval: Evaluating LLMs for Systematic Generalizations of Safety Facts
基于 104 条权威安全事实生成逾万场景,最佳模型 Claude-3.7-sonnet 仅通过 58%,且规模与表现相关性弱。
- AutoRedTeamer:支持终身攻击集成的自主红队框架AutoRedTeamer: Autonomous Red Teaming with Lifelong Attack Integration
双智能体框架可从风险类别出发自动生成并执行测试用例,并自主实现新攻击;在 HarmBench 上对 Llama-3.1-70B 攻击成功率高 20%,成本降低 46%。
Andy Zhou, Kevin Wu, Francesco Pinto 等OpenReview - CoP:基于原则组合的 LLM 智能体红队测试CoP: Agentic Red-teaming for Large Language Models using Composition of Principles
人类提供红队原则,AI 智能体自动编排策略生成越狱提示;对主流 LLM 将已知最佳单轮攻击成功率最高提升 19.0 倍。
Chen Xiong, Pin-Yu Chen, Tsung-Yi HoOpenReview - 留意 LLM 遗忘学习:隐藏风险与对策Keeping an Eye on LLM Unlearning: The Hidden Risk and Remedy
揭示基于微调的遗忘学习可被恶意遗忘请求隐蔽破坏良性用户体验,并提出 Scope-aware Unlearning 增强鲁棒性。
Jie Ren, Zhenwei DAI, Xianfeng Tang 等OpenReview - PolyJuice:针对合成图像检测器的黑盒通用红队方法PolyJuice Makes It Real: Black-Box, Universal Red Teaming for Synthetic Image Detectors
利用文生图潜空间中检测器正误分类样本的分布偏移方向,黑盒、与图像无关地引导生成图像欺骗检测器,欺骗率最高达 84%,用其增强数据微调检测器可提升最多 30%。
- 基于规则偏好建模的文生图系统红队测试Red-Teaming Text-to-Image Systems by Rule-based Preference Modeling
提出 RPG-RT,用 LLM 迭代改写提示并根据系统反馈微调,借助规则偏好建模适应未知防御,在 19 个 T2I 系统和 3 个商业 API 上验证有效。
Yichuan Cao, Yibo Miao, Xiao-Shan Gao 等OpenReview - VMDT:解码视频基础模型的可信性VMDT: Decoding the Trustworthiness of Video Foundation Models
提出首个视频模态可信性评测平台,覆盖安全、幻觉、公平、隐私与对抗鲁棒性;评测发现开源 T2V 模型普遍无法识别有害请求,且安全性与模型规模无关。